网易伏羲在ICLR 2023刊登了3篇论文，涉及强化学习、自然语言处理等领域

第十一届国际表征学习会议（ICLR）预计将于5月1日至5日在卢旺达首都基加利线下举办。最近，ICLR公布了论文接收结果，其中包括了网易伏羲共3篇论文的入选。这三篇论文中，有一篇被选为口头报告论文（oral presentation paper），另外两篇则被选为聚光灯报告论文（spotlight presentation paper）。这些论文的内容涉及到强化学习和自然语言处理等多个领域。这次的论文入选为网易伏羲团队在这些研究方向上的重要成果，也是他们在学术界的认可和突出贡献。

实验表明KLD对于异常点是更敏感的，TCD是鲁棒的。

为了平衡TVD的估计，我们引入了TaiLr目标。TaiLr通过降低低模型概率的真实数据样本的权重来实现这一目标，并且可以根据需要调整惩罚强度。实验证明，我们的方法在保持多样性的同时，减轻了对退化序列的高估，并提高了广泛的文本生成任务的生成质量。

但过往的工作往往专注于通过探索环境预训练出一个具有不同技能的策略，而仅仅通过多样化探索的预训练方式难以保证下游任务的性能提升，甚至可能导致预训练消耗越大，性能越低的“不匹配”问题。因此，网易伏羲和天津大学深度强化学习实验室团队提出了EUCLID框架，引入了基于模型的RL范式，通过长时间的预训练，从精确的动态模型中获益，以实现快速的下游任务适应和更高的采样效率。在微调阶段，EUCLID利用预先训练的动态模型进行策略引导的规划，这样的设置可以消除由不匹配问题引起的性能震荡，获得单调的性能提升。

实验结果表明，NECSA在所有的实验环境中都拿到了最高的分数，达到了state-of-the-art水平。

NECSA可以方便地集成到强化学习算法中，具有很强的通用性。其中一个典型应用场景是游戏竞技机器人的训练。NECSA提供了一种基于状态分析的新思路，可以增强学习效果，特别适用于复杂且高维的游戏状态表征。通过NECSA，可以更好更快地优化机器人的竞技水平和拟人性，并提供良好的模型可解释性。未来，网易伏羲将在多个游戏场景中推动NECSA方法的实际应用落地。

特别感谢清华大学黄民烈教授团队对《Tailoring Language Generation Models under Total Variation Distance》的重要研究贡献。他们的研究工作在语言生成模型的定制化方面做出了重要贡献，为改进自然语言处理技术提供了新的思路和方法。 同时，感谢天津大学深度强化学习实验室对《EUCLID:Towards Efficient Unsupervised Reinforcement Learning with Multi-choice Dynamics Model》的重要研究贡献。他们的研究工作聚焦于无监督强化学习领域，提出了一种高效的多选择动力模型，为强化学习算法的发展做出了重要贡献。 此外，还要感谢九州大学Pangu实验室对《Neural Episodic Control with State Abstraction》的重要研究贡献。他们的研究工作专注于神经元记忆控制与状态抽象，提出了一种新颖的神经元控制方法，为智能系统的发展和应用提供了新的思路和技术支持。 这些研究团队的贡献不仅在学术界具有重要意义，也对实际应用具有潜在影响。我们对他们的杰出工作表示衷心的感谢，并期待他们在各自领域继

作为国内顶尖的游戏与泛娱乐AI研究和应用机构，网易伏羲致力于将AI技术和产品开放给更多合作伙伴，以推动人工智能技术在各个领域的应用。至今，已有超过200家客户选择了网易伏羲的服务，并且每天的调用量已经超过数亿次。