进军数字世界：智能体已开始在《荒野大镖客 2》中探索

• 论文标题：Towards General Computer Control: A Multimodal Agent for Red Dead Redemption II as a Case Study
• 论文链接：https://arxiv.org/abs/2403.03186
• 项目主页：https://baai-agents.github.io/Cradle/
• 代码链接：https://github.com/BAAI-Agents/Cradle

• 反思过去：使用执行过往动作过程的视频作为输入，分别提取出其中关键的文本和视觉信息，通过反思来判断上一步动作是否执行成功、任务是否完成以及如何改进。
• 总结现在：反思完之后，总结当前情况，并且以此为依据来决定是否更换任务目标或是修改任务内容。
• 规划未来：最后根据当前任务和现状生成或者更新技能，并且从已学会的技能中检索与当前任务相关的技能作为备选，然后从中选取合适的技能实例化为动作去执行。

Cradle 不仅能从头开始跟随游戏指引生成相应技能，完成长达 40 分钟时的主线剧情，还能在开放世界自由探索，骑马，打猎，战斗，与 NPC 对话，使用道具，操作地图，甚至商店购物，均不在话下。这是首个能长时间游玩商业 3A 游戏的智能体。

结束语

开源的 Cradle 代码可以很容易扩展到其他软件和游戏。研究团队表示，为了能够实现真正的通用计算机控制，后续 Cradle 还将移植到更多软件和游戏上，也鼓励相关研究团队 / 工业界开展进一步研究与探索。目标是让智能体可以与无论是开源还是闭源的所有软件进行交互并持续自我提升，实现通用性，最终成为通用人工智能诞生的摇篮。

"GCC is a cradle for AGI."        

 —The Cradle team