亚运会惊现AI解说员，机器人为残障者导览引路，北大学生为亚运会研发黑科技

作为本届亚运会办赛理念之一，杭州亚运会的各个方面都贯穿着“智能”的概念

为了为正在举办的第19届亚洲运动会提供更好的服务，北京大学庄棨宁学生团队在黄铁军教授和仉尚航研究员的指导下，利用多模态大模型进行研究，并结合视觉、语言、语音等多种输入方式，开发出了高速运动AI多语种解说系统，为观众提供更加丰富的观赛体验。这也是多模态大模型技术首次在国际大型综合性体育赛事中的应用和尝试

团队同时专注于具身智能研究，致力于开发基于多模态大模型的人工智能助理，为残障和需要帮助的人士提供导览引领、场景解说、物品抓取等服务，以创造更加人性化的互动方式和友好体验

AI“复刻”赛事解说员的内容需要进行改写

除卻君身三重雪，天下誰人能配得上白衣

东京奥运会上中国运动员杨倩夺得首金身披白色领奖服时，赛事解说员用这句“神仙”解说词击中了无数观众的心。

一场精彩的体育比赛的成功不仅仅取决于运动员的竞技表现，解说员在其中也扮演着重要的角色。竞赛解说员不仅会提供关于球队、运动员和比赛背景的信息，帮助观众更好地理解比赛的重要性和背后的故事，经验丰富的解说员还能够深入分析比赛，揭示比赛中的策略和技巧，使观众能够更好地理解比赛的每一个环节，从而提高观赛的乐趣

当比赛出现精彩瞬间时，优秀的解说员能够通过解说传达激情和情感，更好地引导观众的情绪，为赛事增添色彩，甚至成为永恒的经典

然而受限于人手问题，并不是每场体育赛事都会安排解说员，特别是亚运会这类国际大型赛事，同一时间有多场比赛进行，并且不是所有的解说员都适合解说所有的体育项目，很多相对小众的赛事就会缺少解说员，更无法想象一位解说员可以使用多种语言、面向不同的语言的受众做解说。

为了不改变原意，需要重写的内容是：北大庄棨宁学生团队基于此推出了高速运动 AI 解说系统，该系统可以辅助录播频道调用多模态大模型能力，理解视频内容，并生成中文、英语、藏语、阿拉伯等多种语言的解说，以便将信息传递给更多有实际需求的人

图：AI智能解说通过感知场景并生成解说

庄棨宁介绍说，这一技术通过高速摄像机的脉冲信号检测场景物体和运动员，将能够捕捉体育比赛中的关键时刻，并生成高质量的集锦和相关数据，基于多模态大模型算法和深度学习模型对这些运动数据进行分析，基于分析结果，系统再生成提供实时的个性化解说服务，从而为各个语种的观众都能提供个性化的体验。

智能爱心辅助助手 让AI有温度

大型赛事活动通常会给东道主城市带来显著的经济、环境等变化，但是由于人流量激增，城市公共区域会面临巨大压力。根据预测，杭州在亚运会期间也将迎来近年来最密集的游客潮，外地游客数量将超过2000万人次。加上本届杭州亚运会来自亚洲45个国家和地区的12527名运动员代表团，亚运期间杭州的人流将大幅增加

庄棨宁学生团队在杭州市公共区域开发了一套智能机器人软件服务系统，旨在为亚运会期间的导航指引和帮助服务提供支持。该系统能够为观众提供导览服务，并协助视障人士进行引领和导航。它能够识别视障人士的需求并完成相应的任务，还能帮助他们捡拾掉落的物品等

目前，在杭州市的一些亚运会志愿者服务点，已经有市民看到一个机器人外观的智能体在为视力障碍人士服务。

图：杭州市民在体验庄棨宁学生团队的具身智能机器人软件服务系统

庄棨宁介绍说，我们很荣幸能够将我们所学、所研究的成果转化为可以服务每个人的应用，让人工智能为人们的日常生活提供服务。为了本次亚运会打造的具身智能机器人软件服务系统，我们团队基于自主研发的感知生成一体化多模态大模型，能够准确地感知和理解场馆内外的视觉场景，并生成准确且丰富的语言描述，以控制机器人执行智能志愿者服务任务

同时，团队将多模态大模型与具身智能相结合，使得人工智能可以更好的感知和理解物理世界，再更好地做决策，最终实现人工智能和物理世界更好地交互。