稀疏化3B MoE-LLaVA模型实现与LLaVA-1.5-7B模型相媲美

　　发布于2024-11-27　阅读（0）

扫一扫，手机访问

大型视觉语言模型（LVLM）可以通过扩展模型来提高性能。然而，扩大参数规模会增加训练和推理成本，因为每个token的计算都会激活所有模型参数。

来自北京大学、中山大学等机构的研究者联合提出了一种新的训练策略，名为MoE-Tuning，用于解决多模态学习和模型稀疏性相关的性能下降问题。MoE-Tuning能够构建参数数量惊人但计算成本恒定的稀疏模型。此外，研究者还提出了一种基于MoE的新型稀疏LVLM架构，称为MoE-LLaVA框架。在这个框架中，通过路由算法仅激活前k个专家，其余专家保持非活动状态。通过这种方式，MoE-LLaVA框架在部署过程中能够更加高效地利用专家网络的资源。这些研究成果为解决LVLM模型在多模态学习和模型稀疏性方面的挑战提供了新的解决方案。

将多模态大模型稀疏化，3B模型MoE-LLaVA媲美LLaVA-1.5-7B

论文地址：https://arxiv.org/abs/2401.15947
项目地址：https://github.com/PKU-YuanGroup/MoE-LLaVA
Demo地址：https://huggingface.co/spaces/LanguageBind/MoE-LLaVA
论文题目：MoE-LLaVA: Mixture of Experts for Large Vision-Language Models

MoE-LLaVA 只有 3B 个稀疏激活参数，表现却与 LLaVA-1.5-7B 在各种视觉理解数据集上相当，甚至在物体幻觉基准测试中甚至超越了 LLaVA-1.5-13B。通过 MoE-LLaVA，该研究旨在建立稀疏 LVLMs 的基准，并为未来研究开发更高效和有效的多模态学习系统提供宝贵的见解。MoE-LLaVA 团队已经开放了所有的数据、代码和模型。

将多模态大模型稀疏化，3B模型MoE-LLaVA媲美LLaVA-1.5-7B

^{图 1 MoE-LLaVA 在幻觉性能上和其他 LVLM 的比较}

方法简介

MoE-LLaVA 采用三阶段的训练策略。

将多模态大模型稀疏化，3B模型MoE-LLaVA媲美LLaVA-1.5-7B

^{图 2 MoE-Tuning 的流程图}

如图 2 所示，视觉编码器（vision encoder）处理输入图片得到视觉 token 序列。利用一个投影层将视觉 token 映射成 LLM 可接受的维度。类似地，与图片配对的文本经过一个词嵌入层（word embedding layer）被投影得到序列文本 token。

阶段 1：如图 2 所示，阶段 1 的目标是让视觉 token 适应到 LLM，赋予 LLM 看懂图片的实体有哪些的能力。MoE-LLaVA 采用一个 MLP 来将图片 token 投影到 LLM 的输入域，这意味着一个个图片小 patch 被 LLM 当作伪文本 token。在这个阶段，LLM 被训练学会描述图片，理解更高层次的图片语义。在这个阶段 MoE 层不会被应用到 LVLM 中。

将多模态大模型稀疏化，3B模型MoE-LLaVA媲美LLaVA-1.5-7B

^{图 3 更具体的训练框架和训练策略}

阶段 2：用多模态的指令数据来微调是提高大模型能力和可控性的关键技术，并且在这个阶段 LLM 被调整为有多模态理解能力的 LVLM。在这个阶段该研究加入更复杂的指令，包含图片逻辑推理，文字识别等高级任务，要求模型有更强的多模态理解能力。通常来说，稠密模型的 LVLM 到此就训练完成，然而研究团队发现同时将 LLM 转为 LVLM 和把模型稀疏化是具有挑战的。因此，MoE-LLaVA 将使用第二阶段的权重作为第三阶段的初始化以降低稀疏模型学习的难度。

阶段 3：MoE-LLaVA 将 FFN 复制多份作为专家集合的初始化权重。当视觉 token 和文本 token 被喂入 MoE 层时，router 会计算每一个 token 和专家们的匹配权重，然后每个 token 会被送入最匹配的 top-k 个专家进行处理，最后根据 router 的权重加权求和汇聚成输出。当 top-k 个专家被激活时，其余的专家保持非活动状态，这种模型构成了具有无限可能的稀疏通路的 MoE-LLaVA。

实验

如图 4 所示，由于 MoE-LLaVA 是第一个基于 LVLM 搭载 soft router 的稀疏模型，因此该研究将之前的模型归纳为稠密模型。研究团队在 5 个图片问答 benchmark 上验证了 MoE-LLaVA 的性能，并报告了激活的参数量和图片分辨率。与 SOTA 方法 LLaVA-1.5 相比，MoE-LLaVA-2.7B×4 展现了强大的图片理解能力，在 5 个 benchmark 上性能非常接近 LLaVA-1.5。其中 MoE-LLaVA 用 3.6B 的稀疏激活参数在 SQAI 上超过了 LLaVA-1.5-7B 1.9%。值得注意的是，由于 MoE-LLaVA 的稀疏结构，只需要 2.6B 的激活参数量就能全面超过 IDEFICS-80B。

将多模态大模型稀疏化，3B模型MoE-LLaVA媲美LLaVA-1.5-7B

^{图 4 MoE-LLaVA 在 9 个 benchmark 上的性能}

另外，研究团队还关注到最近的小视觉语言模型 TinyGPT-V，MoE-LLaVA-1.8B×4 在相当的激活参数下在 GQA 和 VisWiz 分别超过 TinyGPT-V 27.5% 和 10%，这标志着 MoE-LLaVA 强大的理解能力在自然视觉中。

为了更全面地验证 MoE-LLaVA 的多模态理解能力，该研究在 4 个 benchmark toolkit 上评估了模型性能。benchmark toolkit 是验证模型能否能自然语言问答的工具包，通常答案是开放性的并且无固定模板。如图 4 所示，MoE-LLaVA-1.8B×4 超过了 Qwen-VL，后者使用更大的图片分辨率。这些结果都展示了 MoE-LLaVA 这一稀疏模型可以用更少的激活参数达到和稠密模型相当甚至超过的性能。

将多模态大模型稀疏化，3B模型MoE-LLaVA媲美LLaVA-1.5-7B

^{图 5 MoE-LLaVA 在幻觉物体检测上的性能评估}

该研究采用 POPE 评估 pipeline 来验证 MoE-LLaVA 的物体幻觉，结果如图 5 所示，MoE-LLaVA 展现出最好的性能，意味着 MoE-LLaVA 倾向于生成与给定图像一致的对象。具体的，MoE-LLaVA-1.8B×4 以 2.2B 的激活参数超过了 LLaVA。另外，研究团队观察到 MoE-LLaVA 的 yes ratio 占比处于较均衡状态，这表明稀疏模型 MoE-LLaVA 能够根据问题做出正确的反馈。

将多模态大模型稀疏化，3B模型MoE-LLaVA媲美LLaVA-1.5-7B

^{图 6 专家负载可视化}

图 6 展示了在 ScienceQA 上 MoE-LLaVA-2.7B×4-Top2 的专家负载。整体上，在训练初始化时，所有的 MoE 层中的专家的负载比较平衡。然而随着模型逐渐被稀疏化，第 17 到 27 层的专家的负载突然增大，甚至几乎包揽了所有 token。对于浅层的 5-11 层，主要是由专家 2、3、4 共同协作。值得关注的是，专家 1 几乎只在第 1-3 层工作，随着模型变深，专家 1 逐渐退出了工作。因此，MoE-LLaVA 的专家们学到了某种特定的模式，它能够按照一定的规律进行专家分工。

将多模态大模型稀疏化，3B模型MoE-LLaVA媲美LLaVA-1.5-7B

^{图 7 模态分布可视化}

图 7 展示了不同专家的模态分布。该研究发现 text 和 image 的路由分布极其相似，例如当专家 3 在 17-27 层努力工作时，它所处理的 text 和 image 的占比是相似的。这表明 MoE-LLaVA 对于模态并无明显的偏好。

该研究还在 token level 上观察了专家们的行为，并在下游任务上跟踪所有 token 在稀疏网络中的轨迹。对 text 和 image 所有激活的通路，该研究采用 PCA 降维得到主要的 10 条通路，如图 8 所示。研究团队发现对于某个未见的 text token 或 image token，MoE-LLaVA 始终偏向于派发专家 2 和 3 来处理模型深层。专家 1、4 倾向于处理初始化的 token。这些结果能够帮助我们更好地理解稀疏模型在多模态学习上的行为，并探索未知的可能。

将多模态大模型稀疏化，3B模型MoE-LLaVA媲美LLaVA-1.5-7B

^{图 8 激活通路可视化}

本文转载于：https://www.jiqizhixin.com/articles/2024-01-31-4 如有侵犯，请联系admin@zhengruan.com删除

上一篇：陶哲轩新项目：证明素数定理的Lean方法蓝图齐备

下一篇：如何配置电脑的启动项设置？

产品推荐

售后无忧
立即购买>

DAEMON Tools Lite 10【序列号终身授权 + 中文版 + Win】

￥150.00
office旗舰店
售后无忧
立即购买>

DAEMON Tools Ultra 5【序列号终身授权 + 中文版 + Win】

￥198.00
office旗舰店
售后无忧
立即购买>

DAEMON Tools Pro 8【序列号终身授权 + 中文版 + Win】

￥189.00
office旗舰店
售后无忧
立即购买>

CorelDRAW X8 简体中文【标准版 + Win】

￥1788.00
office旗舰店

正版软件

戴尔中国表示工商信息变更是正常调整，对业务无任何影响

戴尔（中国）有限公司近期发生工商变更，其中包括戴尔服务（中国）有限公司新增注销备案公告。这一信息引发了业界的猜测。戴尔今日回应称，“上述工商信息调整属于正常的公司行为，不会对戴尔在华运营产生任何影响。”就戴尔服务（中国）有限公司新增注销备案公告一事，戴尔表示该公司已于2020年8月启动注销流程，并进入清算状态。这一决定是由于该公司多年来未进行任何实质性业务而做出的。戴尔在中国的其他实体公司一直负责承接和运营相关的服务和技术支持工作。客户的服务不会受到任何影响，而且未来也不会受到影响。根据多位业内人士的消息

8分钟前戴尔公司 0
正版软件

特斯拉计划新建电池工厂，将引进宁德时代设备，地点在内华达州

据彭博社报道，特斯拉计划利用宁德时代的闲置设备，在内华达州开设一家小型工厂，扩大其电池生产项目规模。知情人士透露，特斯拉正致力于提高MEGAPACK电池的产量。据报道，特斯拉计划从宁德时代购买部分设备，并将其安装在斯帕克斯市。特斯拉表示，他们将完全拥有并控制该工厂，并承担全部建设费用，宁德时代的员工将仅协助设备调试，不参与其他工作。图源Pexels宁德时代从2020年7月起开始向特斯拉供应动力电池。在2021年，特斯拉成为宁德时代的最大客户，购买了价值130亿元的锂电池，这占宁德时代总营收的10%。根据宁

18分钟前特斯拉宁德时代 0
正版软件

【IT之家开箱】影驰GEFORCE RTX 4080 SUPER金属大师显卡图赏：裹满金属装甲的科技风性能怪兽

影驰GEFORCERTX4080SUPER金属大师显卡的包装设计非常有创意。包装上印有一个引人注目的金属风Logo，配以简洁的白色底色和线条装饰，展现出硬核金属风格。在包装的右下角，标志性的黑绿色产品型号标识突显了这款显卡的独特性。整体设计简洁而又富有力量感，给人留下深刻的印象。显卡正面装甲呈现出金属质感，与现在一些显卡追求不那么“金属”外观的设计不同。它的外观更加强调硬核风格，线条方正，金属纹路仿舱门的不规则造型，以及一体压铸成型工艺，都使其具有极强的视觉冲击力和高质感。显卡风扇采用了黑色设计，配备了3

33分钟前影驰显卡 0
正版软件

马化腾：去年腾讯号称全球最大游戏公司，却表现疲软无所施展毫无成果

腾讯日前在深圳湾体育中心举行了公司年会。在会上，腾讯公司董事会主席兼首席执行官马化腾提到了与游戏业务相关的内容。马化腾认为，游戏是公司的“王牌业务”，然而目前（腾讯）号称全球最大的游戏公司，“好像是躺在成功的功劳簿上。”他坦言公司在过去一年内受到了很大挑战：“新生代游戏公司层出不穷，从玩法类到内容类的转变一时无所适从，友商不断产出新品，我们就好像毫无建树的感觉。我们也推出了新品，但没有想象中那么好。”马化腾也谈到了近期上线的主打“休闲合家欢派对”的新游《元梦之星》：这款游戏也是刚进入战场。“虽然晚，但它对

43分钟前腾讯马化腾腾讯游戏 0
正版软件

应该责怪苹果和谷歌而非用户的年龄验证应用

社交媒体巨头Meta的CEO马克·扎克伯格再次强调了他的观点，即年龄验证应该由苹果和谷歌等应用商店负责，而不是由社交媒体公司。他认为应用商店作为应用的发布平台，应该承担起年龄验证的责任，以确保用户的安全和隐私。这一观点引发了对社交媒体公司责任的讨论，以及如何平衡用户保护和自由表达的问题。扎克伯格的言论是他准备好的美国国会证词的一部分。之前，他和其他社交媒体CEO因未能充分保护青少年用户受到批评。社交媒体公司因未能保护青少年免受应用有害影响的责任而备受批评。多项研究发现，过度使用智能手机、尤其是社交媒体应用

58分钟前谷歌苹果扎克伯格 0

稀疏化3B MoE-LLaVA模型实现与LLaVA-1.5-7B模型相媲美

产品推荐

最新发布

相关推荐

热门关注