允中 发自 凹非寺量子位 | 公众号 QbitAI

现时，大模子（MLLM）在多项视觉任务上展现出了纷乱的明白领悟智力。

但是大部分多模态大模子局限于单向的图像领悟，难以将领悟的执行映射回图像上。

比如，模子能粗豪说出图中有哪些物体，但无法将物体在图中准确记号出来。

定位智力的缺失奏凯限制了多模态大模子在图像剪辑，自动驾驶，机器东谈主限制等下流鸿沟的应用。

针对这一问题，港大和字节卓绝买卖化团队的盘考东谈主员建议了一种新范式Groma——

通过区域性图像编码来晋升多模态大模子的感知定位智力。

在融入定位后，Groma不错将文本执行和图像区域奏凯接洽起来，从而显耀晋升对话的交互性和指向性。

中枢念念路

如何赋予多模态大模子定位物体的智力，乃至于将笔墨执行和图像区域接洽起来，作念到“言之有物”，是现时一大盘考热门。

常见的作念法是微调大讲话模子使其奏凯输出物体坐标。但是这种圭臬却有着诸多限制：

1、在文本上预老师的大讲话模子自身不具备空间领悟智力，仅依靠极少数据微调很难精确定位物体。

2、定位任务对输入图像的分散率有较高条款，但提高分散率会显耀增增多模态大模子的筹备量。

3、大讲话模子的输出款式不顺应处理缜密的定位任务，比如分割。

基于这些研究，Groma建议将定位诊疗到多模态大模子的vision tokenizer中，由vision tokenizer发现并定位潜在的物体，再交给大讲话模子识别。

同期，这么的筹备也充分运用了vision tokenizer自身的空间领悟智力，而无需外接内行模子（比如SAM）来辅助定位，从而幸免了外接模子的冗余。

具体而言，Groma在全局图像编码的基础上，引入了区域编码来达成定位功能——如下图所示，Groma先运用Region Proposer定位潜在的物体，再通过Region Encoder将定位到的区域一一编码成region token。

而大讲话模子则不错凭证region token的语意判断其对应的区域，并通过在输出中插入region token来达成雷同超流畅的恶果，达成visually grounded conversation。

相同地，用户指定的区域也不错通过Region Encoder编码成相应的region token，并插入到用户辅导中，从而让多模态模子能关心到指定的区域并产生指向性的修起。

为了晋升定位的鲁棒性和准确性，Groma遴荐了卓绝8M的数据（包括SA1B）来预老师Region Proposer。因此其产生的proposal不仅包括常见的物体，也涵盖了物体的构成部分以及更精深的布景等身分。

此外，收成于分离式的筹备，Groma不错遴荐高分散率特征图用于Region Proposer/Encoder的输入，并遴荐低分散率的特征图用于大模子输入，从而在裁减筹备量的同期又不亏本定位性能。

实验末端

Groma在传统的Grounding Benchmarks上阐扬出了超越MiniGPT-v2和Qwen-VL的性能。

同期，Groma在多模态大模子通用的VQA Benchmark (LLaVA-COCO)考据了其对话和推明智力。

在可视化的对比中，Groma也阐扬出了更高的recall和更少的幻觉。

此外，Groma还援手会通对话智力和定位智力的referential dialogue以及grounded chat。

收成于大讲话模子纷乱的明白推明智力，多模态大模子在视觉理衔命务上阐扬凸起。

但是一些传统的视觉任务，如检测分割、深度推断等，更多依赖视觉感知智力，这恰正是大讲话模子所阑珊的。

Groma在这个问题上提供了一种新的处理念念路，即把感知和明白解耦开来，由vision tokenizer细腻感知，大讲话模子细腻明白。

这种先感知后明白的款式除了更相宜东谈主类的视觉经过，也幸免了重新老师大讲话模子的筹备支拨。

5月15日，字节卓绝刚刚公布了自研的豆包大模子，提供多模态智力，下流援手豆包APP、扣子、即梦等50+业务，并通偏激山引擎绽开给企业客户，助力企业晋升效用、加快智能化改动。当今，豆包APP已成为中国阛阓用户量最大的AIGC应用。字节卓绝正捏续加大对顶尖东谈主才和前沿手艺的插足力度，参与行业顶尖的手艺挑战和攻坚。

相貌网站：https://groma-mllm.github.io论文流畅：https://arxiv.org/abs/2404.13013开源代码：https://github.com/FoundationVision/Groma