要是苹果 Vision Pro 头显加上 AI 助手，有多强？

南洋理工大学与微软雷蒙德研究所带来一个震撼概念演示。

人在飞机上，不知道怎么降落？带上头显把画面传给 AI，就能一步一步你操作。

这个多模态 AI 助手名叫 Otter，以视频为输入，能完成多模态感知、推理、和上下文学习，也经过专门的遵循指令训练。

更贴近生活一些的场景，在麻将桌上，Otter 分分钟教你胡几次大的。

而当你锻炼身体时，Otter 可以充当你的计数器。

调酒师小哥忘记配方时，也能分分钟化解尴尬。

总之，它可以实时识别现实场景并回答人类提问，而且简直就是个全能选手。

Otter 一共支持八种语言，中文也包括在内。

训练过程中，团队专门使用了适用于 AR 头显的第一视角视频，宣传上也明示就是为苹果头显准备的。

不过也有网友发现了华点。

结果，Otter 在各测试项目上的平均成绩比传统的 MiniGPT-4、OpenFlamingo 等传统模型高出十余个百分点。

如何实现

Otter 使用视觉识别模块分析场景信息，并结合 ChatGPT 生成答案。

其中核心的视觉模块是基于改进版本的 LLaVA 进行训练的。

Otter 整体的工作流程大概是这样的:

首先要对视觉信息进行处理，并结合系统信息生成 prompt。

生成好的 prompt 会被传递给 ChatGPT，得到指令-回应数据。

这样得到的答案再经过一步筛选器筛选之后，由 ChatGPT 翻译成用户选择的语言并输出。

在主线流程之外，团队还引入了冷启动机制，用于发现数据库中可用的情景实例。

接下来，让我们看一下当中最关键的环节，也就是视觉信息的解释。

为了训练 Otter，研究团队专门提出了 MultI-ModalIn-ContextInstructionTuning数据集。

Otter 中视觉识别模块的训练大致分为一般场景和第一人称视角下的场景两部分。

其中一般场景的识别又分为了四个步骤。

第一步是对场景化信息的学习，这一部中使用的是经过调整的 LLaVA 数据集。

为了更好地适应真实世界，下一步的训练主要是让模型发现图像之间的差别。

而这些差别又被分为了一般差别和微小差别两种类型。

对于一般差别，通过 prompt 让 ChatGPT 进行图像分析和物体检测生成注释。

而对于微小差别，则使用自然语言描述作为注释。

拥有了发现差别的能力之后，就要让模型尝试着“讲故事”了。

由于图像注释无法直观反映时间线等要素，研究团队让 ChatGPT 充当观众并回答一系列问题。

每一个场景之中都包含图像和对应的指令-响应组。

为了扩展模型的视野，研究团队还让它学习了包含大量说明的长视频片段。

说明信息包括视频内容、人的动作和行为、事件发生的顺序和因果关系等。

为了增强模型的社交推理能力和对人物复杂动态行为的理解，研究团队最后把电视剧作为了训练材料。

介绍完一般场景，我们再来看看第一人称场景又是如何分析的。

第一人称场景既包括视觉上直观看到的内容，也包括观察者的内心感受。

研究团队从 ScanNetv2 数据集中搜集了一些场景并进行采样，转化为多个第一人称视角的二维视觉信息。

研究团队还让 ChatGPT 基于隐式设定的人物性格指导人类的行为，为模型生成训练数据。

作者简介

研究团队的成员主要来自南洋理工大学 S 实验室，第一作者是该实验室的博士生李博。

2017 年，李博获得中国大学生编程比赛银奖。

2018 年至今，李博先后在滴滴、英伟达、微软等机构先后从事研究工作。

李博的导师刘子纬助理教授是本文的通讯作者。

此外，微软雷蒙德研究院首席研究员 Chunyuan Li 也参与了本项目。

Otter 的介绍视频在B站也有发布。

在线体验:

论文地址:

GitHub 页面: