克日，剑桥来自剑桥 、腾讯提出态NAIST 以及腾讯 AI Lab 的狂语钻研者推出了一款名为 PandaGPT 的跨模态语言模子，揭示了在家养智能规模的言模立异试验。经由散漫 ImageBind 的个模模态对于齐能耐以及 Vicuna 的天在行腕，同时实现为了六种模态下的不同指令清晰与追寻能耐 
。尽管 PandaGPT 的种模下场尚有提升空间，但揭示了跨模态 AGI 智能的剑桥睁开后劲 。

来自剑桥
、腾讯提出态NAIST 以及腾讯 AI Lab 的狂语钻研者近期宣告了一项名为 PandaGPT 的钻研下场，这是言模一种将大型语言模子与差距模态对于齐、绑定以实现跨模态指令追寻能耐的个模技术  。PandaGPT 可能实现诸如天生详细的不同图像形貌 
、凭证视频编写故事以及回覆对于音频的种模下场等重大使命
。它可能同时接管多模态输入，剑桥并做作地组合它们的语义。

• 名目主页: https://panda-gpt.github.io/

• 代码: https://github.com/yxuansu/PandaGPT

• 论文: http://arxiv.org/abs/2305.16355

• 线上 Demo 揭示: https://huggingface.co/spaces/GMFTBY/PandaGPT

为了实现图像 & 视频、文本、音频、热力争 、深度图、IMU 读数六种模态下的指令追寻能耐，PandaGPT 将 ImageBind 的多模态编码器与 Vicuna 大型语言模子相散漫（如上图所示）。

为了使 ImageBind 的多模态编码器以及 Vicuna 的大型语言模子的特色空间对于齐，PandaGPT 运用了组合 LLaVa 以及 Mini-GPT4 宣告的共 160k 基于图像的语言指令追寻数据作为磨炼数据。每一个磨炼实例搜罗一张图像以及响应一组多轮对于话。

为了防止破损 ImageBind 自己的多模态对于齐性子以及削减磨炼老本 ，PandaGPT 只更新了如下模块 ：

在 ImageBind 的编码服从上新增一个线性投影矩阵，将 ImageBind 天生的展现转换后插入到 Vicuna 的输入序列中；

在 Vicuna 的留意力模块上削减了格外的 LoRA 权重。两者参数总数约占 Vicuna 参数的 0.4%。磨炼函数为传统的语言建模目的。值患上留意的是，磨炼历程中仅对于模子输入对于应部份妨碍权重更新
，不同过错用户输入部份妨碍合计。全部磨炼历程在 8×A100 (40G) GPUs 上实现磨炼需要约 7 小时 。

值患上夸张的是，当初的 PandaGPT 版本只运用了对于齐的图像 - 文本数据妨碍磨炼 ，可是秉持了 ImageBind 编码器的六种模态清晰能耐（图像 / 视频  、文本 、音频、深度度、热量图以及 IMU）以及它们之间的对于齐属性
，从而具备在所有模态之间跨模态能耐 。

在试验中，作者揭示了 PandaGPT 对于差距模态的清晰能耐 ，搜罗基于图像 / 视频的问答，基于图像 / 视频的创意写作 ，基于视觉以及听觉信息的推理等等，下面是一些例子 ：

图像 ：

音频：

视频 ：

与其余多模态语言模子比照 ，PandaGPT 最突出的特色是它可能清晰并将差距模态的信息做作地组合在一起 。

视频 + 音频：

图像 + 音频  ：

总结

作者们也总结了当初 PandaGPT 的诸多下场以及未来的睁开倾向
。尽管 PandaGPT 在处置多种模态及其组合方面具备惊人的能耐 ，但仍有多种措施可能极大水平的提升 PandaGPT 的功能。

PandaGPT 可能经由运用其余模态对于齐数据来进一步提升图像之外模态的清晰能耐，好比运用 ASR 以及 TTS 数据来妨碍音频 - 文本模态的模态清晰以及指令追寻能耐 。

文本之外的其余模态仅仅运用了一个 embedding 向量妨碍展现  ，导致语言模子无奈清晰文本之外模子的细粒度信息。更多对于细粒度特色提取的钻研
，如跨模态留意力机制 ，可能有助于后退功能。

PandaGPT 当初仅应承将文本之外的模态信息用作输入。未来该模子有后劲将全部 AIGC 不同到统一个模子之中 ，即一个模子同时实现图像 & 视频天生、语音分解  、文本天生等使命。

需要新的基准测试来评估多模态输入的组合能耐。

PandaGPT 还可能展现泛起有语言模子的一些罕有缺陷 ，搜罗幻觉、毒性以及机械印象。

最后 ，作者们夸张 ，PandaGPT 仅仅是一个钻研原型，临时还缺少以直接运用于破费情景 。

• ·原创透支未来！美媒：火箭涉及三方交易，篮网将重建，独行侠不亏
• ·媒体人：首钢这些年引援钱没少花 乐成的未多少
• ·[瞎话板]贾马尔
• ·[瞎话板]开拓者GM：不想法生意利拉德，目的同时留下他以及亨德森
• ·商汤“商量”大模型获评未来领袖，有力回击灰熊做空谣言华夏时报2023-12-04 16:06华夏时报2023-12-04 16:06
• ·罗马诺：曼联5500万镑报价芒特遭拒，蓝军要总价6500万镑
• ·原创 火箭队公布2023年NBA夏季联赛时间表，阿门·汤普森将挑战亲兄弟
• ·1800万引进，5500万卖出！英超中国老板赚了，避免人财两空18集谍战大剧来袭，张译领衔，国际影帝为配，终于有剧追了
• ·英超综合：维拉力克阿森纳 利物浦逆转水晶宫杨振宁娇妻晒全家福！小女儿要比翁帆大15岁，一家六口似四世同堂
• ·网红雁“大宝”被游客踢中关键离世！游客：它吓着孩子了…景区：已经报警
• ·国字号男足梯队连续18年无缘世界大赛！U17国足仅有60多人可选，何谈质量？浙江一美女下班后，去一按摩店放松，按摩师狠狠一捏女子失去意识
• ·NBA大交易！勇士4换1得保罗，联手库里冲冠，湖人换步行者选秀权14岁女生穿包臀裙渔网袜，还拍私密照给男友看，这个社会咋了
• ·威海481家企业加速向海“掘金”清华学霸王丽红，不顾劝阻为爱远嫁非洲，再见时昔日同学已认不出
• ·痛失夺冠功臣！雄鹿悍将拒绝续约留队，顶薪携手哈登加盟火箭
• ·齐白石画的两只老鹰，一只卖了9890万元，另一只却卖出4.25亿天价关羽身长九尺，放到如今有多高？1976年，广西出土一汉尺揭开答案
• ·维纳尔杜姆：在穆里尼奥的帮助下，如今我已经是一名更好的球员