多模态 AI 正处于发作前夜。

从 GPT-4V 的“惊艳亮相”，到 AI 视频天生工具 Pika 1.0 的“火爆出圈”，再到谷歌 Gemini 的“周全*”，多模态 AI 都是其中的要害词。

只管 Pika 1.0 的宣传视频被一些用户以为是“炒作”，亦或谷歌认可 Gemini 的演示视频“经由剪辑”，但不能否认，它们厚实了人们对多模态 AI 的想象力。

“之前许多公司都在卷文本大模子，GPT-4V 的泛起代表多模态大模子可落地，毫无疑问明年人人都市卷多模态 AI ，缘故原由很简朴，由于 OpenAI 说明这条路是能够走得通。”微博新手艺研发卖力人、AI 首席科学家张俊林说。

在行业主语为“落地”的当下，多模态 AI 正走向场景化、适用化、商业化。例如，在医疗领域可以通过连系图像、录音和病历文本，提供更准确的诊断和治疗方案；在交通领域，连系图像和传感器数据，带来更智能、更平安的自动驾驶体验；在教育领域，将文本、声音、视频相连系，出现更具互动性的教育内容。

然则业界一直在提多模态的观点，远没有近期几个征象级产物的演示那么直观：多模态不仅可以为 AI 应用带来更多可能性，照样实现通用人工智能的主要路径。

1.Pika：实力照样炒作？

最近的 AI 圈的饭局上，人人聊到多模态 AI ，往往都市提到一家硅谷的初创公司—— Pika Labs。

公司初创团队只有 4 小我私人，首创人兼 CEO 郭文景有“女学霸”“斯坦福退学创业”“上市公司首创人女儿”等小我私人标签； Pika 三轮融资已筹款 5500 万美元，估值在 2-3 亿美元之间；投资者包罗 Quora 首创人兼CEO Adam D’angelo 、 OpenAI 科学家 Andrej Karpathy、Hugging Face 团结首创人兼CEO Clem Delangue、YC 合资人 Daniel Gross 等人。

这些都加起来，可以说 Pika 的爆火是在生长历程中，讲了一个手艺、商业、资源、用户都感兴趣的故事，而且遇上了一个好的时机。

“今年 6 月份之后， AI 天生图片的投资变得对照守旧，许多投资人会更关注 AI 天生视频。”从事 AI 天生视频研究的浦林（假名）告诉「甲子光年」，自有 AIGC 观点最先，无论是 AI 天生图片照样 AI 天生视频都很热，然则基于手艺的生长水平，业内预计今年年底，AI 天生视频会有一个不错的 demo 泛起。“这个 demo 足够吸引许多的流量，甚至出圈，有这样的信心，那投资的逻辑就能走下去了。可以说， Pika 占到一个很好的时间点。”

Pika 1.0 推出的当天，科技圈大佬们纷纷为其站台。

自然语言处置领域著名学者 Christopher Manning 赞美 Pika 的两位首创人郭文景和孟晨琳推动了高质量视频的快速生长；OpenAI 科学家 Andrej Karpathy 在社交平台上转发了 Pika 1.0 的演示内容并示意：“每小我私人都能成为多模态梦想的导演，就像《盗梦空间》中的修建师一样。”

Pika 1.0 火爆出圈，离不开一段官方宣传视频。视频中，用户只要输入“马斯克穿着太空服，3D 动画”，就天生了下面这段视频。

Pika 1.0 官方宣传视频中其它演示也可以用“惊艳”来形容，视频公布后，已经有媒体迫在眉睫地称“AI 天生视频的 ChatGPT 时刻即将达来”。

然则，Pika 真的如宣传视频上所展现的那么“惊艳”吗？

今年 7 月，Pika Labs 就在 Discord 推出服务器，短短几个月时间内收获了 50 万用户。不外，想使用最新的 Pika 1.0 ，在官网可能还需一段时间的排队。但在 Discord 上，许多用户已经晒出了测试视频。

现在，Pika 1.0 还只能天生 3 秒展示视频。在社群中，用户 A 输入提醒词： A dragon fly in sky（一条龙在天上飞）。这个表达是对照清晰明确的，但输出的视频效果却和龙绝不相关，更像一个克苏鲁生物。

而用户 B 输入了更为仔细的提醒词：female priest - dnd character - in battle pose - character select default animation - camera zoom in - motion 1（女性牧师 - 龙与地下城角色 - 战斗姿势 - 角色选择默认动画 - 摄像头放大 - 动作1）。

这次 Pika 1.0 输出的视频效果大要相符要求，但细节依然有显著缺陷，角色的手部构图“惨不忍睹”。不外，“AI 不会数数”是存在已久的问题，并非 Pika 独占的“瑕疵”。

但也不乏效果惊艳的案例，好比用户 C 提供了图片并输入提醒词：stranded medieval ship, violent sea, rain, clifs, slow motion, -motion 2 -gs22 -camera pan right Image: 1 Attachment（停顿的中世纪船只、汹涌的海浪、雨水、悬崖、慢动作、动作2 、gs22 -摄像机向右平移、图像：附件1），天生的视频效果较为优美。

AI 教育者 Chase Lean 在试用了 Pika 1.0 后难掩激动之情，他在社交媒体上直言这是他“使用过的*的 AI 视频天生器”。

浦林一直在关注 Pika 及相关产物，从 demo 和现实使用感受来说，Pika 1.0 已经属于“行业*水平”。

对于 AI 天生视频工具，最为简朴的评判尺度就是“天生的内容是否真实”。在手艺上，Pika 在单帧画面拟真水平、美学质量以及视频的动作感上显示精彩，在文生视频、图生视频的能力和运镜上也有不错的能力展示。除算法外，社区活跃度也被以为是初创公司焦点竞争力的一部门，包罗维护 Discord 社区等。现在，Pika 的社区活跃度位列业内前茅。

在图像和视频天生方面，业内主流手艺蹊径为 Diffusion Model（扩散模子）。不外 Pika 团结首创人孟晨琳在接受采访时透露：“Pika 也不能完全算 Diffusion Model，我们开发了许多新器械，是一种新的模子。”

不外在浦林看来，Pika 与其它 AI 天生视频工具（如 Runway ）“在手艺上没有本质差异”，一些自媒体对 Pika 和 Runway 的对比剖析“纯粹是履历归纳”。

这也就会带来一个问题，耐久关注 AI 领域的投资人辰逸（假名）向「甲子光年」表达了他的担忧：“Diffusion Model 不是智能的。它主要凭证已往图像的履历拟合出相符人类审美的图像，并不具备明晰语言和智能思索的能力。而当我们在使用 ChatGPT 时，会有在和真人对话的感受，虽然这个「人」的智商可能忽高忽低。”

辰逸以为，只管 Pika 爆火离不开产物实力，但“炒作”身分更多些。

厦门集美区政府投资基金出资祥峰投资

“就像炒土豆丝，每小我私人使用的厨具、调味料等可能大不相同，但原质料归根结底都是土豆。”辰逸比喻道，“明晰语言的基本问题并没有解决，图像学还缺少一个飞跃的时刻。”

而在回覆“AI 视频天生什么时刻会迎来 GPT 时刻”的问题时，Pika团队照样对照苏醒的，孟晨琳以为，现在视频天生处于类似 GPT-2 的时期，“很可能在未来一年内有一个显著的提升”。

Pika 的能力在某种水平上被高估了，但 Pika 带来的破圈效果是从业者乐于见到的。浦林五年前就进入了 AI 天生视频领域，最近这半年是他以为这个领域“最火”的一段时间，只管他也以为 Pika “在宣传上对照用力”，然则从专业角度剖析，他信托 4 小我私人的团队做出 Pika 是“没问题的”。

2.争取AI视频天生高地

从手艺视角来看，有业内学者以为，相对于文本、代码和图片天生，文生视频（Text-to-Video）是 AIGC 的“高地”，由于这个领域存在着算力需求大、高质量数据集欠缺、可控性较差等挑战。

浦林以为，AI视频天生领域尚有一个难题，即生产和研究之间存在的差距。

研究者往往难在*时间将研究功效应用于现实，由于差其余视频制作者，好比影戏、动画、短剧的制作者，有着差其余制作流程，而研究中可能只涉及一种特定的生产方式，好比文本到视频。

浦林近期也在产业中调研，通过和影戏制片方的交流不停优化自己的研究偏向。“解决难题的要害在于开发的工具能否真正知足视频制作者的需求，并与其现实事情流程相契合。”浦林告诉「甲子光年」，“当你的研究越靠近生产的时刻，它会发生更大的经济价值。”

商汤科技数字文娱事业部副总裁李星冶示意，多模态 AI 中门槛对照高的就是文生视频，“现在一些广告视频的制作，只要录入文本就能天生视频，固然现在效率还没有那么高，视频像素可以到达 4K 或者 8K，然则动画效果还对照简朴。”

AI 视频天生领域，赛道也愈发拥挤起来。只管 Pika 备受瞩目，但接下来它仍需面临不停增多的竞争。

Runway 推出了动态笔刷新功效 Motion Brush，用户只需在图片上轻轻一划，即可将其转化为动态视频。另外，Runway 还与影戏制作公司睁开了慎密相助。

Stability AI公司公布了其 Stable Video Diffusion 视频模子，用户可凭证需要调整种种参数，如迭代步数、重绘幅度等，以协助创作者正确掌控画面天生历程，包罗气概、姿势和线条等特征。

除此之外，征象级文生图工具 Midjourney 也正在着手开发视频功效；Meta 也推出了两项基于人工智能的视频编辑新功效。

而在开源方面，AnimateDiff、MAKEAVIDEO、MagicAnimate等也在结构 AI 视频天生赛道。

3.多模态AI的想象

对于投资人来说，多模态 AI 也是今年下半年的关注焦点。

耐久关注 AI 领域投资的心资源合资人吴炳见以为，大语言模子只是 AI 疆土的一部门，基础模子的*性原理是“predict next token（展望下一个词）”，这个原理有可能带来其它模子。

“若是未来 Transformer 或者另外一套算法能够准确展望下一帧，那么视频模子就出来，就有时机解锁下一个抖音级其余内容平台；若是能准确展望下一串动作序列，那么具身智能模子就出来了，就解锁通用机械人了；若是能准确展望下一个卵白质序列，那么卵白质模子就出来了，新药研发又可以迈进一大步了；若是能准确展望下一个像素，那么 3D 模子就出来了，就解锁元宇宙的构建了。”吴炳见说。

在吴炳见看来，待疆土完全解锁后，就会有多个基础模子，而许多偏向的边际成本会趋近于零，不停解锁新的应用层的时机。

海内的 AI 厂商也在增强对多模态 AI 的投入。昆仑万维在外洋举行了 AI 多模态场景探索，其中包罗了AI游戏（Club Koala），之前已经在德国科隆游戏展上亮相，预计将于明年上半年举行测试。“这里不仅包罗了常见的对话，通过大模子赋能的 AI NPC，也包罗 3D 天生等 AIGC 手艺，尤其是在 AI 3D 天生方面，我们做得对照*。”昆仑万维董事长兼 CEO 方汉先容。

「甲子光年」还关注到一些手艺大佬入局。例如，清华大学盘算机系 Bosch AI 教授、清华大学人工智能研究院副院长朱军建立的生数科技，专注于多模态层面，致力于打造可控的多模态通用大模子；前字节跳动前视觉手艺卖力人、AI Lab 总监王长虎建立了爱诗科技，聚焦于天生式 AI 的视觉多模态算法平台。

只管多模态大模子使AI能够凭证图像内容推理庞大问题，但仍无法像视觉感知系统那样在图像上正确定位指令对应的目的区域。因此，香港中文大学贾佳亚团队提出 LISA（Large Language Instructed Segmentation Assistant）多模态大模子。LISA 通过引入一个 <SEG> 符号来扩展初始大型模子的词汇表，并接纳 Embedding-as-Mask （嵌入作为掩码）的范式赋予注释多模态大型模子支解功效，最终展现出壮大的零样本泛化能力。

LISA 手艺方案概述，图片泉源：受访者提供

在垂直应用场景上，云知声通过医疗知识增强的山海大模子北京友谊医院打造的门诊病历天生系统，可以在不改变医生问诊方式情形下，通过医生与患者的对话录音，抽取要害问诊信息并天生病历，将医生从病历撰写事情中解放出来，把更多时间留给患者。

谷歌近期重磅推出的 Gemini 也显示了多模态模子在各应用场景中的潜在价值。若何真正买通物理天下和数字天下之间的屏障，要害在于有用处置多模态 AI 能力。用底层的感知能力衍生出操作，从而实现与物理天下最自然的交互方式。

在多模态 AI 发作之前，不要温顺地走进这个良夜。

*应受访工具要求，文中浦林、辰逸为假名