在通用人工智能代理（Agent）的发展进程中，多模态交互技术正逐渐崭露头角，成为提升用户体验的关键基石。过去，用户与人工智能的互动主要局限于输入文字、上传图片，然后等待回应。如今，用户对交互方式有了更高期待。例如，家长希望直接将镜头对准孩子正在做的题目，让AI逐步讲解；在穿搭建议、视障人群视频导航等场景中，用户期望AI能在整个任务过程中持续倾听、对话，而非简单的一问一答。
这种交互方式的转变，不仅丰富了功能，还增加了用户与AI建立连接的频率和深度。火山引擎智能视频技术负责人裴志伟在分享中指出，视频通话等多模态场景极大地拓展了技术方案的普适性，带来了更多可能性。以豆包为例，凭借多模态交互体验，其在几乎没有大量投放的情况下，业务规模实现了十倍增长，从千万级日活跃用户（DAU）跃升至亿级。
多模态体验并非仅由模型能力决定。当用户打开摄像头和麦克风后，传输质量成为影响体验的关键因素。这包括连接速度、弱网环境下的稳定性、音画同步性、用户打断的响应速度，以及模型能否在恰当时间获取正确信息等。
目前，国内外的科技公司都在积极构建更成熟的技术底座，以实现AI与人的自然沟通。OpenAI于7月8日推出了新的GPT-Live，将连续对话与更深入的搜索、推理和智能体任务分离，打造了一个独立、低延迟、可打断、可持续的多模态信息交互层。而在更早的2026火山引擎FORCE原动力大会上，火山引擎介绍了支撑豆包实时多模态交互的多模态传输系统（MMT）。
火山引擎和OpenAI都意识到，传统音视频传输技术已难以满足Agent时代多模态交互的需求。豆包最初从语音交互入手，选择了WebSocket技术方案。WebSocket具有简单、标准、支持全双工和长连接等优点，穿透性也不错，适合初期验证语音交互体验的方向。然而，随着业务发展，WebSocket的弱点逐渐显现，其在弱网环境下体验较差，会出现视频丢包、延迟不可控等问题，影响模型反应和回答效果。裴志伟介绍，日常应用中，延迟抖动超过1秒，模型接收的信息就会失真，导致回答不准确或不回应。
为解决弱网优化问题，豆包引入了QUIC方案。QUIC在弱网恢复、多路复用和连接迁移方面更适合移动端场景，使豆包在耳机、车载、机器人、智能眼镜等复杂场景中实现了稳定高效的传输。当豆包将视频通话作为重点能力建设时，QUIC也无法满足需求，转而采用WebRTC。WebRTC实现了超低时延，端到端延迟比QUIC优化10%，还具备完整的视频链路能力，内置音视频编解码、回声消除等功能，且得到浏览器原生支持，让豆包反应更快，能自然打断，声音和画面更接近真人交流。
尽管WebSocket、QUIC、WebRTC在不同阶段解决了豆包的实际问题，但它们难以单独支撑未来规模更大、场景更复杂的实时多模态交互需求。火山引擎认为，面向AI交互的多模态传输系统可能是目前最复杂或规模最大的实时通信（RTC）系统，服务体量可能是此前RTC需求的100倍到500倍。亿级用户、长时间在线和高频调用的AI场景会放大成本和稳定性压力。
AI交互与人与人通话在传输链路目标上存在核心差异。人与人通话中，系统需稳定传输音视频内容；而AI交互中，模型需在正确时间获取最有价值的信息。例如，用户询问屏幕上一行小字时，继续传输低码率视频并非最优解，触发高清图、抽帧或局部增强更合理。
为满足这些需求，火山引擎决定重构实时多模态传输链路。豆包需要一套面向AI交互的多模态传输链路，要求建联更快、端到端延迟低、弱网体验稳定、支撑亿级并发且成本可控。为此，火山引擎采用C/S架构搭建系统，支持复杂的网络传输策略、传控策略和播控策略，同时构建多模态会话系统并拓展交互能力。
在具体实践中，火山引擎保留了客户端成熟的采集、编码、回声消除等能力，将最底层网络库替换为QUIC库，增强弱网恢复、多路复用和连接迁移能力。传输层基于MoQ协议实现更好的会话控制，判断不同模态的优先级，进行精细的会话控制。服务侧，网关承担更关键角色，根据用户输入选择是否直接送往模型，或进行抽帧、获取高清图等处理，并引入MediaKit同源处理算法服务于实时传输场景。
目前，这套系统已在豆包中落地，部分更新后的用户开始使用新的多模态传输链路，意味着该系统已进入真实的C端高并发场景。火山引擎计划将这套在豆包内部验证过的系统输出给更多客户，提供一站式服务、Agent前后处理能力或直接采购多模态传输和基础处理能力等不同方案，满足不同开发深度的AI应用需求。
豆包的视频通话只是前台入口，火山引擎在豆包超大规模C端流量和自身产品化能力基础上，沉淀出一套多模态传输系统，并通过豆包验证了其在真实流量、复杂网络和高频交互中的可行性。长远来看，多模态传输有望从通信管道转变为Agent时代的人机交互技术底座。
过去两年，大模型竞争主要集中在参数、推理、上下文和多模态理解能力上。然而，当AI从聊天框走向更多真实场景时，保证体验下限同样重要。没有稳定、低延迟、低成本的多模态传输能力，再强的模型也难以进入高频、长时、移动化、硬件化的真实场景。模型决定智能上限，传输决定体验下限，这是AI产品化的硬约束。因此，火山引擎、OpenAI等公司都在构建新的多模态传输技术底座。
OpenAI的GPT-Live将任务交给另一个模型，自己继续维持对话，本质是将“自然交互”和“深度智能”拆分为两个协作层，前者负责低延迟、持续、可打断，后者负责复杂任务和更强推理。尽管GPT-Live初期尚未完全结合语音、视频和屏幕共享，但其下一步显然是要将这些元素纳入同一个实时会话系统，使用户与AI的关系从任务式查询转变为更连续的陪伴式交互。
这种连接频率和深度的提升，是豆包和ChatGPT共同追求的目标。豆包的视频通话深受用户喜爱，不仅因为增加了摄像头，更因为多模态传输让AI从工具变成了更接近“在场者”的角色。随着Agent竞争从模型能力延伸到工程能力，行业需要一套完善的AI原生基础设施。火山引擎在多模态传输上的投入，不仅为豆包补齐了技术链路，也为Agent时代进行了底层基建。当AI开始实时进入真实世界，谁能长期、稳定、低成本地支撑这种交互，谁就更接近下一代AI应用的基础设施位置。
