大模子正在蜕变及时互动时候。

声网看周全球音视频时候龙头，2020 年在纳斯达克上市，当今是全球最大的及时互动云干事商，平台单月音视频使用时长达 700 亿分钟。

同期，声网昆玉公司 Agora 亦然 OpenAI Realtime API 的调解伙伴，在国内声网也与 MiniMax 正在打磨国内首个 Realtime API。

在 MEET 2025 智能改日大会大会现场，声网首席运营官刘斌共享了一个看似离大模子有点距离，实则却不能或缺的要领：

RTE（Real Time Engagement）在 AI Agent 期间的全新价值。

为了完竣体现刘斌的想考，在不蜕变承诺的基础上，量子位对演讲内容进行了裁剪整理，但愿能给你带来更多启发。

MEET 2025 智能改日大会是由量子位垄断的行业峰会，20 余位产业代表与会盘考。线下参会不雅众 1000+，线上直播不雅众 320 万 +，获取了主流媒体的闲居关心与报说念。

中枢不雅点

多模态对话体验的两个关节：延长是否低于 1.7 秒，能否打断

多模态对话 AI Agent 运用居品化落地的关节：端到端、全球浪漫所在、弱网环境、多样终局下的低时延

不管是语音 , 如故视频 , 只淌若多模态有交互的 AI Agent 运用 , 离不开 RTE 才气的支捏

演讲全文

今天额外欣慰有这么契机来到现场跟共享，声网看成 RTE 规模的企业，和 AI 规模的大模子与运用厂商，和当下的大模子干系是什么，RTE 演进如何助力 AI Agent 运用落地。

第一，声网到底是谁。

声网于 2020 年在纳斯达克上市，专注于提供及时互动云干事。经过多年的发展，该公司在该行业取得了一定的逾越。

咱们公司的标语简易明了，即让及时互动像空气和水相同，无处不在。

这一理念旨在终了改日不管身处何地，齐能获取如同濒临面般的互动体验。经过多年的勤奋，咱们在市集占有率方面位居第一，并领有多量注册开发者运用。

单月音视频分钟数约为 700 亿，这意味着每天在咱们平台上的分钟数约为 20 多亿。在这种情况下，全球越过 60% 的泛文娱运用汲取声网看成其调解伙伴。咱们触及的规模包括泛文娱、西席和物联网等，均领有相应的调解伙伴。

第二，咱们作念的事到底和 AI Agent 有什么干系，如何去助力它。

领先，值得关心的是，OpenAI 于 10 月 1 日在官方网站发布 Realtime API 时，曾在调解伙伴中说起 Agora，即咱们声网的昆玉公司。

其次，在 10 月份的 RTE 大会上，咱们通知与 MiniMax 正在打磨国内第一个 Realtime APl。

第三，AI Agent 期间到底若何样作念才能作念的更好。

咱们不错不雅察到，在真的多模态模子推出或对话时，相较于原先的纯文本交互，已经发生了变化。

原先的交互内容上是异步的，即我不错发送信息，说完后恭候处治并复返驱逐。关联词，在真的多模态交互中，要务及时性和双工性，即我说他听，他听完后我再听。

在这个经过中，有几个关节要素会影响效果。

领先，全球较为老练的口吻、情谊、激情和口音等要素在模子中得到了多量处治。

其次，延长亦然一个额外遑急的要素。敬佩全球齐有连络的感受。

从执行测量数据来看，真的达到实用效果的延长一般在 1.7 秒傍边。如果低于这个值，东说念主们会以为与 Agent 疏浚很当然；而如果延长达到 2 秒多或 3 秒，东说念主们就会嗅觉到有些卡顿，响应稍显渐渐。这是一个额外遑急的关节点。

另一个关节点是，能否终了打断功能以及如何更好地进行主动交互。

要终了这些功能，除了模子才气外，还需接洽运用的落地神色。是在实验室的 PC 上进行演示，如故将其运用于多样手机终局、物联网终局以偏执他开拓上？

当有此需求时，在居品化落地的经过中会发现，除了之前提到的低时延等才气外，还需要在端到端齐能终了。此外，还需在不同所在、不同采集环境下以及多样终局开拓上齐能得到支捏，这并非易事。

对于这张图，尽管全球可能不太关心，但咱们其时额外喜爱。这是 5 月份 OpenAI GPT-4o 发布时的情况，全球不错看那根网线，这是要保证采集的富厚性。

在 4o 发布之后，全球齐在恭候 API 的推出，正本预期一周或两周内会推出，但执行上并非如斯，直至 10 月份才发布。原因在于，一运转全球认为这件事很浮浅，只需对原有的 RTP Server 进行修改，将文本传输改为语音传输即可。

关联词，执行情况并非如斯浮浅。咱们与他们调解，直至 10 月份才厚爱推出。恰是咱们在其中进展作用，使其真的落地终了。

在此，我向全球展示声网多年来的责任后果。

领先，咱们领有一张遍布全球的 SD-RTN 采集，确保在这张采集上音视频传输齐能在表率的 400 毫秒内端到端到达，这是采集支捏。其次，咱们多年的蓄积使咱们粗略在 30 多个平台的框架和 30000 多终局机型上提供 SDK 支捏，涵盖多样操作系统。您只需很快地建树这个才气。包括物联网的多样开拓终局，齐有相应的 SDK。

此外，在执交运用中，如咱们在这个会场，如果我要与 AI 对话，采集情况和环境噪声并非固定不变。如安在顶点弱网下保证效果，这亦然咱们多年时候蓄积的驱逐。

恰是咱们在这一规模的深厚蓄积，使得咱们粗略构建一个具有执交运用价值的 Voice 对话 Agent。只好将这两者致密集结，才能终了这已策划。这也证明了为什么在发布 Realtime API 时，咱们需要寻找这么的调解伙伴共同鼓动。

咱们还发现，现存的 RTC 时候栈和基础设施存在多量纠正空间。只好通过纠正，大型模子才有可能在多样场景、花样和模子下大范围参与到东说念主类的谈话对话中，其参与开首也将从云霄彭胀到终局，再到更低延长的边际。基于这些才气的纠正和普及，改日 RTE 必将成为生成式 AI 期间 AI 基础设施（AI Infra）的关节构成部分。

如图右侧红色部分所示，Realtime API 频繁由大型模子厂商发布。关联词，在左侧这一圈，包括中间的采集和声网的 Linux Server SDK，以及前端的 SDK，如果莫得这么的基础，咱们将很难终了这一整套效果。这恰是我之前所证明的原因。如果中间的这些要领未能终了，那么效果将无法涌现。

在此，咱们将从现时视角开赴，探讨改日的步履标的以及如何进一步进步效果。近期，咱们一直在深切研究和插足资源，以优化东说念主与东说念主之间的对话体验。关联词，在东说念主与模子之间的对话中，体验的进步需要充分接洽模子的特色。

举例，咱们从传统的 QoS、QoE 发展到如今的 AI QoE，乃至多模态 AI QoE，这其中涵盖了 VAD 时候、杂音摒除才气以及连络采集优化等方面。这些新的方法和神色使得咱们与模子的对话愈加靠拢执行情况。以一个浮浅的例子来证据，东说念主与东说念主交谈时不会羼杂其他信息，但东说念主与模子对话时则可能不同，语音传输经过中可能还包含其他信息。因此，在弱网环境和运用场景中如何终了精湛适配，便显得尤为遑急。

咱们曾在 RTE 大会上展示过一个实例，其时的会场范围较大，东说念主数广大且环境嘈杂，咱们在现场使用了一个 5G 开拓进行演示。

咱们想作念到的是从 60 分进步到 90 分，这不仅触及模子难度的提高，还包括邻近工程配套的完善，以便将居品从演示阶段发展为更具实用性的运用。

对于声网的居品体系，咱们正不休加强其功能，如 Linux SDK、AI VAD 才气以及 AI Agent Service 的补充与优化。通过声网 RTE+AI 才气全景图，咱们不错看到咱们的举座想路，包括从基础设施到 Agent，再到场景的演进，旨在成为生成式 AI 期间的 AI 基础设施，这亦然咱们的愿景。

终末，我想强调极少：

任何触及大模子多模态及时交互的运用，不管是语音如故视频，只消存在多模态交互，这类 Agent 运用的落地齐离不开 RTC 时候的支捏。

在这种情况下，如果全球有这么的需求，请来找声网，咱们一定给全球更好的体验。

谢谢全球，今天就到这里。

—  完  —

点这里� � 关心我，牢记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日相逢 ~