复旦师生Pre-A轮融资超10亿，想让AI懂人的情绪与处境

复旦大学教授邱锡鹏创办的模思智能，近期完成超过10亿元的Pre-A轮融资，由华控基金联合领投，国开科创、上海科创基金、新微资本、徐汇资本、追光硬科技创投、临港策源基金等参与投资，老股东元禾控股、上海国投旗下上海科创集团、星连资本等继续跟投。这笔资金将用于全模态实时交互系统的研发和全球商业化推广。

模思智能专注于让AI理解人类情绪和情境。CEO李世民表示，AI要真正理解用户意图，需要结合用户的话语、周围环境以及过往交互。情绪是其中的关键情境信号。例如，用户突然中断对话，可能因为任务完成，也可能因AI回答错误引发不耐烦。这种反馈隐藏在语音、语气和更广泛的情境中。

该公司提出的“情境智能”目标是让AI持续理解现场：谁在场、之前发生了什么、当前环境如何、人在做什么以及接下来可能做什么。但完整实现这一目标仍面临诸多挑战。因此，模思智能选择先将交互模型作为工程化入口，让模型能理解、生成语音和视频等多模态信息，并实现实时交互。这套系统被命名为MOSS Live。

模思智能的创始人邱锡鹏是复旦大学特聘教授、上海创智学院副院长。早在2023年初，其团队就推出了类ChatGPT的语言模型MOSS，引发广泛关注。当时有投资机构邀请创业，但团队并未立即行动。同年，团队研发了端到端语音大模型SpeechGPT，尝试让模型理解和生成语音，保留情绪、语速、音色等细节。2024年，他们开发了AnyGPT，探索处理更多模态信息。

沿着这条研究路径，情境智能的目标逐渐清晰。要实现这一目标，模型必须进入现实情境，获取客户真实反馈，反哺模型。2024年底，团队正式孵化创业，成立模思智能，由SpeechGPT核心作者、复旦博士李世民担任CEO。

李世民透露，过去半年多，模思智能团队发布了20多个模型版本，涵盖语音生成、音频理解、视觉理解等领域。与B端客户打磨交互模型的过程中，真实情境的需求不同于学术指标，客户要求准、快、便宜，这些约束改变了模型架构和推理框架。

对于AI for AI这一热门话题，李世民认为这不是新事物或壁垒，许多团队早已用AI加速模型研发。如今，单点模型的领先可能很快被追上，但如果模型能快速进入产品，真实场景反馈变成下一轮训练材料，系统迭代速度可能拉开差距。

以下是「暗涌Waves」与模思智能CEO李世民的对话：

「暗涌」：模思一直强调“情境智能”，这里的“情境”到底怎么理解？

李世民：我们理解的情境，英文也是context，但它比大模型里常说的“上下文”更泛化。真实物理环境的信息是持续流入的，包括有什么人、什么东西、刚才发生过什么、人与物时空关系如何。例如，你突然问AI“我的钥匙放哪儿了？”如果AI只能看到当前一帧，它不知道答案；但如果它持续接受环境视频流，就可能看到你进门后钥匙放的位置，以及后续移动。拥有情境智能的AI依赖的是此前积累的情境感知能力，而非提问瞬间的信息。

「暗涌」：听起来像一个随行的AI助理。现在大家期待的不止是拟人对话，还希望AI像人一样在物理世界更自主。

李世民：我们选择面向智能终端提供交互能力，底层逻辑是让AI像人一样与物理世界交互。在真实环境中，人会停顿、改口；周围声音、画面和环境状态会变化。最终AI会进入眼镜、车、玩具、机器人等终端，在这些地方，人不会每次都先整理好Prompt。真正的情境智能需要双工交互，输入和输出并行，模型能边看、边听、边接收信息并给出反馈。下一代AI会从“回答问题”走向“持续在场”，能持续理解人和环境，并在合适时回应、行动。我们现在做全模态实时交互，就是在解决这件事。

「暗涌」：全模态实时交互与大家熟悉的AI语音助手有哪些不同？

李世民：真正的交互系统要解决信息如何同时进来、互相影响，并在场景变化时持续更新。例如，一个人说“有点冷”，语音识别只识别出三个字；但真正的交互智能要知道车里温度、谁在说话、车辆状态、说话人偏好，判断是描述感受还是希望调空调。我们真正关心的是AI能不能理解现场。

「暗涌」：邱锡鹏教授团队从语言模型MOSS转向语音理解和生成模型，再加入视频，都是为了接近“情境智能”目标吗？

李世民：创立模思之初，我们对情境智能的描述是：AI能充分感知、理解复杂的物理情境，并在交互中持续提升模型能力。最初我们更强调前半句。AI与物理世界最自然的交互是语音，所以我们从语音入手，让模型听懂语气和情绪。用户打字表达会丢失这些信息。2025年，语音模型能力相对领先，我们集成视觉理解，让模型既能听懂也能看清。现在，我们更多强调后半句，“在交互中持续提升模型能力”。随着基础大语言模型和多模态模型成熟，我们正朝更全面的多模态交互推进。交互智能是重要的工程入口，如果AI没有理解情境，会在交互中暴露错误。

「暗涌」：目前的多模态交互模型做到哪一步了？你们最近提出MOSS Live，怎么理解？

李世民：过去半年左右，我们发布、迭代了20多个模型版本，覆盖语音生成、音频理解、语音识别、视觉理解和内容生成，并持续开源。一些模型在特定任务上效果不错，比如MOSS-Audio能分析用户说话时的情绪、语速和状态，甚至声音中细微抖动；多说话人语音识别模型MOSS-Transcribe-Diarize-0.9B在特定任务上效果超过更大参数的模型。现在正处在把单点能力集成系统的阶段。我们更愿意把MOSS Live理解成一套实时交互系统，包含交互模型和能动性模型。交互模型持续看、听、说，理解当前人和环境；能动性模型负责复杂推理、工具调用和任务执行。

「暗涌」：模思为什么还要做视频生成模型？这个赛道也很卷。

李世民：这要与视频理解放在一起看。在我们的技术体系里，理解和生成相互促进。例如训练视频生成模型，需要先准确描述、标注视频内容，这依赖理解模型的能力。理解模型还能帮助评判生成内容质量；反过来，生成模型效果能验证理解模型能力。两者底层有共通积累，包括音视频数据、数据处理管线以及训练和推理基础设施。我们做视频生成，也复用了此前在语音和音视频理解上的积累。所以我们会把理解和生成放在一起迭代，最终服务于全模态交互目标。

「暗涌」：要实现理想中的AI情境智能，难点主要有哪些？

李世民：核心有几点。第一，对音视频流的持续理解能力和双工交互，让模型在输入和输出侧并行，能边看、边听、边说。第二，记忆能力，不仅包括历史画面，还要在交互过程中对长时间信息编码并更新。获得这些信息后，还要理解用户意图，在输出动作前做规划和目标拆解。这部分语言模型和agent已经做得不错。最后，要考虑怎么从真实交互反馈中改进。这与coding任务不同，coding任务可从代码运行正确与否判断结果，但现实生活中反馈不明确，用户不一定会说“你错了”，而是生气或沉默。模型需要结合更多情境信息分辨。这些问题在当前的交互模型中都未被很好解决。

「暗涌」：早在2023年你们就做了端到端语音模型SpeechGPT，当时外界反馈如何？

李世民：大家觉得范式很新，但也有质疑。当时端到端语音最明显优势是降低时延、保留非文本信息，但代价是参数量大、部署成本高；为降低时延，在特定任务上效果不理想。有些客户反而希望我们做更智能的三段式方案。直到2024年GPT-4o出来，大家才理解端到端语音的价值是让交互更自然。这启发我：我们可以靠技术和认知做出新范式，但最终要与真实用户场景结合，才能产生更大用户价值。所以我们决定2024年底创业。2025年我们做了很多单点模型，包括多说话人语音识别、音频生成、音频理解，技术选型会根据市场反馈调整。

「暗涌」：现阶段你们与一些B端用户联合开发，主要有哪些用户需要全模态能力？

李世民：我们主要接触智能终端客户，包括智能座舱、AI智能硬件等。它们使用场景不同，但对模型有共通要求：理解用户说话内容，结合语气、周围环境和之前交流判断意图；在拟人度、流畅度上表现更好；具备Always-on体验，用户可随时唤醒交互。这些需求在不同终端上表现不同，但底层理解和交互问题相通，模型能力可复用。

「暗涌」：目前智能座舱大多有语音交互，能即时响应需求。座舱内多模态交互是刚需吗？

李世民：要看客户希望座舱AI做到什么程度。像开空调、调音量这类明确指令，现有语音交互能解决。但我们看到一些客户需求涉及更连续、复杂的交流。例如，车里多人交谈时，用户与其他人说话，不希望触发语音助手；用户实时交互时，话说到一半可能思考，不希望被AI打断；打开车窗后，风声、鸣笛声如何避免误触发。这些都是我们正在做、现有座舱语音助手未解决的问题。打磨这些细节，让模型知道何时回应、何时沉默，用户会感觉AI突然聪明了很多。在此基础上，一些客户也希望模型能同步理解视觉和音频信号，因为单靠声音获得的现场信息有限；加入视觉可补充环境理解，帮助判断用户意图。对于想提供持续交互体验的座舱，多模态有了具体用途。

「暗涌」：终端算力能支撑得住吗？

李世民：我们会根据不同场景设计不同大小的模型。例如端到端语音转录模型，用于具身机器人、小型AI硬件、手机等，对时延要求高且端侧芯片算力有限，可用0.9B轻量级模型提供本地服务。同系列也有旗舰版模型，可完成长音频多人转写、说话人分离和时间戳标注，主要通过云端提供服务，适合对时延要求不高但希望获得更强模型能力的场景，如内容生产、线上模态交互或客服、医患交流内容分析。

「暗涌」：来自用户的需求很多，你如何判断哪些值得投入研发？

李世民：判断标准首先是需求导向；第二是有无可复用性，是只有一个客户需求，还是很多场景底层解决同一问题；第三，是否在情境交互智能的目标主线上。我们会看项目除了收入外，对模型能力有无帮助，做完后方案能否迁移到其他客户。例如AI硬件或终端场景，如果能帮助我们迭代交互模型、双工模型，这类项目会优先做。

「暗涌」：做语音模型的老牌厂商已积累不少客户，这个赛道会不会太拥挤？

李世民：我们认为语音赛道还有很大机会。大家对市场规模的判断往往基于当前看到的模型能力，但新技术能力提升会解锁新需求和使用场景。例如我们的多说话人语音识别模型MOSS-Transcribe-Diarize，能分析谁在什么时间说了什么。发布后，就有AI语音硬件公司主动联系我们，希望接入API增强能力。语音生成也还有提升空间，比如让模型一次生成中统一控制情绪、语速和说话人身份，生成玻璃破碎、踩雪等背景音。这套统一声音生成范式成熟后，也可用于AI短剧等内容生产。

「暗涌」：会担心从研发走到商业化，难度反而更大吗？

李世民：我自己比较有信心。AI时代，模型能力是最大竞争力，模型效果足够好，加上infra能力能降低成本，客户会选择效果更好、成本更低的方案。目前B端业务逐渐成熟，我们已经做了一些交付。这轮融资完成后，C端业务预计也会有较大起色。

「暗涌」：你们很早就用到AI for AI技术吗？具体发生在模型训练的哪一步？

李世民：AI for AI是一个很常见的概念，很多顶尖团队都会用到。数据处理、标注、质量评估等环节，现在都需要大量借助模型完成。例如训练多说话人对话语音生成模型MOSS-TTSD时，需要能标注多说话人语音内容的模型，但市面上模型做得不好，所以我们自己训练了轻量级端到端语音转录模型MOSS-Transcribe-Diarize-0.9B，再用它标注训练数据。理解模型不仅可以为生成模型标注数据，也可评判生成内容质量，作为奖励模型帮助生成模型训练。生成模型结果又可反过来验证理解模型能力。

「暗涌」：具体标注时，人和模型分别做什么？

李世民：我们会先找很多相似场景的源数据，用初步AI模型整体标注一遍，再在模型标注基础上做人工质量核对，得到更高质量的训练数据。这套数据管线从2023年开始迭代和积累，除了上述模型，还会用到许多音频理解和多模态理解模型，分别处理不同数据任务。模型之间如何编排、数据管线先处理哪些任务后处理哪些任务，都需经过精细实验。

「暗涌」：让AI进入数据生产、标注和模型训练，对效率的提升怎样？

李世民：效率方面，我们比市面上常见的多模态或音频数据处理管线提高两到三倍，包括对数据处理算子的工程优化。靠这套共通的数据处理管线和研发infra，模型迭代速度也很快。近半年，我们陆续发布了二十多版模型。

「暗涌」：现在很多团队都在用AI辅助研发，你们希望建立哪些壁垒？

李世民：AI for AI，机器学习里研究了很多年。我觉得这个词本身不是壁垒。我们更关心的是，能不能把AI真正放进多模态数据、模型迭代的生产流程中。例如音频、视频、图像和交互数据进来后，过去很多事情靠人做，现在这些环节可逐步训练模型处理。单点模型今天领先，过一段时间很可能被追上。实时多模态交互不一样，它需要语音、视觉、视频、理解、生成、推理系统、真实场景和数据管线一起往前走。模型能不能快速接入系统、真实场景数据能不能回来、数据回来后能不能很快变成下一轮训练材料，这几个环节如果能持续转起来，最终能放大整个系统迭代速度。下一步真正要证明的是，产品和客户场景产生的数据，能否持续回到模型训练。

「暗涌」：从团队角度看，模思智能现在200多人，约3/4是研发人员，你会觉得组织更像Lab吗？

李世民：从人才密度上看，我们确实有一些实验室特征，差不多一半是纯算法研究；剩下的人里又有一半是开发侧研发。但模思不是一个Lab，我们是一家要走通商业闭环的公司。研发占比高，是因为我们要把研究、模型、产品一路打通，每一环都离不开研发。模思的模型能力要变成用户真正用得上的产品和服务；用户和市场会反过来影响我们的模型。以前做语音模型，可能更关注词错率、语音相似度等学术指标；但客户会提需求：不光要准、低时延，价格也不能太贵。这些约束最后会反过来改变模型架构、推理框架，甚至基础设施，逼着我们做更细致的优化，提供低成本、高利用率的模型。

「暗涌」：你们希望模思最终成为一家怎样的公司？

李世民：我们想做的，还是AI和真实物理世界交互的基础设施。往理想方向讲，就像电影《Her》里的AI助手。AI能够充分获得用户所处的情境，理解人，能与人进行智能、实时、连贯的交互。