网上刷屏的第一个抱着小狗的人形机器人是 Figure 01，它依靠 OpenAI 多模态大模型完成聊天交互，整套流程是麦克风收音转文字、摄像头采集画面信息，一起送入大模型理解对话上下文、识别眼前抱着小狗这个场景，模型输出回答文本之后通过 TTS 语音合成出声，同时同步下发动作指令，一边说话一边做出转头、调整抱狗姿势等肢体反馈，不是固定脚本台词，可以自由闲聊、回答问题、描述怀里小狗的状态、解释自己的动作；直白来说，它和普通音箱语音助手最大差别是聊天会绑定视觉画面，它知道自己怀里抱着小狗，你问它怀里是什么，它能结合画面给出对应回答，还能记住本轮对话上下文，而不是只单独识别单句语音，不过它的聊天能力高度依赖云端大模型，离线状态下没法完成自由对话，现场演示里抱小狗属于展示环节，对话内容都是实时生成，不是提前录好的固定台词，噪音大、遮挡摄像头的时候，识别和聊天效果会明显下滑。
Figure 01 聊天交互完整链路表
| 环节 | 执行部件与功能 |
|---|---|
| 感知采集 | 机身阵列麦克风收音、多颗 RGB 摄像头采集画面，捕捉语音、人脸、怀里小狗、环境信息 |
| 语音转文字 STT | 把人类说话音频转成文本，同步附带说话人方向信息 |
| 多模态推理 | 文本 + 图像一起送入 OpenAI 多模态大模型，理解语义、识别场景（抱着小狗）、读取对话历史 |
| 生成回复 | 大模型输出自然语言文本，同时生成配套动作指令（转头、微调抱持姿态） |
| 语音合成 TTS | 文本转自然人声，通过机身扬声器播放回答 |
| 具身动作输出 | 底层运动控制器执行动作，聊天时搭配肢体反馈，做到边说边动 |
聊天交互的几个核心特点清单
- 场景感知联动：聊天时能看见怀里小狗，你围绕小狗提问，回答会贴合这个视觉信息，不会脱离画面空谈
- 上下文记忆：单轮对话会话内记住前面聊过的内容，可以承接上一句话题连续聊天
- 开放式对话：不局限预设指令，支持闲聊、问答、描述画面、解释行为，和 ChatGPT 对话逻辑一致
- 语音 + 动作同步：回答语音输出的同时，配合头部转动、手臂微调，让聊天观感更拟人
- 依赖云端算力：自由对话模式需要联网调用大模型，离线只能执行固定动作指令，无法开放式聊天
上手和它聊天的简单步骤
- 在相对安静环境下对着机器人说话，麦克风会拾取你的语音；
- 不要遮挡它正面摄像头，保证它能看清怀里小狗以及你的面部；
- 直接用自然口语提问，比如 “你怀里抱着的小狗是什么样子”“你抱着小狗有什么感受”；
- 等待它语音回复，同时观察它配套的肢体动作；
- 接着继续提问，它会延续本轮对话上下文继续交流。
聊天体验的局限说明
- 嘈杂环境收音差，容易识别错内容，答非所问；
- 长对话记忆有限，会话重置之后不会保留很久之前的聊天内容；
- 动作和语音同步偶尔存在延迟，嘴型、动作和声音不能完全对齐；
- 它没办法和怀里真实小狗双向对话，只能 “看见” 小狗，不能解读小狗叫声。
【相关 FAQ】
问题 1：首个抱着小狗的人形机器人 Figure 01 是怎么聊天的，靠本地预存台词吗？
回答 1：首个抱着小狗的人形机器人 Figure 01 不是靠预存台词聊天，它是麦克风、摄像头采集语音和画面信息，送入 OpenAI 多模态大模型实时生成回答，再转成语音输出。
问题 2：首个抱着小狗的人形机器人 Figure 01 聊天的时候，知道自己怀里抱着小狗吗？
回答 2：首个抱着小狗的人形机器人 Figure 01 聊天时可以通过摄像头视觉识别到怀里小狗，大模型会把这个画面信息纳入对话推理，回答可以围绕小狗这个场景展开。
问题 3：首个抱着小狗的人形机器人 Figure 01 断网之后还能正常聊天吗？
回答 3：首个抱着小狗的人形机器人 Figure 01 开放式聊天依赖云端大模型，断网之后没办法完成自由对话，只能运行提前写好的固定动作指令。
问题 4：首个抱着小狗的人形机器人 Figure 01 聊天的时候，能不能听懂小狗叫声、和小狗对话？
回答 4：首个抱着小狗的人形机器人 Figure 01 聊天只能识别人类语音，没有动物叫声翻译能力，无法听懂小狗叫声、和小狗双向对话。
【参考资料】
[2024-03-14]（Figure 01 人形机器人演示：抱着小狗与人对话，接入 OpenAI 多模态模型）凤凰网科技
[2024-03-14]（Figure AI 发布 Figure 01，具身机器人如何实现语音 + 视觉聊天交互）36 氪
[2024-03-15]（Figure 01 多模态交互原理，语音视觉输入与端到端推理）智东西
[2024-08-02]（Figure 02 升级语音到语音推理，人形机器人对话框架更新）新智元
【免责声明】
本文资讯整理自 Figure 01 人形机器人公开演示视频与官方技术说明；该机器人抱小狗聊天为公开演示场景，属于实验室早期 Demo 效果，量产版本交互、联网策略、对话能力可能调整；聊天识别效果受环境噪音、光线、网络状态影响；本文仅为技术原理科普，不构成机器人产品采购、投资建议。
本文来自作者[芦风奶咖]投稿，不代表海博商机网立场，如若转载，请注明出处：https://www.hb12369.net/qyzx/202611/638.html
评论列表（4条）
我是海博商机网的签约作者“芦风奶咖”！
希望本篇文章《首个抱着小狗的人形机器人 Figure 01 对话逻辑拆解，多模态联动实现自然聊天》能对你有所帮助！
本站[海博商机网]内容主要涵盖：互联网行业的追踪与探索
本文概览：网上刷屏的第一个抱着小狗的人形机器人是 Figure 01，它依靠 OpenAI 多模态大模型完成聊天交互，整套流程是麦克风收音转文字、摄像头采集画面信息，一起送入大模型理解对话上下文、识别眼前抱着小狗这个场景，模型输出回答文本之后通过 TTS 语音合成出声，同时同步下发动作指令，一边说话一边做出转头、调整抱狗姿势等肢体反馈，不是固定脚本台词，可以自由闲聊、回答问题、描述怀里小狗的状态、解释自己的动作；直白来说，它和普通音箱语音助手最大差别是聊天会绑定视觉画面，它知道自己怀里抱着小狗，你问它怀里是什么，它能结合画面给出对应回答，还能记住本轮对话上下文，而不是只单独识别单句语音，不过它的聊天能力高度依赖云端大模型，离线状态下没法完成自由对话，现场演示里抱小狗属于展示环节，对话内容都是实时生成，不是提前录好的固定台词，噪音大、遮挡摄像头的时候，识别和聊天效果会明显下滑。