少有的同时做过Agent、多模态和具身的人

淏楠先后在MiroMind负责纯语言Agent的mid-train和SFT，在混元负责多模态RL infra，最近转入某具身公司负责模型训练。本期播客由曲凯主持，对谈梳理了Agent与多模态的紧密关系、国内RL在infra上与海外的代差主要来自算力不足，以及多模态视频生成当前处于60分水平，上下文管理和交互Harness仍是主要痛点。

视频生成难以通过后训练实现类似R1的快速跃升，预训练仍依赖高质量数据和产品闭环回流，因此更依赖巨头资源。未来半年到一年，视频领域两大机会在于更好的交互式Harness（模型根据前文提供镜头方案供选择）和降低门槛的创作-消费平台。

对话还分析了实时互动目前以伪实时为主，一致性仍是瓶颈；世界模型路线面临迷茫，李飞飞公司最终出售也反映了落地难度。转向具身的原因是action本身是一种模态，迁移门槛较低，且个人希望从事能影响物理世界的Physical AI。

Astra被视为具身领域的GPT-3时刻，其强理解能力和直接输出有意义动作序列的能力，依赖主线语言模型泛化+具身数据训练，可通过视觉反馈进行调整。具身厂商应聚焦硬件适配的小模型+co-design，必要时让Astra接管Error Recovery数据来提升小模型成功率，形成从一人盯一台到一人盯十台的scaling数据管线。

整体看，Astra解锁了具身落地的新可能性，让此前估值泡沫与故事多次切换的国内具身领域重新回到可快速迭代的轨道。