一、理解和规划:
大概率基于openai的GPT4V或者更强的模型
二、policy network:
1. 200Hz的控制频率输出动作指令(相比谷歌RL机器人大模型3Hz)
2. Figure01的policy network大概率是一些被封装成API可被上层多模态大模型调用的小的端到端的策略网络,能够实现一小类任务和在一类物体之间的泛化,并由他们组建成为了一个庞大的技能库来供上层的多模态大模型调用。
典型比如谷歌的SayCan、RoboCodeX、RoboScript(ROS)
三、数据飞轮:
1. 遥操作体系下的人类辅助数据收集,如Universal Manipulation Interface
2. 仿真平台上的自动化数据收集,如Scaling Up and Distilling Down: Language-Guided Robot Skill Acquisition(利用大语言模型辅助自动化利用仿真环境收集专家数据)
四、控制技术:
1. 速度控制器和力矩控制器的结合
2. 对重力和摩擦力的精确计算和补偿