在最近的一次GAIR live采访中，庞建新谈到了他一直在思考的核心问题：“大模型怎么融进人形机器人里？”作为优必选的技术高管，他领导团队将大模型技术应用于人形机器人的多模态感知和决策规划中，以提升人形机器人的智能化水平。庞建新的职业生涯横跨多个领域，从语音处理到计算机视觉，再到人形机器人技术，他的经验使他成为中国智能科技崛起的缩影。
谈到大模型技术对人形机器人智能化进程的影响，庞建新提出了自己的见解。他认为，大模型技术的核心在于融合大量知识和数据，为人形机器人领域带来了巨大的机遇，但同时也带来了新的挑战。如何将大语言模型技术与人形机器人的控制和执行层结合，以及如何处理大模型可能产生的“幻觉”问题等都是需要解决的难题。
在实际操作层面，庞建新表示，优必选采取了双管齐下的策略。一方面是采用分层结构的解决方案，将大模型分为处理知识、常识推理的“大脑”层，指导动作规划的“小脑”层，以及直接与控制相结合的动作执行层。另一方面是从感知直接到控制的全过程，虽然数据获取更为复杂，但能够提供更为直接的解决方案。
庞建新强调了当前人工智能和人形机器人技术结合正处于开放性问题的时期，这也意味着技术尚未开始收敛，仍需在小规模场景中进行实验和测试。他分享了优必选与新能源车厂合作的实训项目，展示了多模态感知决策技术的应用实践，同时也强调了大模型技术将是推动未来技术进步和产业化的关键。
庞建新的研究背景和加入优必选的经历使他对AI+机器人领域有着深刻的理解。他指出，大模型技术的应用不仅仅是关于知识，还涉及到上下文和环境的问题。他强调了科研和工业界在解决问题的方法和路径上的相似性，以及在研究��果转化为实际产品时需要考虑的因素。
在展望未来，庞建新认为仿真技术可能是人形机器人领域的一个潜在颠覆性变化，通过高效的仿真技术，可以构建大量用于人形机器人应用的数据和虚拟场景，从而推动人形机器人技术的进步。他强调了当前技术发展的多样性和复杂性，以及持续关注技术发展动态的重要性。
GAIR live的专访为读者呈现了庞建新对于大模型技术在人形机器人智能化进程中的独特见解，同时也展示了优必选在推动技术进步和产业化方面的努力和成就。随着人工智能和机器人技术的不断发展，未来的机器人将迎来更多的技术变革和创新，为人类生活和工作带来更多便利和可能性。