无问芯穹:智算运营商,解决大模型落地难题

科技 2024-04-16 15:39 阅读:26

在最近的对话中,张鹏和无问芯穹的夏立雪探讨了中国的Scaling Law如何成为大模型进化的“不二法门”。夏立雪认为,中国可以通过应用场景的Scaling Law来解决大模型的落地难题。他们推出的“MxN”架构旨在让不同的大模型能够在不同的卡上运行,并以资源的形式提供给开发者使用。

在讨论英伟达的最新显卡发布会时,夏立雪指出,推理场景是未来算力的重点,而CUDA生态是英伟达的核心竞争力。他认为,大模型的落地难题在于性价比,而中国的特殊生态需要多元异构算力来解决。

夏立雪还谈到了“推理即训练”的观点,认为未来智能的发展需要让训练和推理变得一体化。他强调了智算运营商的概念,将算力和模型作为基础资源提供给客户,类似于水电煤气一样的基础服务。

最后,夏立雪展望了未来,认为每个公司可能会有自己的智算资源部,类似于人力资源部,负责管理和优化公司内部的智能资源。他强调了智能资源的重要性,以及如何通过智算运营商的角色来解决大模型落地的难题。