AI助手Kimi算力紧张,用户体验受影响

科技 2024-05-07 16:37 阅读:14

春节期间,娄晓彤被朋友推荐了Kimi,当时Kimi支持的上下文长度只有20万字,使用中基本没有遇到无法使用的情况。然而,随着Kimi将上下文长度扩展到200万字并火速出圈,娄晓彤开始频繁遇到Kimi提示“有点累了”的情况。

Kimi的算力紧张问题早在其诞生之初就已经存在。月之暗面创立后,创始人杨植麟定下了两大思路:只做To C,并坚持长文本路线。随着Kimi支持200万字上下文的更新,用户获客成本达到12元-13元,每天获客成本超过20万元,显示出大模型产品的高成本。

为了支撑Kimi的算力需求,月之暗面已经吸引了近百亿人民币的投资,其中大部分用于支付算力资源。类似的做法在业内并不罕见,微软和亚马逊等公司也通过提供云服务来支持大模型公司的算力需求。

然而,算力资源的紧张导致了一系列服务中断事件,不仅Kimi,包括文心一言、ChatGPT等产品都曾出现无法正常使用的情况。每次产品更新都可能引发“崩盘”命运,暴露了大模型产品在效率平衡和商业变现中的挑战。

为了解决算力资源紧张问题,一些大模型公司开始采取降低算力成本的策略,如提升推理性能、优化算法等。同时,通过吸引和留住优秀人才,月之暗面推出了员工激励计划,以期在人才优化算法上取得突破。

在人才大战的背景下,硅谷AI人才之争愈发激烈,各大科技巨头为了争夺人才不惜加薪加福利。这种竞争也在一定程度上推动了AI技术成本的降低,使得未来AI技术变得更加便宜。

总的来说,大模型公司在算力资源紧张和人才争夺的双重压力下,需要寻找平衡点,以确保产品稳定运行和用户体验。同时,通过降低算力成本和吸引优秀人才,大模型公司可以更好地应对市场挑战,实现商业化目标。