马斯克再度惊艳!Grok-1.5开源11天,128K代码击败GPT-4

科技 2024-03-29 13:01 阅读:12

马斯克的AI模型Grok-1.5再次带来惊喜!开源不过半月,新升级的Grok-1.5已经问世。这次升级让人瞩目的地方在于,128K上下文的支持和推理能力的大幅提升,让Grok-1.5成为了业界的焦点。

11天前,Grok-1模型的权重和架构开源,展示了Xai在去年11月之前取得的进展。而现在,Grok-1.5的推理和解决问题的能力得到了进一步的改进,让人期待不已。

Grok-1.5的最大亮点之一就是其支持128K长上下文,这意味着它可以处理更长的文本信息,让其推理能力得到了极大的提升。在数学基准测试中,Grok-1.5取得了令人瞩目的成绩,分别在数学基准和GSM8K基准上获得了高分,展现出了强大的数学推理能力。

除此之外,Grok-1.5还展示了其在处理更长和更复杂提示时的能力,同时在其上下文窗口扩展时仍保持其指令跟随能力。在Needle In A Haystack(NIAH)评估中,Grok-1.5展现了强大的检索能力,可检索长度达128K字节的上下文中的嵌入文本,并取得了完美的检索结果。

Grok-1.5的基础设施也得到了升级,构建在基于JAX、Rust和Kubernetes的定制分布式训练框架之上,让训练任务更加高效可靠。Grok-1.5将很快提供给早期测试者,以帮助改进模型,并预告了未来几天将推出的新功能。

马斯克的AI模型Grok-1.5再次证明了其在推理能力和数学任务中的强大表现,让人对其未来的发展充满期待。随着Grok-1.5的不断升级,我们相信它将继续在AI领域掀起一股新的浪潮。