马斯克的人工智能公司xAI最新推出了Grok-1.5，这是Grok大模型的最新版本，实现了长上下文理解和高级推理能力。Grok-1开源才有10天，而Grok-1.5就已经来了，速度之快令人惊讶。
新一代模型Grok-1.5在代码和数学相关任务中表现出色，在MATH基准和GSM8K基准上分别取得了50.6%和90%的成绩，展现出强大的性能。此外，在评估代码生成和解决问题能力的HumanEval基准测试中，得分更是高达74.1%。
Grok-1.5的另一个重要升级是在其上下文窗口内可以处理多达128K token的长上下文，相比之前增加了16倍的容量。这使得Grok能够处理更长、更复杂的提示，同时保持其指令跟踪能力。在大海捞针评估中，Grok-1.5展示了强大的检索能力，可以在长度高达128K token的上下文中嵌入文本，实现完美的检索结果。
为了训练Grok-1.5，xAI介绍了用于训练模型的算力设施。Grok-1.5构建在基于JAX、Rust和Kubernetes的自定义分布式训练框架之上，这个训练堆栈让开发团队能够以最小的精力构建想法原型并大规模训练新架构。在大型计算集群上训练LLM的主要挑战是提高训练作业的可靠性和正常运行时间，xAI提出的自定义训练协调器可以确保自动检测到有问题的节点，并将其从训练作业中剔除，最大限度减少发生故障时的停机时间。
马斯克的xAI公司表示，Grok-1.5将很快向早期测试者开放，团队将继续改进Grok。随着新版本推向公众，未来几天X上的大模型将陆续推出一些新功能，让我们拭目以待。