国内首个开源千亿参数MoE大模型终于来了！马斯克宣布开源大模型Grok后，国内也不甘示弱，将迎来首个开源的千亿参数MoE（混合专家）大模型。近日，「市界」独家获悉，国内独角兽企业APUS（麒麟合盛）联合新旦智能训练的大模型APUS-xDAN 大模型4.0（MoE）即将宣布开源。
这款APUS-xDAN 大模型4.0（MoE）是国内首个千亿以上参数MoE架构的开源大模型，参数规模高达1360亿，是目前国内参数规模最大的开源模型。与此前国内开源的大模型相比，如阿里的720亿参数的千问72B，参数规模为720亿，APUS-xDAN 大模型4.0（MoE）在规模上有了质的飞跃。
更令人振奋的是，这款大模型还是国内首个支持在低端算力上训练的千亿参数开源大模型。APUS董事长兼CEO李涛表示：“马斯克的Grok至少要8张H100才能运行，大部分中小企业其实没有那么多资源，而4090是一个消费级显卡，成本比较低，在国内也更容易获得，大部分企业和机构都能用来训练。”
随着美国修订相关规定，使中国更难进口高端人工智能芯片，对低端算力的支持成为APUS-xDAN大模型4.0（MoE）的最大突破，能够很大程度上应对算力瓶颈问题。
这次开源的APUS-xDAN大模型4.0（MoE）背后，是两家企业的共同努力。APUS是一家成立于2014年的人工智能企业，2022年开始转型人工智能和大模型领域，目前已经拥有超过百人的大模型团队。而新旦智能成立不到一年时间，却已经用7B、30B模型在大模型榜单MT-Bench上登顶TOP1，展现出了强大的实力。
新旦智能创始人成一鹏介绍说，他们的多模态智能体在LLM领域已经超越了GPT3.5 Turbo，与GPT4只有不到10%的差距。这次开源的APUS-xDAN大模型4.0（MoE）填补了国内千亿大模型在开源领域的空白，为国内大模型领域带来了新的突破。
这个开源的大模型不仅在技术上有所突破，也在商业化方面表现出色。APUS已经在医疗、电商、网信等领域落地大模型应用，展现出了广阔的商业前景。
国内首个开源千亿参数MoE大模型的推出，将为国内人工智能领域带来新的活力和机遇。让我们拭目以待，看这个大模型在未来的发展中将会有怎样的表现！