Meta发布开源大模型Llama 3:含8B和70B两个版本

科技 2024-04-19 07:48 阅读:15

三言科技 4月19日消息,日前,Meta宣布推出了其最强大的开源人工智能模型Llama 3,并且基于Llama 3,升级了人工智能助手Meta AI。

用户可以在Meta的应用程序中将Meta AI用于Feed、聊天、搜索等功能。Meta AI的图像生成速度现在更快,可以在用户键入时生成图像,因此用户可以为乐队创建专辑插图、公寓装饰灵感、自定义GIF动画等。

据介绍,Llama 3有8B和70B两个版本。Meta CEO扎克伯格称,大版本的Llama 3将有超过4000亿参数。Meta并未透露会不会将4000亿参数规模的Llama 3开源,目前它还接受训练。

据悉,Llama 2使用2万亿个token进行训练,而训练Llama 3大版本的token超过15万亿。Meta称,由于预训练和训练后的改进,其预训练和指令调优的模型是目前8B和70B两个参数规模的最佳模型。