OpenAI发布全能生成式AI模型GPT-4o,支持多语言、音频和视觉功能

科技 2024-05-14 12:23 阅读:2

北京时间5月14日凌晨,OpenAI发布了一款名为GPT-4o的新旗舰生成式人工智能模型。据OpenAI首席技术官穆里・穆拉蒂介绍,该模型能支持ChatGPT处理50种不同的语言,实时对音频、视觉和文本进行推理,并且所有用户均可免费使用,而付费用户的容量限制是免费用户的五倍。

GPT-4o的“o”代表“omni”,该词意为“全能”,源自拉丁语“omnis”。根据OpenAI公布的测试数据,GPT-4o在文本、推理和编码等方面实现了与GPT-4 Turbo级别相当的性能,同时在多语言、音频和视觉功能方面的表现分数也创下了新高。

与GPT-4相比,GPT-4o不但集成了图像和文本功能外,还在此基础上完善了语音功能。例如,在用户使用语音模式与ChatGPT对话时,GPT-4的平均延迟为5.4秒,音频在输入时还会由于处理方式丢失大量信息,也无法输出笑声、歌唱声和表达情感。而GPT-4o可以在232毫秒内对音频输入做出反应,与人类的对话响应时间非常接近;甚至能够从人类急促的喘气声中理解“紧张”的含义,并且指导他进行深呼吸,还可以根据用户要求变换语调。

在图像能力方面,OpenAI高管手写了一个方程,并打开摄像头拍给ChatGPT,让它扮演“在线导师”的角色帮助自己解题,而且只能给提示,不能直接说答案。此后,ChatGPT一步一步说出了解题步骤。

GPT-4o较之前的版本已有显著进步,但有分析人士称,OpenAI可能已经“没落”了。“如果发布的是GPT-5,那OpenAI依然遥遥领先。如果是AI Search或者是语音助手,那就说明OpenAI没落了。”

OpenAI方面表示,由于GPT-4o是第一个结合所有这些模式的模型,因此仍然只是浅尝辄止地探索该模型的功能及其局限性。