据介绍，GPT-4o可以实现文本、音频和图像的任意组合作为输入，并生成文本、音频和图像输出的任意组合。它可以在232毫秒内响应音频输入，平均为320毫秒，与对话中人类的响应时间相似。在英语文本和代码上，与GPT-4 Turbo性能相匹配，在非英语语言的文本上也有显着改进，同时在API中也更快且便宜50%。与现有模型相比，GPT-4o在视觉和音频理解方面尤其出色。
在GPT-4o之前，使用语音模式与ChatGPT交谈，平均延迟为2.8秒和5.4秒。为了实现这一点，语音模式是一个由三个独立模型组成的管道：一个简单的模型将音频转录为文本，GPT-3.5或GPT-4接收文本并输出文本，第三个简单模型将该文本转换回音频。这个过程意味着GPT-4会丢失大量信息，无法直接观察音调、多个扬声器或背景噪音，也无法输出笑声、歌声或表达情感。
借助GPT-4o，OpenAI在文本、视觉和音频上端到端地训练了一个新模型，这意味着所有输入和输出都由同一个神经网络处理。按照传统基准测试，GPT-4o在文本、推理和编码智能方面实现了GPT-4 Turbo级别的性能，同时在多语言、音频和视觉能力方面创下了新的高水位线。
基于GPT-4o的能力，新的ChatGPT不仅可以实现实时交互，还能检测人的情绪，支持多模态输出。用户甚至可以直接跟ChatGPT视频对话，ChatGPT可以看到用户所有的表情和情绪变化。GPT-4o的文本和图像功能今天开始在ChatGPT中推出。GPT-4o在免费套餐中提供，并向Plus用户提供高达5倍的消息限制。在未来几周内，ChatGPT Plus将推出带有GPT-4o的新版本语音模式。
OpenAI的工程师在现场展示新模型的能力时表示：“我第一次来直播的发布会，有点紧张。”ChatGPT则建议工程师深呼吸，展示了其情绪检测的能力。在视觉能力上，ChatGPT不需要上传图片，而是直接打开摄像头，实时看发生了什么。OpenAI的人直接开始现场写方程，所有的一切ChatGPT都看在眼里，OpenAI的人一边写，ChatGPT一遍给答案。这一切展示了GPT-4o的强大多模态输出能力，为用户带来更加智能、便捷的体验。