OpenAI和Be My Eyes合作推出了一款新的APP，旨在帮助视力受限人群实时了解身边场景并提供帮助。这款APP利用了最新的GPT-4o模型，结合了实时视觉和语音能力。通过这款APP，盲人可以随时了解自己周围的环境，并通过语音助手的帮助做出一些决策。这标志着GPT不再只是一个简单的助手，而是向着朋友的方向迈出了一大步。GPT-4o的新能力让其可以与硬件结合，为用户带来更多可能性。
举例来说，OpenAI在一段演示视频中展示了与专门为视障人士提供帮助的公司BeMyEyes的合作。他们将GPT-4o植入到一位盲人游客的手机中，通过手机摄像头成为了盲人的眼睛。这使得盲人能够得知面前发生的一切，比如白金汉宫的样子、公园的环境，甚至是出租车是否停下等等。
这款应用的特点包括实时视觉与语音能力，决策辅助和模拟朋友的角色。GPT-4o模型结合了实时视觉和语音功能，使得盲人和视力受限用户能够通过语音助手的帮助，随时了解自己周围的环境，并做出决策。与传统的AI助手相比，GPT-4o更像是一个朋友，能够以更自然的方式与用户进行交流。
在实际应用场景中，这款应用可以描述用户面前的建筑、自然景观或其他场景，如白金汉宫的外观或公园的环境。同时，它还可以帮助用户识别出租车是否停下，或其他需要视觉判断的简单任务。
OpenAI在演示视频中展示了GPT-4o的实际应用，通过将模型植入盲人游客的手机中，借助摄像头功能，实时传递周围环境信息。这预示着AI与硬件结合的更多可能性，为视障人士提供更多便利。
这款应用的开发不仅体现了OpenAI在AI领域的技术实力，更重要的是，它强调了科技如何帮助解决社会问题，提高特定群体的生活质量。通过这样的合作，OpenAI正将AI技术转化为具有深远社会影响的实际应用。