ChatGPT-4o，OpenAI的一小步，人类「AI助理」的一大步

5月13日，OpenAI以一场春季发布会再次轰动整个人工智能行业。在Sa​​mAltman缺席的情况下，OpenAICTOMiraMurati介绍了ChatGPT新产品ChatGPT-4o。发布会虽然只有26分钟，但却几乎是对科幻电影《Her》的现实演绎。当你打开ChatGPT时，你面对的不再是一个只能帮你生成内容或进行僵化语音聊天的工具——你唤起的将是一个“万能”的语音助手，或者说，一个越来越强大的语音助手。越接近人类“物种”。

它长出了“眼睛”，可以通过摄像头看到你。例如，它可以通过研究者扬起的嘴角判断他的情绪，通过周围的环境和背景判断他在做什么，甚至给出造型建议；它可以“看到”你的电脑桌面，直接帮你检查你写的代码是否有问题。

它有更灵敏的“耳朵”。它不仅可以理解语言，还可以理解研究者过快的呼吸，引导他缓慢稳定地呼吸，放松心情。

OpenAICTOMuraMurati宣布推出ChatGPT-4o|图片来源：OpenAI

它有更灵活的“嘴巴”，说话不再有延迟，你可以随时打断它，它也可以随时抓住你。它的声音可以带来情感，比如更加平静，更加热情，甚至讽刺。它还可以唱歌。

它还有一个更聪明的“大脑”。它可以帮助研究人员逐步解决不等式，还可以进行同声翻译。您可以通过它与不同语言的人进行交流。

这些强大能力的背后，是OpenAI推出的新型号GPT-4o。与现有模型相比，GPT-4o最大的改进在于它可以实时推理音频、视觉和文本-换句话说，它让ChatGPT实现真正的多模态交互。

这不仅是追求技术进步，更是追求应用普及。OpenAI的使命之一就是让人工智能触手可及，而用户能否顺利使用人工智能至关重要。在“模型即应用”时代，这种交互体验最终取决于模型能力的提升。OpenAI表示，GPT-4o（“o”代表“o​​mni”）是迈向更自然的人机交互的一步。

发布会上，MiraMurati宣布ChatGPT-4o将免费向所有用户开放，而付费用户和企业用户可以抢先体验。

电影《Her》于2013年上映，讲述了一个人类爱上人工智能语音助手的故事。从今天ChatGPT所呈现的能力来看，这种想象正在加速成为现实。

01、ChatGPT的惊人进步：变身人类“超级助手”，甚至不需要人类参与

在OpenAI官网上，ChatGPT被呈现为个人语音“超级助手”助手”更多精彩应用场景。

首先，它是针对个人用户的。和人一样，主要提供“情感价值”和“认知价值”。例如，它可以讲笑话、唱生日快乐歌、玩游戏、逗狗、催眠人、放松人等；可以充当面试官并提供面试建议；它还可以为盲人提供环境观察，告诉他看到的风景，提醒他过马路时的交通状况。

盲人用户使用ChatGPT-4o“观察”整个世界|图片来源：OpenAI

然后是面向多用户的，它提供的更多的是“协作价值”。例如，为两个不懂语言的人担任翻译，让他们可以毫无障碍地交流；担任两人之间“石头剪刀布”游戏的裁判。首先喊出命令让比赛开始，然后准确判断谁赢了；担任裁判员。“家教”辅导父亲做孩子的作业；他甚至充当“会议第三方”，主持并录制多人会议。

最有趣的是不同ChatGPT之间的对话。这种无需人类参与的交流不仅充满了科幻色彩，也让人们开始想象一个不需要人类协作、机器取代人类协作的未来。在演示中，用户要求一部手机的ChatGPT代表他向另一部手机的ChatGPT申请售后服务。结果，两个ChatGPT毫无阻碍地聊了两分钟，成功帮助用户“商品已调换”。OpenAI总裁格雷格·布罗克曼(GregBrockman)进行了一次顽皮的演示，他让两个ChatGPT互动并唱歌。

OpenAI总裁GregBrockman演示两个GPT的交互｜图片来源：OpenAI

一位10年前开始从事“AI语音助手”工作的前大工厂高管告诉极客公园，他曾想象过AI助手的终极形态应该是“多模态、无所不能”，但当时技术并不支持。他相信ChatGPT将加速实现这个想法的可能性——但他没想到这个过程会成为现实。很快。

他认为，实现AGI的关键标志是机器能否具备自主学习、自主迭代、自主解决问题的能力。这个突破看似很遥远，但当两个ChatGPT开始互相聊天时，鸿沟似乎变得更浅了一些。

02、GPT-4o多模态大模型的技术进步与安全性

这些令人惊叹的产品性能从根本上源自GPT-4o多模态大模型技能的提升。后者分为文本、语音、图像三部分。GPT-4o在这三个部分都进行了改进，尤其是后两个部分。

文字方面，根据OpenAI的技术报告，GPT-4o在MMLU（语言）、GPQA（知识）、MATH（数学）、HumanEval（编程）的评估指标上超过了GPT-4T和GPT-。4（最初于3月23日发布），以及竞争产品Claude3Opus、GeminiPro1.5、Llama3400b和GeminiUltra1.0。例如，在0-shotCOTMMLU上，GPT-4o取得了88.7%的新高分。

GPT-4o具有出色的文本结果|图片来源：OpenAI

最关键的是音频、多语言和视觉方面的进步。

在音频方面，以往ChatGPT的音频缺陷是需要经过三个独立的模型，导致延迟，无法承载丰富的信息。它首先通过第一个模型将音频转录为文本，然后使用GPT-3.5或GPT-4接收文本并输出文本，最后第三个模型将文本转换回音频-一方面，它使得音频的传输存在延迟，GPT-3.5的平均延迟为2.8秒，GPT-4的平均延迟为5.4秒。另一方面，该模型丢失了大量信息，无法直接观察音高、多个扬声器或背景噪音，也无法输出笑声、歌唱或情感表达。

GPT-4o的解决方案是跨文本、视觉和音频端到端训练新模型，这意味着所有输入和输出都由同一神经网络处理。OpenAI表示，这是他突破深度学习界限的最新举措。目前，GPT-4o可以在短至232毫秒、平均320毫秒的时间内响应音频输入，与人类的响应时间相似。同时，GPT-4o在音频ASR性能和翻译性能方面比Whisper-v3（OpenAI语音识别模型）有更好的表现。

M3Exam基准可用于多语言和视觉评估。它由多项选择题组成，并包含图表。GPT-4o在所有语言基准测试中都比GPT-4更强。此外，在视觉理解评估方面，GPT-4o在视觉感知基准上实现了state-of-the-art的表现。

GPT-4o也擅长视觉理解|图片来源：OpenAI

一位大型模型训练师曾告诉极客公园，模型的技术领先从来不是靠排名，而是靠用户最真实的感受和体验。从这个角度来看，GPT-4o的技术领先性就显而易见了。

OpenAI表示，GPT-4o的文字和图像功能将于会议当天在ChatGPT上线。免费用户可以使用它，但Plus订阅者可以享受高达5倍的消息容量。未来几周，OpenAI将在ChatGPTPlus中推出新版本的语音模式GPT-4oalpha。

开发人员现在可以在API中访问GPT-4o的文本和视觉模型。与GPT-4Turbo相比，GPT-4o速度提高2倍，价格降低一半，并且速率限制提高5倍。在接下来的几周内，Yao计划向一小群值得信赖的合作伙伴推出GPT-4o的新音频和视频功能。

一个强大的技术最让人担心的就是它的安全性和可控性。这也是OpenAI的核心考虑之一。

OpenAI表示，GPT-4o通过过滤训练数据和训练后细化模型行为等技术，将安全性内置到跨模态设计中。它还创建了一个新的安全系统来保护语音输出。为了确保更好的安全性，OpenAI表示，在未来几周和几个月内，他将致力于技术基础设施、培训后的可用性以及发布其他模式所需的安全性。

03、OpenAI从不让外界失望，再次引领科技圈未来

作为这波AI浪潮的发起者和引领者，OpenAI的每一次发布和更新都与其巨大的用户数量的升降、公司竞争的进退、以及整个行业的关注和动向。

在这次发布会之前，关于OpenAI的传闻和质疑有很多。一周前，外媒报道称OpenAI将要发布搜索引擎。在今年最重要的新闻发布时刻，该公司没有推出GPT-5，引发了外界对其创新的质疑。有很多疑问。而如果不能拿出足够创新的技术和产品，公司就很难重振用户增长，也很难满足整个市场的期望。

自2022年底ChatGPT上线以来，该公司经历了用户数量的起伏。据Similarweb估计，其全球访问量在2023年5月达到峰值18亿。但进入2023年下半年后，其用户数量有所下降，仍未追平去年5月的全球访问峰值记录。

ChatGPT自2022年11月以来全球和美国的流量增长｜图片来源：Similarweb

这次发布会与其用户群的增长直接相关。

外界对于搜索引擎还是非常关注的。Sameweb表示，该消息导致当天ChatGPT流量激增。不过，在发布会前两天，OpenAI首席执行官SamAltman澄清，这次既不会发布GPT-5，也不会发布搜索引擎，“但我们一直在努力开发一些我们认为人们会喜欢的新东西！”对我来说感觉就像魔法一样。”他把它描述得更小。

或许，人们对这场OpenAI发布会的期待不高。但最终，他们得到的却是强烈的震撼。这或许就是OpenAI想要的反差效果。

无论是去年这个时候的最初的GPT-3.5、GPT-4、去年底的GPT，还是今年年初的Sora——OpenAI再次证明了它不会让世界失望。尽管谷歌、克劳德、CharacterAI、Perplexity等竞争对手正在抢夺更多的新用户和资本，但OpenAI仍然证明了自己有能力引领技术创新的“高地”。

ChatGPT与其他聊天机器人的访问量对比｜图片来源：Similarweb

OpenAI推出基于GPT-4o的“超级智能助手”后，这似乎是各大科技厂商追赶的下一步。方向。

据外媒报道，谷歌最近一直在测试利用人工智能来打电话。有传言称，它将推出一款名为“Pixie”的多模态个人助理，作为“GoogleAssistant”的替代品。它可以通过摄像头查看物体并执行人类命令。这将于明天的GoogleI/O大会上揭晓。

近日，外媒还报道称，苹果即将与OpenAI达成协议。在6月份的苹果年度全球开发者大会上，苹果可能会在iOS18中推出由ChatGPT提供支持的“”。Chatbot”，这可能会对苹果个人语音助手Siri产生颠覆性影响。

很难想象，短短一年半的时间，OpenAI就将科技推向了今天的高度，让“超级助手”的想象如此之快地出现在我们眼前。然而，这只是OpenAI所释放的技术实力的冰山一角。毕竟我们今天讨论的只是GPT-4的更新，还不是GPT-5。OpenAI会给我们带来多大的震撼、带来多少的担忧，都是未知的问题。

如果从未来科技的隧道中回望，今天GPT-4o“超级语音助手”的诞生或许会成为科技史上具有里程碑意义的时刻。但也许正如OpenAI首席运营官BradLightcap几天前所说，“在接下来的12个月里，我们应该感觉到我们今天使用的（AI）系统糟糕得可笑。”