OpenAI 今秋发布“草莓”模型！

OpenAI 正在寻求更多资本支持的同时，其研究人员正尝试推出一款他们认为能够比现有 AI 更好地解决复杂问题的新型 AI 产品。 本月早些时候，CEO Sam Altman 在推特上发布了一张草莓的图片，但没有做出解释，这引发了人们对即将推出的产品的猜测。据知情人士透露，今年夏天，OpenAI 还向国家安全官员展示了 Strawberry 的演示。

Altman 还在寻求为公司筹集更多资金，并寻找减少亏损的方法。自 2019 年以来，OpenAI 已从微软筹集了约 130 亿美元资金，作为与这家企业软件巨头合作的一部分，该合作协议将持续到 2030 年。

据知情人士透露，合作协议的条款可能会发生变化，包括 OpenAI 向微软支付租用云服务器开发 AI 的费用。其中，云服务器是 OpenAI 最大的成本。

01 关于 “Strawberry”

根据 The Information，两位参与 OpenAI 该项目的人员透露，研究人员计划在今年秋季推出代号为“Strawberry”（此前称为 Q*，发音为 Q Star）的新型 AI，并有可能将其作为 ChatGPT 的一部分。

Strawberry 的起源可以追溯到研究领域。它的研究始于前 OpenAI 首席科学家 Ilya Sutskever。在他离职之前，OpenAI 研究人员 Jakub Pachocki 和 Szymon Sidor 在 Sutskever 的工作基础上开发了一种新的数学解决模型 Q*，这让一些专注于 AI 安全的研究人员感到担忧。

就在 Q* 诞生之前，OpenAI 的研究人员开发了一种称为测试时计算的概念变体，旨在提升 LLM 的解决问题能力，该方法使得模型在执行某人的命令或回答问题时能够花更多时间考虑所有部分。当时，Sutskever 还发表了一篇与此相关的博客文章。

Strawberry 可以解决此前未见过的数学问题，这是现今的聊天机器人无法可靠完成的任务。此外，它还经过训练以解决编程相关的问题，但它的能力并不限于回答技术性问题。

在给予更多时间“思考”的情况下，Strawberry 模型还可以回答客户关于更主观话题的问题，比如产品营销策略。

为了展示 Strawberry 在语言相关任务上的能力，OpenAI 的员工向同事展示了 Strawberry 如何解决《纽约时报》复杂的文字游戏 Connections。

The Information 认为，能够解决复杂数学问题的 AI 可能是一项潜在的有利可图的应用，因为现有的 AI 在航空航天和结构工程等数学密集型领域表现不佳。

研究人员发现 ChatGPT 容易给出错误答案，为了改善模型的推理能力，一些初创公司已经开始使用一种廉价的解决办法，将问题分解为更小的步骤，尽管这种变通方法既慢又昂贵。

02 减少下一代模型 Orion 幻觉

Strawberry 最重要的应用之一是为OpenAI 正在开发的下一个旗舰大型语言模型Orion 生成高质量的训练数据。

OpenAI 的前景在一定程度上取决于其正在开发的新旗舰模型 Orion 的最终发布。该模型旨在改进去年早些时候推出的现有旗舰模型 GPT-4。

OpenAI 研究人员表示，使用 Strawberry 可以帮助 Orion 减少幻觉或错误的数量。通过更大的 Strawberry 模型来生成训练 Orion 的数据，这种由 AI 生成的数据被称为“合成数据”。

Altman 在五月的一次活动中表示：“我们觉得我们有足够的数据来开发下一个模型。”他还表示：“我们进行了各种实验，包括生成合成数据。”

这意味着 Strawberry 可能有助于 OpenAI 克服获取足够高质量数据的限制，从而通过从互联网中获取文本或图像等现实世界数据来训练新模型。

此外，Strawberry 可能会帮助即将推出的 OpenAI Agent。Minion AI  CEO 兼 GitHub Copilot 前首席架构师 Alex Graveley 表示，OpenAI 或通过 Strawberry 生成更高质量的训练数据可能有助于 OpenAI 减少模型幻觉的数量。

他还表示，想象一个没有幻觉的模型，当你问它一个逻辑难题时，它能第一次就给出正确答案。模型能够做到这一点的原因是训练数据中的歧义更少，因此它的猜测也更少。

03 基于 Orion 模型的 ChatGPT

推出 Strawberry 的努力是 OpenAI 为了在对话式 AI 或 LLM 领域继续保持领先地位的一部分。这项技术还对未来产品有着重要影响，这些产品被称为 Agent，旨在解决多步骤任务。

OpenAI 及其竞争对手希望这些 Agent 人能够开辟更多的收入机会。OpenAI 的业务正以惊人的速度增长：其向企业销售 LLM 和 ChatGPT 订阅服务的收入大约是去年同期的三倍，每月收入达 2.83 亿美元，尽管其月度亏损可能高于此数，公司估值 860 亿美元。

然而，其他竞争对手已经推出了与 GPT-4 性能相当的模型。目前尚不清楚 Strawberry 的聊天机器人版本能否在今年成功推出。

据悉，这个聊天机器人版本是 Strawberry 模型的一个更小、更简化的版本，称为蒸馏模型，它试图在保持较大模型相同性能的同时，更易于操作并降低成本。

此外，OpenAI 内部也在努力通过一种名为“提炼”的过程来简化和缩小 Strawberry ，以便在 Orion 发布之前将其用于基于聊天的产品。鉴于顶级 AI 开发商之间的竞争日益激烈，这应该并不令人意外。

目前还不确定以 Strawberry 为基础的产品会是什么样子，但一个显而易见的想法是将 Strawberry 改进的推理能力融入 ChatGPT 中。

例如，本月早些时候，谷歌在 OpenAI 之前推出了 AI 驱动的语音助手，尽管 OpenAI 最早在五月宣布了其版本，该助手能够灵活应对用户的打断和话题突然变化。

The Information 认为，这意味着 Strawberry 可能不适合用户期望立即响应的应用程序，例如 OpenAI SearchGPT 搜索引擎，但非常适合对时间不太敏感的用例，例如修复 GitHub 中的非关键编码错误。

无论 Strawberry 是否作为产品发布，随着 OpenAI 寻求继续领先竞争对手并保持显著的收入增长，人们对 Orion 的期待都在不断增加。

Coatue 在最新的 EMW 2024 中表示，英伟达 3 万亿市值对技术主导的“操作系统”而言已经成为一种常态。