媒体爆料:发现新一代大模型”没有那么大飞跃“,OpenAI已经改变策略
- 财经
- 2024-11-11 04:35:04
- 578
来源:华尔街见闻
OpenAI下一个旗舰模型“Orion”,其进步幅度远不如前两代旗舰模型,这直接挑战了人工智能领域一直奉行的“缩放定律”。业界正在将精力转向在初始训练之后改进模型。
随着ChatGPT和其他人工智能产品的用户数量不断攀升,支撑这些产品的核心技术——大型语言模型(LLM)的进步速度却似乎放缓了。
据科技媒体The Information报道,OpenAI开发的下一个旗舰模型“Orion”,目前已经完成20%的训练。尽管表现已接近现有的GPT-4,但进步幅度却远不如前两代旗舰模型之间的飞跃。
该媒体还援引OpenAI 的一名员工称,Orion在语言任务上表现更好,但在编码等任务上可能不会优于以前的模型。另一位知情人士表示,与最近发布的其他模型相比,OpenAI在其数据中心运行 Orion 的成本可能更高。
质量进展放缓,扩展法面临挑战
在过去几年中,LLM使用来自网站、书籍和其他来源的公开文本和其他数据进行预训练过程,这种方法虽然能在一定程度上缓解数据匮乏,但带来的质量提升有限。
OpenAI的员工表示,Orion部分接受了人工智能生成的数据训练,这些数据由其他OpenAI模型生成,包括GPT-4和最近发布的推理模型。然而,这种合成数据导致了一个新问题,即Orion最终可能会在某些方面与那些旧模型相似。
与此类似,其他一些AI公司也面临类似的问题。Meta创始人马克·扎克伯格和Databricks公司创始人Ion Stoica都指出,尽管AI技术在编码、复杂任务解决等方面继续取得进展,但在常识判断和通用任务能力上,性能提升已趋于缓慢。
Orion的进展放缓直接挑战了人工智能领域一直奉行的“缩放定律”,即在数据量和计算资源不断增加的前提下,模型性能将持续大幅度提升。
为了应对GPT改进放缓给基于训练的缩放定律带来的挑战,业界似乎正在将精力转向在初始训练之后改进模型,从而可能产生不同类型的缩放定律。由于高质量训练数据的减少以及计算成本的增加,OpenAI的研究人员不得不开始探讨是否有其他改进模型性能的方法。
例如,OpenAI正在将更多代码编写功能嵌入其模型中,并试图开发一种软件,可以接管个人计算机,通过执行点击、 光标移动等执行其他操作, 完成网络浏览器活动或应用程序的任务。
OpenAI还成立了一个专门团队,由之前负责预训练的Nick Ryder领导,负责探索如何优化有限的训练数据和调整扩展法的应用,以保持模型改进的稳定性。
团队通过训练模型解决大量数学和编码问题,让模型在后期强化过程中逐步提高对这些任务的解答能力。此外,人工评估员还会对模型在不同任务上的表现进行评分,以帮助模型在复杂问题上提供更准确的答案。
巨大计算成本带来的财务负担
然而,随着模型复杂度的增加,训练和运行这些AI模型的成本也在急剧上升。例如,o1模型的推理成本是普通模型的六倍。
即便如此,扎克伯格、Sam Altman等人都曾表示,他们还没有达到传统扩展法的极限。
这也许就是为什么OpenAI等公司依然在投资数十亿美元建设数据中心,希望通过增加计算能力,从预训练模型中获得更多的性能提升。
但OpenAI研究员Noam Brown在TEDAI大会上警告,开发更为先进的模型可能将面临数百亿美元的高昂费用,成为财务上的巨大负担。
“毕竟,我们真的要训练花费数千亿美元或数万亿美元的模型吗?在某些时候,扩展范式会崩溃。”
或许在未来,OpenAI和其他AI公司都需要继续在训练数据和计算资源之间寻求平衡,探索如何在不增加巨大财务负担的前提下,进一步优化模型性能。
风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。
发表评论