OpenAI模型提升速度放缓着手调整开发策略撞上数据墙 (openai机器人)

文章编号：427 / 分类：最新资讯 / 更新时间：2024-11-10 22:42:31 / 浏览：次

前言质量上乘的数据不足，正在拖累人工智能（AI）模型改进的速度。作为AI领域的领头羊，OpenAI也不免遭遇这一困境，其最新模型Orion的性能提升幅度低于预期。

Orion模型遭遇性能瓶颈

OpenAI经过测试发现，虽然Orion的性能超越了该公司现有的所有模型，但其性能质量提升程度却远远小于从GPT-3到GPT-4的飞跃。这表明随着高质量数据趋于有限，AI模型的改进速度可能会放缓。

数据困境与Orion模型的训练

不仅如此，Orion的训练还涉及来自旧模型（例如GPT-4和一些推理模型）的AI生成数据，这可能导致其重现旧模型的一些行为。为了应对这一问题，OpenAI成立了一个基础团队，探索在高质量新数据供应减少的情况下，让AI模型保持改进的新方法。

OpenAI探索新策略

据悉，OpenAI计划基于AI合成数据训练Orion，并在后期训练中对模型作出更多改进。该公司还正在推进Orion的安全测试，计划于明年年初发布这一模型，其可能会打破GPT-X的命名惯例，以反映模型开发的变化。值得注意的是，OpenAI在今年收购了Chat.com域名，而该域名已重定向至OpenAI的AI驱动聊天机器人ChatGPT。

数据驱动瓶颈引发质疑

早在2020年，OpenAI就提出Scalinglaw定律，意指大模型的最终性能主要与计算量、模型参数量和训练数据量三者的大小相关，与模型的具体结构无关。但近年来，这一理论也受到越来越多的质疑。

MetaAI人工智能研究院(FAIR)研究员田渊栋指出，在数据量增长的初期，模型性能表现越好，但随着模型离人类越近，获得新数据就越困难，模型改进也就越来越困难，最终无法解决所有边角案例。EpochAI在今年更新的一篇本文中也指出，原始数据的增长速度难以支撑AI大模型的扩展发展，在未来某个时间点，数据存量将耗尽。