AI进化受阻巨头调转航向开拓新领域数据壁垒引三大模型研发遇挫 (ai进阶)

文章编号：815 / 分类：最新资讯 / 更新时间：2024-11-17 16:05:03 / 浏览：次

行业报道

人工智能（AI）的发展一直建立在这样的信念之上：训练数据规模越大，模型就会越来越好。业界近期曝出了大模型进化遭遇数据墙的消息。据外媒报道，OpenAI、谷歌和Anthropic在AI模型开发方面都陷入了瓶颈，他们发现，新模型无法像前面几代产品那样带来巨大的飞跃。这在AI圈瞬时炸开了锅。

科技大佬激辩

图灵奖得主杨立昆（Yann LeCun）和OpenAI前首席科学家伊利亚·苏茨克维（Ilya Sutskever）等科技圈大佬不客气地指出，大模型的规模法则（Scaling Law）已经达到极限，必须转变思维，改变训练模式了。而OpenAI CEO阿尔特曼（Sam altman）和Anthropic CEO达里奥·阿莫迪（Dario Amodei）都相继对瓶颈说进行反驳。

科技公司转变策略

尽管如此，OpenAI和谷歌都在积极转变策略，研究如何解决训练数据匮乏的问题，以及如何调整规模法则的应用，保持模型稳步发展。在百度CEO李彦宏看来，模型开发放缓也不见得是一件坏事。在最近的一次访谈中，他表示，基础模型早期快速迭代是正常的，但如果两年、三年了还这样，那整个生态其实是会比较乱。Meta CEO扎克伯格也表示，即使在现有技术的基础上，应用层面依然有很大的发展空间。

困难与挑战

OpenAI、谷歌和Anthropic遭遇开发瓶颈

据外媒，OpenAI的下一代旗舰模型可能不会像前面几代产品那样带来巨大的飞跃。测试代号为Orion的新模型的员工发现，尽管新模型性能超过了OpenAI现有的模型，但进步程度并不如从GPT-3到GPT-4的进步那么大。换句话说，OpenAI改进的速度似乎正在放缓。

OpenAI并不是唯一遭遇阻碍的公司，其竞争对手谷歌和Anthropic也传出了先进AI模型开发遇到瓶颈的消息。在以惊人的速度推出日益复杂的AI产品之后，这三家领先的AI公司现在意识到，他们在开发新模型上进行的大量投入所带来的回报正在逐渐减少。

高质量人造训练数据的缺乏

高质量人造训练数据的缺乏是AI模型开发面临挑战的一大原因。外媒援引两位知情人士称，Orion在编程任务上的表现不尽如人意，部分原因是缺乏足够的编程数据进行训练。即使是有一些小幅的改进，也难以证明新模型构建和运营的高昂成本是合理的，这与市场对于重大升级的期待之间存在差距。

科技大佬激辩数据墙

AI模型开发遇阻的消息公开后，知名AI评论家加里·马库斯（Gary Marcus）甚至直接单方面宣布胜利：游戏结束，我赢了！我早就说过，GPT正在陷入收益递减阶段。一直以来，马库斯就预测，生成式AI的发展将进入停滞阶段。

AI怀疑论者经常警告，仅仅通过扩大规模来提高大模型的方法是有限的。一年前，比尔·盖茨就表示，有很多理由相信，当前生成式人工智能（AGI）已经达到极限。GPT-5不会比GPT-4好多少。

OpenAI前首席科学家、Safe Superintelligence联合创始人苏茨克维近日在接受外媒采访时也表示，扩大预训练的结果已经达到了平台期。所谓预训练，即使用大量未标记数据来训练AI模型以理解语言模式和结构的阶段。Meta首席科学家、图灵奖得主杨立昆还转发了苏茨克维这条新闻，并评论，我早就告诉过你们了，Meta早就开始转型了。