AI导读：

AI公司如OpenAI正在探索新的训练技术，以克服当前面临的挑战。这些新技术旨在模仿人类思考方式，包括测试时计算等，可能对AI军备竞赛和资源需求产生深远影响。

众多人工智能（AI）领域的科学家与初创企业正意识到，单纯依靠增加数据和算力来扩展当前模型、持续优化AI的方法正逐渐逼近其极限。因此，OpenAI等AI巨头正积极探索全新的训练技术，以期克服当前面临的种种挑战，这些新技术旨在模仿人类的思考模式。

自ChatGPT这一聊天机器人风靡全球以来，科技企业普遍采用增加数据和算力的策略来扩大并改进AI模型。然而，如今一些顶尖的AI科学家正指出“规模至上”策略的局限性。

人工智能实验室Safe Superintelligence的创始人、OpenAI前联合创始人Ilya Sutskever近日指出，预训练（即AI模型利用大量未标注数据理解语言模式和结构的阶段）所取得的成果已趋于平稳，对模型性能的提升作用有限。Sutskever曾是扩大预训练规模的倡导者，他的这一理念最终催生了ChatGPT。今年早些时候，他离开OpenAI，创立了Safe Superintelligence。

Sutskever表示：“以往是规模扩张的时代，如今我们重返奇迹与发现的时代。寻找下一个突破点，比以往任何时候都更为关键。”他还透露，Safe Superintelligence正在研究一种替代性的预训练规模扩展方法，但并未透露更多细节。

新技术竞赛拉开帷幕

大型AI模型的“训练”过程需同时运行数百个芯片，成本可能高达数千万美元。鉴于系统的复杂性，硬件故障的风险增加；研究人员可能需数月时间才能了解模型的最终性能，而在此之前，测试可能无法揭示任何问题。

另一个难题是，大型语言模型消耗了大量数据，AI模型已几乎耗尽了全球所有易于获取的数据。此外，电力短缺也影响了训练过程，因为这一过程需要消耗大量能源。

为应对这些挑战，研究人员正在探索测试时计算（test-time compute）技术，这是一种在推理阶段或使用模型时增强现有AI模型的方法。例如，模型可以实时生成并评估多种可能性，然后选择最佳路径，而非立即给出答案。

这种方法使模型能够将更多的处理能力用于解决挑战性任务，如数学、编码问题或需要类似人类推理和决策的复杂操作。

OpenAI研究员Noam Brown此前表示：“事实证明，让机器人在一盘扑克牌游戏中思考20秒，与将模型放大10万倍、训练时间延长10万倍的效果相当。”OpenAI在其新发布的“o1”模型中采用了这项技术，同时，Anthropic、xAI和DeepMind等其他顶尖AI实验室的研究人员也在致力于开发自己的技术版本。

OpenAI首席产品官Kevin Weil表示：“我们已发现许多低垂的果实，通过摘取这些果实，让模型变得更好。当竞争对手迎头赶上时，我们将致力于开发新技术。”多位科学家、研究人员和投资者认为，这种新技术或将重塑AI军备竞赛，并对AI公司所需的各类资源产生深远影响。

（文章来源：财联社）