OpenAI新一代模型Orion面临挑战,AI发展不确定性增加
AI导读:
OpenAI的下一代旗舰模型Orion可能不会像前几代产品那样实现巨大飞跃,其进步速度正在放缓。高质量文本和其他数据的供应量减少是原因之一。OpenAI正在探索新的训练策略和方法以应对挑战。
近日,据The Information报道,OpenAI的下一代旗舰模型Orion可能不会像前几代产品那样带来巨大飞跃。据内部员工透露,尽管Orion的性能有所提升,但并未达到从GPT-3到GPT-4那样的显著进步。
这一消息引发了业界的广泛关注。据报道,Orion在诸如编程等任务上的表现并不比之前的模型更可靠,其进步速度明显放缓。OpenAI员工和研究人员表示,这一现象的原因之一是高质量文本和其他数据的供应量在不断减少,导致模型训练面临挑战。
为应对这种情况,OpenAI成立了一个基础团队,专门研究如何在新训练数据不断减少的情况下继续改进模型。据悉,该团队正在探索使用AI模型生成的合成数据对Orion进行训练等新策略。
然而,尽管Orion在某些方面表现更好,如语言任务,但在编码等任务上可能并不优于之前的模型。此外,Orion在数据中心运行的成本也可能更高。这些挑战使得OpenAI在推出新一代模型时面临诸多困难。
OpenAI首席执行官阿尔特曼曾表示,尽管Orion的训练过程尚未完成,但其智能程度以及完成任务和回答问题的能力已经与GPT-4相当。然而,一些内部员工对此持保留意见,认为Orion的质量提升并不显著。
此外,OpenAI研究员Noam Brown在TED AI会议上表示,开发更先进的模型在财务上可能不可行。他质疑是否真的要投入数千亿或数万亿美元来训练模型,并指出在某个时候,扩展范式(Scaling paradigm)可能会崩溃。
这一观点引发了业界对AI未来发展的深入思考。尽管包括OpenAI在内的公司仍在投入巨资建造数据中心以提升模型性能,但可供使用的数据来源却日益匮乏。OpenAI员工和研究人员表示,GPT模型减速的一个主要原因就是高质量文本和其他数据的供应不足。
为了应对数据资源枯竭的问题,OpenAI正在探索新的训练策略和方法。其中,使用合成数据和强化学习方法等是其中的重要方向。然而,这些新方法也带来了新的挑战和问题,如模型相似性和安全性等。
值得一提的是,OpenAI安全系统团队负责人翁荔近日宣布将离开公司。这一消息无疑给OpenAI的未来发展带来了更多不确定性。
总的来说,OpenAI在推出新一代旗舰模型Orion时面临着诸多挑战和困难。尽管公司正在积极探索新的训练策略和方法以应对数据资源枯竭的问题,但未来AI模型的发展仍充满不确定性。
(文章来源:每日经济新闻)
郑重声明:以上内容与本站立场无关。本站发布此内容的目的在于传播更多信息,本站对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至yxiu_cn@foxmail.com,我们将安排核实处理。