大模型“自学”后能力反下降，LlamaMitral都没逃过年内第四次减持！阿里巴巴对网易云音乐持股缩减至491%

图1：三种迭代后训练范式在多个任务求解上的Pass@1性能（从常识知识、数学推理、代码生成方向选择了四个聚焦复杂问题求解能力的数据集：CSQA，GSM8k，MATH，MBPP以及三种不同的基座模型LLaMA-2-7B，Mistral-7B，LLaMA-8B。所有实验的迭代次数$$$$设置为5。评估时使用贪婪解码，并且选择Pass@1作为性能评价指标。）

起初，结果看起来很令人兴奋。AI在测试中的分数确实提高了！但研究团队深入观察后，发现了一些“出人意料”的现象：

1、能力幻觉：

研究者发现，AI并没有真正学会解决更难的问题。相反，它只是变得更擅长在已知的答案中挑选正确的那个。他们用”正确答案覆盖率”这个指标来衡量这一现象。结果显示，即使是未经过多轮训练的AI，只要给它足够多的尝试机会，也能在那些看似”学会”的问题上得到正确答案。这就像一个学生通过背答案提高了考试分数，但实际解决问题的能力并没有提升。

2、多样性丧失：

随着训练次数增加，AI的回答变得越来越“千篇一律”。研究者从三个方面测量了这种变化：

语法多样性：使用”Distinct N-gram”指标。
语义多样性：使用句子嵌入的余弦相似度。
逻辑多样性：在数学问题中计算不同方程的数量。结果显示，无论哪种训练方法，AI的回答都变得越来越相似，失去了原有的创意和多样性。

3、泛化能力下降：

研究者还测试了AI面对全新类型问题时的表现。他们先让AI在一个简单的数学问题集（GSM8K）上训练，然后用一个更难的数学问题集（MATH）来测试它。结果发现，经过多轮”自学”的AI在面对这些新问题时，表现反而更差。而且，AI在简单问题和困难问题上的表现差距越来越大，这说明它可能只是在”死记硬背”，而不是真正理解和学习。

毫无疑问，post-training阶段的”自我提升“仍然是一个充满潜力的研究方向，”让AI自我提升”也是一个很酷的想法。但GAIR团队的发现表明，AI的进化之路可能比想象中更加复杂和充满挑战。在追求AI性能提升的同时，也需要更全面地考虑：

AI真正的问题解决能力是否提升了？
AI是否保持了创造力和多样性？
AI能否灵活应对新的、未知的情况？

人工智能的未来令人期待，但同时也需要以更加审慎和全面的视角来看待其发展。只有这样，才能真正实现AI的潜力，创造出既智能又可靠的系统，为人类社会带来真正的价值。

实验室介绍：

生成式人工智能研究实验室（GAIR，主页：https://plms.ai/）由上海交通大学刘鹏飞副教授2023年4月回国创建，是国内首个聚焦于生成式人工智能的高校研究组。汇聚了来自于CMU、复旦、交大（ACM班、IEEE试点班等）等顶尖高校的年轻本硕博人才。实验室专注于三大核心领域：大模型基础研究、对齐系统和社会影响，致力于培养顶尖人工智能人才（具有原创、批判精神等）、开发尖端的生成式人工智能技术，赋能人类解决复杂问题，提升人类生活质量。

论文地址：

https://arxiv.org/pdf/2407.05013

项目主页：https://gair-nlp.github.io/self-improvement-reversal/

— 完 —

量子位 QbitAI · 头条号

【2024澳门天天开好彩大全免费】【新澳天天开奖资料大全最新】

【2024年天天开好彩资料】 【新澳天天开奖资料大全最新54期】

【2024澳门天天开好彩大全53期】 【澳门天天开彩期期精准】

【2024全年资料免费大全】 【新澳天天开奖资料大全】

【澳门内部最精准免费资料】 【2024澳门天天开好彩大全】

【2024年新奥门天天开彩免费资料】 【新澳2024今晚开奖资料】【2024年新澳门正版资料大全免费】

点赞数: 0