贵阳网2024年10月13日发布:10个问题搞懂大模型,看完更懂生产力 1定义:具
⭐发布日期:2024年10月13日 | 来源:贵阳网
【2024澳门天天开好彩大全】 |
【香港今晚开奖结果号码2024年3期】 |
【2024澳门六今晚开什么特】 | 【2024澳门历史记录】 | 【2024年新澳开奖结果】 | 【二四六香港资料期期准2024】 | 【2024新澳门天天开彩大全】 | 【2024年澳门今晚开码料】 | 【新澳门彩开奖结果今天】 | 【2024正版资料免费公开】 |
【2024新奥历史开奖记录】 | 【2021澳门天天开彩】 | 【今晚上澳门特马必中一肖】 | 【新澳2024大全正版免费资料】 | 【2024澳门开奖结果今晚开什么】 | 【新澳2024年精准资料期期】 | 【澳门跑狗图免费正版图2024年】 | 【2024年香港开奖历史记录表】 |
10个问题搞懂大模型,看完更懂生产力
1.定义:具有大规模参数和复杂计算结构的机器学习模型(Large Model,也称基础模型,即Foundation Model)
2.组成:由深度神经网络构建而成,拥有数十亿甚至数千亿个参数。
3.目的:为了提高模型的表达能力和预测性能,处理更加复杂的任务和数据。
4.应用领域:自然语言处理、计算机视觉、语音识别和推荐系统等。
5.大模型特点:①条件广:参数规模巨大,需更强算力;②过程特:大数据预训练,微调,自监督学习;③表现好:涌现出智能,更好泛化能力,多任务学习,不同领域知识融合,自动化,效率和性能
6.大模型分类:①语言大模型(NLP:Natural Language Processing)用于处理文本数据和理解自然语言。大语言模型(Large Language Model),自然语言处理模型,例如 OpenAI 的 GPT-3 模型。GPT(Generative Pre-trained Transformer)。②视觉大模型(CV:Computer Vision)用于图像处理和分析。③多模态大模型:是指能够处理文本、图像、音频等多模态数据。
7.大模型层级:①通用大模型L0:是指可以在多个领域和任务上通用的大模型,相当于AI完成了“通识教育”。②行业大模型L1:特定行业或领域的大模型,相当于AI成为“行业专家”。③垂直大模型L2:是指那些针对特定任务或场景的大模型。
8.泛化:对新数据的理解和预测能力。
微调:使用少量带标签的数据对预训练模型进行再次训练。
9.微调种类:①Fine-tuning:最常用,在预训练模型的最后一层添加一个新的分类层,根据新的数据集进行微调。②Feature augmentation:通过向数据中添加一些人工特征来增强性能。③Transfer learning:使用训练过的模型作为新任务的起点。
10.发展历史:
①萌芽期(1950-2005):以CNN为代表的传统神经网络模型阶段
1956年,计算机专家约翰·麦卡锡提出“人工智能”概念开始,AI基于小规模专家知识逐步发展为基于机器学习。
1980年,卷积神经网络的雏形CNN诞生。
1998年,现代卷积神经网络的基本结构LeNet-5诞生,机器学习方法由早期基于浅层机器学习的模型,变为了基于深度学习的模型。
②探索沉淀期(2006-2019):以Transformer代表的全新神经网络模型阶段
2013年, Word2Vec提出将单词转换为向量的“词向量模型”
2014年,GAN(对抗式生成网络)标志着深度学习进入了生成模型阶段。
2017年,Google提出Transformer架构(自注意力机制),奠定了大模型预训练算法架构基础。
2018年,OpenAI和Google分别发布了GPT-1与BERT大模型,意味着预训练大模型成为自然语言处理领域的主流。
③迅猛发展期(2020-至今):以GPT为代表的预训练大模型阶段
2020年,GPT-3模型参数达到1750亿,零样本学习任。RHLF、代码预训练、指令微调等策略出现。
2022年11月,GPT3.5迅速引爆互联网。
2023年3月,超大规模多模态预训练大模型GPT-4,具备了多模态理解与多类型内容生成能力。
【香港今期开奖结果查询结果71期】 【新澳资料免费精准2024】 |
【2024新澳资料大全免费】 【204年新奥开什么今晚】 |
【2024年新澳开奖记录】 【澳门六开奖结果2024开奖今晚】 |
【管家婆一奖一特一中】 【2024新澳门今晚开奖结果+开奖】 |
【今晚必中一码一肖100准】 【2024澳门今晚开什么码】 |
【2024新澳开奖记录】 【2024新奥历史开奖记录68期】 【2024香港开奖结果今开奖结果记录】 |
发表评论
西蒙·阿尔·巴祖
8秒前:③Transfer learning:使用训练过的模型作为新任务的起点。
IP:45.82.3.*
维卡·克里克斯
4秒前:大模型特点:①条件广:参数规模巨大,需更强算力;②过程特:大数据预训练,微调,自监督学习;③表现好:涌现出智能,更好泛化能力,多任务学习,不同领域知识融合,自动化,效率和性能6.
IP:34.12.4.*
高腾
4秒前:5迅速引爆互联网。
IP:80.28.3.*