第一批被大模型气死的人…

发布日期:2024-11-13 18:23

来源类型:教育点点谈 | 作者:Hiroyuki

阅读提醒: 话说,大模型火爆两年来 第一批被“气死”的人 都已经“头七”了 …… 有人说,不至于吧 俺看各家发的大模型都挺厉害的 个个天赋异禀,牛掰三连 ...
【四肖期期准免费资料大全】 【二四六香港资料期期中准】 【新奥门免费资料大全在线查看】 【7777788888新澳门开奖2023年】 【7777788888精准马会传真图】 【2024年新澳门精准免费大全】 【新奥最新版精准特】 【新澳免费资料大全正版资料下载】 【4949澳门今晚开奖】 【澳门今晚开特马+开奖结果走势图】 【澳门内部正版资料免费公开】 【奥门平特肖】 【2024全年資料免費大全】

话说,大模型火爆两年来

第一批被“气死”的人

都已经“头七”了

……

有人说,不至于吧

俺看各家发的大模型都挺厉害的

个个天赋异禀,牛掰三连

您说的没错,在很多通用场景

尤其C端娱乐、陪伴、效率提升等应用

大模型们这两年干了不少“人事儿”

可一旦到B端严肃场景,就不一样了

比如,有人把大模型接入ERP、BI系统

搞点严谨的数据分析、成本核算

分分钟给你整成一团乱麻

让你不得不从头核对,比自己算还累

还有人拿大模型做了招标助手

指望它能读标书、写标书

结果,看错了标底、写错了应答

本来能中的标都废了…

……

凡此种种“气死人”的案例

皆因通用大模型对行业场景“水土不服”

动不动就出现幻觉、现了原形

嘿嘿

这么说吧,就目前通用大模型的能力

任何企业都很难拿来直接就用

真气死个人儿,可怎么办呢?

⬇️

让大模型在企业级严肃场景、垂直场景能够快速落地、把活干好,最有效的方法就是对大模型进行精调(Fine-tuning)。

所谓「精调」,就是把这些看起来有点“气人”的通用大模型,使用特定任务、特定场景的数据,进行再训练或者微调。

说白了,一方水土养一方大模型,把通用大模型拉回家,喂点我家的专用饲料,搞搞特训,让他们按我们要求的样子“二次发育”。

特训完成后,这些大模型就成了我们的专属大模型,在我们需要的特定业务场景下,也能聪明滴搬砖。

精调省去了从零开始的时间成本、训练成本,表面上看,对企业好像很简单。

但实际上,每一步都有坑…

01、大模型「精调」,有哪些难点?

首先,已有的预训练模型怎么选?

理论上讲参数越大模型越聪明,可是参数大意味着精调的训练成本会增加,而未来推理部署的成本也会更高。

第二,一份高质量的训练数据对精调模型达标起着至关重要的作用,但是,高质量的数据来之不易,要经历繁琐的数据清洗和耗时的数据标注。

数据不行,越调越糊…

第三,虽然精调消耗的算力跟预训练不是一个数量级的,但对企业来说,也是一笔不小的开支。

算力囤少了,精调不够劲儿,算力囤多了,后期就是巨大的沉默成本。

第四,精调完成,还要把模型部署落地到生产场景,与企业业务对接集成,提供推理服务。

这个环节,同样要考虑部署集成的可操作性,易用性,以及长期运营成本。

一旦搞不好,就可能成为烂尾工程,前面的付出全打水漂。

怎么样,是不是左右都是难?

直接采用通用大模型,会被各种出乎意料的幻觉“气死”,选择精调后使用,也可能会被这一路的坑儿“气死”。

02、如何快速搞定大模型「精调」?

怎么破?有人给出了解法,这就是「腾讯云TI平台」。

TI平台是腾讯云面向开发者、政企提供的一站式人工智能开发服务平台。

既可以应用于传统AI/ML场景,也可以应用于生成式AI场景,客户不需要再去找单独的MaaS平台。

TI平台打通了从数据标注、数据构建,到模型训练、模型评估、模型部署,再到AI应用开发和落地的全流程链路。

并且与鹅厂公有云基础设施(存/算/网/安能力)无缝衔接,开箱即用。

用TI平台来进行大模型精调,各种难题都可以迎刃而解↓

01、解决模型选择困难症

面对眼花缭乱的各种通用大模型,企业容易陷入到选择困难症。

TI平台预置了鹅厂自研的混元大模型和行业大模型,并优中选优,全面接入主流开源模型,同时提供通用训练框架和推理加速框架。

更贴心的是,鹅厂刚刚开源了一个“吊炸天”的混元模型:「混元Large」。

混元Large有3890亿总参数量、520亿激活参数量,并支持256K上下文长度,是目前业界参数规模最大、性能领先的开源MoE模型。

MoE模型也就是专家混合模型(Mixture of Experts),有点像“三个臭皮匠,抵过诸葛亮”。

它把多个擅长不同任务的子模型混合在一起,组成“专家团队”,以此来提供更强的能力。

MoE模型通过一种叫做门控网络的机制,根据输入数据的特点,来选择激活哪几个专家(子模型)。

由于MoE模型工作的时候通常只激活一小部分专家(比如100个激活2-3个),这可以在显著降低计算量的同时,不影响模型性能。

同时因为“群贤毕至、专家云集”,每个专家各有所长,MoE模型可以处理更加多样化、复杂的输入数据,得到更优的结果。

因此,混元Large在推理速度和参数规模之间取得了平衡,显著提升了模型的处理能力。

当然鹅厂还注入了一大堆黑科技,比如:高质量合成数据、随机补偿路由策略、KV缓存压缩、专家特定学习率缩放等等。

测试结果显示,混元Large在CMMLU、MMLU、CEval、AGIEval等多学科评测集以及中英文NLP任务、代码、数学等9大维度表现出色,超越Llama3和Mixtral等主流开源模型。

so,当企业既想更好的模型性能,又想要更低的算力开销,以前没得选,现在混元Large就是终极答案。

02、解决数据清洗和标注难题

选完模型,下一步要准备精调数据,这个环节有两大难题↓

第一是数据来源和格式各异,不同数据来源和不同业务场景,应该采用不同的清洗手段,不同格式的数据,需要更灵活的存储方式。

第二是数据标注效率低下,精调数据通常保存在云存储、云文件系统中,传统标注方案往往涉及数据反复来回拷贝,占用额外空间且耗时耗力。

采用鹅厂TI平台,完全不用担心数据准备环节的难题。

首先,平台预置了一套数据清洗pipeline脚本,这可是腾讯优图算法专家沉淀多年的清洗大模型数据的经验,开箱即用。

同时腾讯云TI平台的大模型标注工具非常灵活,特色创立了基于schema(数据集的结构和格式)的定义方式,可以完全自定义工作台,让标注更方便。

由于腾讯云TI平台本身就是云原生的,可以无缝对接用户待标注数据的云文件系统,标注结果直接保存在原文件路径。

标注过程中,不再需要反复拷贝,省时省力省空间。

03、精调过程稳定高效易用

数据准备好之后,就可以进入具体精调环节。

TI支持低代码、灵活自定义两种精调模式自由选择,并预置了训练镜像,快速发起训练,简单易用。

精调训练过程中,TI提供了三层保障机制,减少任务中断,提升精调效率。

同时,TI基于鹅厂自研的“Angel”加速能力,让训练和推理的速度更快,资源消耗更少。

还有一点也很重要,企业在使用TI实施精调训练时,调用的是鹅厂云端算力,按需使用,不要再自己抢卡囤算力,大大节省资金成本。

而且,TI平台也支持政企私有化部署,全面适配国产算力卡,单平台支持多卡异构纳管,让企业可以有多种选择。

04、模型效果评估与部署难题

大模型精调以后,效果到底怎么样?会不会还是有点“犯浑”?这事儿不能等精调完再检查,要在过程中就把握好。

鹅厂TI平台提供了一套完善的模型评估体系,从精调的不同阶段定义了「轻量体验、客观评测、主观评测」等“考试环节”,并且支持在精调训练的任一checkpoint进行抽查。

好,“智商”检测合格,开始部署。

TI内置推理加速器,可达两倍以上加速比,让推理应用跑到飞起。

同时提供统一的大模型调用API和体验工具,大幅缩短业务接驳大模型的周期。

在应用发布环节,TI提供可视化应用编排,并可以纳管边缘集群,通过云端控制边缘服务发布,快速落地生产场景。

就这样,有了腾讯云TI平台,从模型选择、数据准备,到精调训练、调试评估,再到模型部署和应用,一路畅通。

聪明滴、懂行业、懂场景的大模型,终于有谱啦。

当然,更靠谱的方案,我留在了最后,那就是——

用腾讯云TI平台精调鹅厂刚刚新鲜开源的「混元Large」MoE模型。

顶流的开源模型+顶流的精调平台,体验更加不一般↓

目前,混元-Large × TI的强强联合服务,已经在腾讯云上开放,登录TI平台,您可以完成以下目标:

1、通过直接问答,体验Hunyuan-Large的最新能力;2、构造自定义评测集横评Hunyuan-Large和其他模型;3、将Hunyuan-Large API接入到自有大模型应用;4、基于自有数据集精调Hunyuan-Large,以满足垂直场景效果。

返回搜狐,查看更多

责任编辑:

【新澳门彩历史开奖记录走势图香港】 【新澳天天彩正版免费资料观看】 【2024新澳正版免费资料】 【新澳今晚六给彩开奖结果】 【新澳门彩历史开奖结果走势图表】 【新澳门资料免费资料】 【新澳门六开奖结果记录】 【新澳门正版免费大全】 【澳门六开彩天天正版澳门在线】 【新澳门精准免费资料大全】 【2024新澳免费资料大全】 【新澳门免费资料:全】 【2024新奥天天免费资料】 【二四六澳门免费全全大全】
【新澳门最新开奖记录查询第28期】 【澳门天天彩资料正版免费特色快8】 【2024澳门正版资料大全】 【曾夫人论坛免费资料大全】 【2024新奥精准正版资料】 【新奥门资料免费资料大全】 【2024年正版资料大全免费看】 【新奥资料免费精准大全】 【二四天天正版资料免费大全】 【新澳2024最新资料】 【2024年新澳门正版】 【新澳2024资料大全免费】 【香港好彩二四六免费资料大全澳门】 【最准一肖100%最准的资料】

下载中心

视频封面

视频名称:歼-35A真的来了!

大小: 8.9GB 下载:(81575) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:“出海”正当时,中国厂商引领海外清洁电器市场升级

大小: 5.3GB 下载:(218531) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:好看!《永夜星河》热度破3万,虞书欣成90后首位3平台破万女演员

大小: 6.2GB 下载:(675743) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:济南一商家将一份爆米花卖到260元?店家:多为男士购买给爱人

大小: 9.5GB 下载:(22793) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:中国美术学院与威尼斯双年展签订合作协议男生宿舍关系能到什么程度?美女辅导员进宿舍看见了辣眼睛的场面

大小: 7.2GB 下载:(408272) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:内阁基本已定,特朗普重赏功臣,78岁小布什出山,中方收到挑战书

大小: 9.3GB 下载:(297505) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:克宫:美国拘留驱逐俄媒记者,俄方无法接受

大小: 4.4GB 下载:(735635) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:荣耀Magic6系列旗舰手机发布 荣耀鸿燕通信让卫星通信全面普及《再见怦然心动》:袁善见首部男主剧,上演恋爱脑无底线追妻

大小: 5.9GB 下载:(360001) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:真是谁都看不过眼:美媒报道“梅西之乱”,外国网友称梅西不地道

大小: 1.8GB 下载:(560897) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:国家统计局:10月CPI同比上涨03%,PPI同比下降29% 附解读

大小: 9.5GB 下载:(934283) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:如何拥有更快乐的生活,保持身体健康呢?

大小: 3.9GB 下载:(94715) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:总金额超11亿美元!进博会首日东航连签两个航空大单|进现场

大小: 7.3GB 下载:(222140) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:省委教育工委、省教育厅:守正创新推动思政课内涵式发展

大小: 1.6GB 下载:(382955) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:江西三清山自由行攻略,三清山有什么好看的景点

大小: 1.6GB 下载:(297717) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:法国大革命真的是人类的进步吗?

大小: 2.9GB 下载:(437547) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:进博会对话 默沙东中国总裁田安娜:致力于用创新解决中国未被满足的医疗需求

大小: 9.6GB 下载:(585740) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:金融支撑科技型企业更好发展

大小: 9.5GB 下载:(90956) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:日产业绩暴雷!宣告全球裁员9000人、减产20%,CEO自愿降薪50%

大小: 2.6GB 下载:(336639) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:首届世界古典学大会召开!读读这套古典文明译丛

大小: 6.1GB 下载:(115771) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:虞书欣:90后首位三平台破万演员,未来可期爆棚!

大小: 5.4GB 下载:(692525) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:上海“阿勒泰”突然“黄”了?景区通告:暂停开放

大小: 1.5GB 下载:(852666) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:解锁“云赶集”探店模式,《天猫双11疯狂好六夜》即将来袭

大小: 8.1GB 下载:(550211) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:小操作成灾难导火索 还原致31死富洋烧烤店燃爆经过

大小: 6.5GB 下载:(843234) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:「LPL演化论」上单篇:长夜得明,生生不息

大小: 8.8GB 下载:(235796) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:台当局终于提出谈判,国台办早已开好条件,国民党发言一针见血

大小: 5.7GB 下载:(599402) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:我们冤枉那英了?刀郎澳门演唱会开售一天,仍有大量门票未售出顾父根本没死,小马哥死前三分钟视频曝光,揭开隐藏5年真相

大小: 5.9GB 下载:(695955) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:巧克力蛋糕最好吃的做法,就在这里了

大小: 3.7GB 下载:(369166) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:开足马力 广饶县县级快递集中配送中心全力备战“双十一”3年前,宁夏7岁小女孩一笑走红,后拒百万签约,如今怎么样了?

大小: 1.5GB 下载:(712110) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:2024双十一什么时候开始最便宜划算?京东淘宝天猫双11最后一波优惠满减省钱攻略活动时间表附惊喜红包口令

大小: 3.8GB 下载:(620941) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:童年回忆!盘点team平台上的大富翁类游戏

大小: 8.5GB 下载:(541315) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:打起来!特朗普刚刚胜选,美国“起义军”动手开砸,西雅图夜未眠

大小: 6.7GB 下载:(354015) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)

评论

打开APP查看24条评论

约翰·马奥尼

8秒前

这事儿不能等精调完再检查,要在过程中就把握好。

Walter

2分钟前

皆因通用大模型对行业场景“水土不服”

Takayuki

3天前

比如,有人把大模型接入ERP、BI系统

发表您的评论: