大模型在工业领域探索仍处于初级阶段_观热点

时间：2023-07-06 08:41:00 / 来源：人民邮电报 / 点击数：()

(相关资料图)

图片来源：中国工业互联网研究院

近日，中国工业互联网研究院（以下简称“工联院”）针对人工智能大模型在中文工业领域的应用性能、技术架构、标准体系进行系统性评测，并发布系列报告。评测对象涵盖GPT-4、GPT-3.5、文心一言、ChatGLM等国内外具有代表性的头部大模型。

本次工业知识问答测试主要分为客观题与主观题两大类，总计超过1100个问题。主观题主要考察四大维度：基础能力、语句能力、概括能力和逻辑能力。评测结果显示，GPT-4表现最佳。国内头部大模型表现亮眼，整体与GPT-3.5相当。其中百度文心一言在国内大模型中排名第一。

在客观题方面，GPT-4与文心一言表现优于其他大模型。但评测结果也同时指出，大模型在准确率方面有较大的提升空间。在主观题方面，国内大模型的基础能力、语句能力与GPT-4接近，概括能力、逻辑能力与GPT-4存在一定差距。

评测数据集由工业领域八大行业的相关数据构成。包括电子设备制造业、装备制造业、钢铁行业、采矿行业、电力行业、石化化工行业、建材行业和纺织行业。工联院根据工业经验，结合外部数据源，按行业构建行业知识测试集。

从行业维度看，大模型在八个行业知识问答能力上差异明显，个别行业需进一步优化提升。其中，电子、装备行业评价指数较高，纺织、采矿行业综合评价指数相对较低。

分析大模型落地垂直行业痛点，丰富特定行业专业知识。虽然国内大模型在本次评测中表现较好，甚至在部分行业评分优于GPT-3.5，但工联院评测报告指出，国内外通用大模型在工业知识问答领域探索仍处于初级阶段，国内大模型与GPT-4有差距，行业间的泛化能力有待加强。对此，工联院评测报告给出的建议是进一步丰富相关专业领域的数据训练集，进行专业化的微调。　

标签:

最近更新

最新文章

大模型在工业领域探索仍处于初级阶段_观热点

【环球时快讯】内蒙古、黑龙江联合举办森林防灭火应急通信实战演练（附图片）

制造业高质量发展（汽车产业）调研行正式启动焦点播报

飞得顺畅、飞得便捷、飞得安全无人机应用越来越广_世界时快讯

工业重点领域节能降碳改造升级范围进一步扩大全球报资讯

AI大模型落地产品迭出互联网巨头上演“速度与激情” 世界简讯

我国人工智能创新生态展现活力业界建议多措并举助产业发展脱虚向实

全球快看点丨AI全面参与影视制作，人类还能做什么

重点聚焦!挖出废旧手机里的真金白银

数字化拓展电影产业新空间

一周热门

数字化拓展电影产业新空间

王健林：未来十年最暴利的5大行业是这些厉害了

科技早茶：京东苏宁继续互撕谷歌母公司利润下滑

每月可节省2500工时，德赛西威启用制造技术开发工场

全球多国政府联手捣毁两大暗网非法交易市场

东南亚打车平台Grab获25亿美元投资滴滴软银领投

乐视手机败走印度：在营销上就把钱给烧光了

乐视悲剧：贾跃亭的信守与撤离

Uber CEO卡兰尼克：我还会回来

未来10年，怀旧手机还会有什么新花样吗？