全球首个知识增强千亿大模型亮相

业界 | 2021-12-09 09:23:48
时间:2021-12-09 09:23:48   /   来源: 科技日报      /   点击数:()

科技日报深圳12月8日电  (记者 刘 艳)12月8日,鹏城实验室与百度联合发布全球首个知识增强千亿大模型——鹏城—百度·文心。

为什么大模型在产学界持续走热,越来越多的技术公司入场?

如中国工程院院士、鹏城实验室主任高文所言,预训练模型赋能人工智能衍生更多的应用,而不局限于某个领域,是人工智能自身发展并作用于社会及科学创新的重要工具。

当人工智能的需求呈现出碎片化、多样化的特点,人工智能模型却存在很多挑战,通用性低是首要问题。也就是说,A模型往往专用于特定A领域,应用到B领域便差强人意。

百度首席技术官王海峰介绍,鹏城—百度·文心是全球首个知识增强千亿大模型,参数规模达2600亿。在机器阅读理解、文本分类、语义相似度计算等60多项任务上取得最好效果,并在30余项小样本和零样本任务上刷新基准。

百度集团副总裁、深度学习技术及应用国家工程实验室副主任吴甜说:“60多项不同的任务,说明大模型的通用性很强,30余项小样本和零样本任务刷新基准,则意味着大模型泛化能力更强,对支撑各行各业非常重要。”

鹏城—百度·文心希望解决传统人工智能模型泛化性差、强依赖昂贵人工标注数据、落地成本高等应用问题,希望成为千行百业人工智能开发的首选基座大模型。

而鹏城实验室的算力系统“鹏城云脑Ⅱ”和飞桨深度学习平台就是鹏城—百度·文心理想实现的关键支撑,解决了超大模型训练的多个公认技术难题。

作为产业级知识增强大模型,文心包含自然语言理解大模型、计算机视觉大模型和跨模态大模型,既指向基础通用的,也面向重点领域和重点任务,还有丰富的工具与平台。“知识增强”是它的核心特色。

知识是人类智慧的结晶,是人类进步的重要推动力。通过知识增强,计算机有了学习并运用知识,像人一样理解和认知世界的可能。

吴甜强调:“我们希望人工智能系统通过对知识的学习,能够提升学习效率,具有更好的可解释性,更符合人对事物的理解。”

文心大模型正通过百度飞桨平台陆续对外开源开放,已大规模应用于百度搜索、信息流、智能音箱等互联网产品,并赋能工业、能源、金融、通信、媒体、教育等各行业。

标签: 模型 知识 全球

最近更新