近日,浪潮信息入选北京市通用人工智能产业创新伙伴, “源”大模型将持续加速开放赋能,促进通用人工智能产业发展,提升产业普惠价值。
作为最早布局大模型的企业之一,浪潮信息在业界率先推出了中文AI巨量模型“源1.0”,参数规模高达2457亿。“源1.0”在语言智能方面表现优异,获得中文语言理解评测基准CLUE榜单的零样本学习(zero-shot)和小样本学习(few-shot)两类总榜冠军。 浪潮信息通过千亿参数规模的大模型创新实践,已在算力集群构建、算力调度部署、算法模型开发等方面,构建起全栈领先的大模型算力系统解决方案,助力大模型训练开发。
(相关资料图)
在算力集群构建上,基于大模型实测对比的集群规划,提供包含数据中心、算力、网络、存储一体化产品阵列。其中最新一代融合架构的AI训练服务器 NF5688G7采用Hopper架构的GPU,较上代平台大模型实测性能提升近7倍,同时支持最新的液冷解决方案,可实现更低的集群能耗比与运行成本,PUE小于1.15,以一个4000卡的智算中心为例,每年可节电620万度、降碳1700吨。在集群高速互联层面,基于原生RDMA实现整个集群的全线速组网,并对网络拓扑进行优化,可以有效消除混合计算的计算瓶颈,确保集群在大模型训练时始终处于最佳状态。
在算力调度部署上,面对大模型系统级开发过程中所存在的调度难、部署慢、效率低、集群异常等问题,浪潮信息推出AIStation智能业务创新生产平台,通过全生命周期的一体化监控及调度系统,构建起完备的模型训练失效恢复持续方案,满足大模型分布式训练中高稳定、高稳健性等特性要求,实现训练异常和故障诊断的自动处理,缩短断点续训时间90%。同时,自研分布式任务自适应系统,有效分配底层计算、存储、网络等资源,提升集群利用率与模型训练效率。高效的集群优化调度策略,大幅简化大模型训练前大量的、环境配置、依赖库适配和超参数调整工作。
在算法模型开发上,“源1.0”针对大模型的Attention层和前馈层的模型空间进行结构优化,改进注意力机制聚焦文章内部联系的学习。千亿大模型的创新实践,使得浪潮信息具备从数据、训练、部署到应用落地的全栈开发能力。在训练数据处理上,通过自研海量数据过滤系统(MDFS),建立从数据采集、粗滤、质量分类、精滤的全自动化的端到端数据工作流程,通过清洗866TB海量数据,获得5TB高质量中文数据集。
在助力大模型训练开发方面,浪潮信息推出AI算力服务,提供经“源”清洗验证过的语言或多模态的大模型数据、算法产品及模型训练资源管理平台,为AI创新研究团队提供先进、开放、高性能、高质量的AI算力资源及配套服务,赋能AIGC创新发展。目前,浪潮信息AI算力服务已成功助力网易伏羲中文预训练大模型“玉言”登顶中文语言理解权威测评基准CLUE分类任务榜单,并在多项任务上超过人类水平。
浪潮信息AI团队将“源1.0”成功的系统工程经验应用于智算中心算力系统,对集群架构、高速互联、算力调度等进行全面优化,对分布式训练策略进行了针对性优化,通过合理设计张量并行、流水并行和数据并行,精准调整模型结构和训练过程的超参数,最终实现千亿参数规模的大模型训练算力效率达至53.5%。
目前,浪潮信息“源1.0”已在众多行业领域实现应用的快速落地,真正实现AIGC的产业普惠:通过构建强大稳健的基础大模型,让千行百业拥有“顺势而为”的大模型能力。浪潮信息推出的“源1.0”开源开放计划,开放模型API、工具链、数据集,构建“开放、共赢”的开发者社区生态,助力开发者快速创新,目前“源开发者社区”已汇聚了近万名高水平开发者,孵化出众多创新应用。
在智能客服领域,通过将“源”大模型的智能力与复杂的服务场景进行深度融合,打造专家级数据中心智能客服大脑,凭借强大的学习能力,“源晓服”能够对知识库进行自主化学习,可覆盖终端用户92%的咨询问题,将复杂技术咨询的业务处理时长降低65%,整体服务效率达160%,荣获评哈佛商业评论鼎革奖。
在智慧政务领域,基于源大模型打造的AI社区助理“临小助“,可为基层社区工作者提供沉浸式、针对性的一对一群众工作能力培训, 社区工作者通过手机载体与“临小助”进行互动对话形式,让社区小白“秒变”服务群众的能人。目前,“临小助”已投入使用,在某高频场景中, 社区工作人员培训学习效率提升5倍, 有效辅助问答建议达至75%。
在智慧文创领域,开发者开发出首个AI剧本杀;基于“源1.0”,开发并上线一个会“闹情绪”的AI陪练,帮助心理咨询师更专业及时地提供各种服务和治疗方案。除此之外,“AI数字人鲁迅”、数字演员、陪伴机器人、游戏NPC对话等极具创新的应用也在不断地孵化落地。
“源1.0”作为新型的大模型算法基础设施,正通过强大的通用智能和全栈的工具链服务能力,助力千行百业开发运行更多的智能应用。
标签:最近更新
- 浪潮信息入选北京市通用人工智能产业创新伙伴2023-07-27
- 可信云大会丨浪潮云颜亮:打造数据云,构建面向数据的新型基础设施体系2023-07-27
- 中国气象局:台风登陆前夕,这里有你需要知道的5个“热知识”2023-07-27
- 美国页岩油或已进入平稳发展新阶段2023-07-27
- 俄导弹精准暴力拆楼,被炸乌军满头问号,是不是北斗起了作用?2023-07-27
- 阿根廷龙狮队:把龙狮文化带向远方2023-07-27
- 坚持长期吃代餐减肥?小心营养不良2023-07-27
- 《冬与狮》首支预告发布2023-07-27
- 苏州相城高新区:校地携手“产学研” 共筑产业科技创新高地2023-07-27
- 民泰银行宁波分行“贷”动小微企业发展 助力地方企业经营发展2023-07-27
- 天津税务部门多措并举 支持企业研发 享受减税红利2023-07-27
- 西峡法院到重阳镇人大代表联络站开展进站履职活动2023-07-27
- 周杰伦方否认演唱会10万元拍照传闻 提醒歌迷增强防范2023-07-27
- 成都地铁:28日17时至22时,2号线书房站、界牌站暂停服务2023-07-27
- 中国汽车流通协会:7月第三周二手车市场日均交易量5.88万辆 环比增长0.34%2023-07-27
- 践行全球发展倡议 共促海洋经济发展2023-07-27
- 孟连牛油果:“洋果子”是怎么变成“土特产”的?2023-07-27
- 特定短线交易监管标准明确 对市场影响几何?2023-07-27
- 【全力以赴防抗台风“杜苏芮”】泉州市区这些路段易积水2023-07-27
- “央企省企中原农谷行”在新乡市平原示范区启动2023-07-27
- 固生堂携手百度打造中医AI大模型应用平台2023-07-27
- 三星发布第五代Galaxy折叠屏智能手机2023-07-27
- 腾讯互娱张巍:游戏正不断拓展价值创造边界,成为“超级数字场景”2023-07-27
- 聚焦行业技术创新 这场发布会探讨如何降低数据中心能耗2023-07-27
- IDC发布报告称第二季度中国智能手机市场出货量约6570万台 OPPO市场份额第一2023-07-27
- 子公司设电解液制造合资公司,实控人前妻减持完毕,昆仑万维再收关注函2023-07-27
- 全国首批“宽带网络+健康乡村”应用试点项目申报工作启动2023-07-27
- 一幅画,竟能供暖?!揭秘!可以改变世界的“新材料之王”2023-07-27
- 上半年进口车销售44万辆 消费升级为核心动力2023-07-27
- 算力中国行|青海:绿色算力从“建起来”到“用起来”2023-07-27