您的位置:188bet亚洲真人体育下载网址 > 资讯 > 人工智能 > 行业动态 > 正文

在AI“必争之地”,全球最大规模人工智能巨量模型诞生

2021-09-30 10:03 性质:转载 作者:张双虎 来源:中国科学报
免责声明:无人系统网(www.youuvs.com)尊重合法版权,反对侵权盗版。(凡是我网所转载之文章,文中所有文字内容和图片视频之知识产权均系原作者和机构所有。文章内容观点,与本网无关。如有需要删除,敬请来电商榷!)
当学界和业界均相信“大力出奇迹”的时候,就该大模型闪亮登场了。9月28日,浪潮人工智能研究院发布全球最大人工智能巨量模型——源1.0。这个几乎把近5年中文互...

当学界和业界均相信“大力出奇迹”的时候,就该大模型闪亮登场了。

9月28日,浪潮人工智能研究院发布全球最大人工智能巨量模型——源1.0。

这个几乎把近5年中文互联网的浩瀚内容全部读完,在数据量、参数规模与模型精度方面均居全球之最的大模型,将以开源、开放、共享的策略,降低巨量模型研究和应用的门槛,推动AI产业化和产业AI化的进步。

中国工程院院士王恩东认为,人工智能的大模型时代已经到来,利用先进算法,整合大规模数据,汇聚大量算力,训练出巨量人工智能模型是未来的发展方向……

“博学”的模型 |

“战鼓催征千嶂寒,阴阳交会九皋盘。”

这句诗出自哪位边塞诗人之手?出自“初唐四杰”抑或“大历才子”?你也许有些恍惚,然而这些都不是,它出自一个名为“源1.0”的大模型。

前不久,浪潮招募近百人参与了一场“类图灵测试”,将源1.0大模型生成的对话、188bet亚洲真人体育下载网址、诗歌、对联,小说续写5类作品混杂在文学大师的作品中,由测试者判断该作品是“人为”还是“机为”。

测试中,人们会把自认为优秀的作品归功于人类,不够理想的判定为机器创作。

最后的测试结果“令人振奋”,在源1.0的挑战测试中,人们能够准确分辨人与“源1.0”作品差别的总体成功率低于50%。

“测试者的平均区分正确率是49.16%。”浪潮人工智能研究院首席研究员吴韶华对《中国科学报》说,“这意味着,多数人不能辨别作品出自文学大师之手还是由源1.0创作。”

在5类测试作品中,188bet亚洲真人体育下载网址类作品误判率最高,达到57.88%,即大多数人很难分别作品到底是人类作品还是机器创作。

在记者看到的一篇关于“中国稀土行业存在问题”的188bet亚洲真人体育下载网址作品中,从文体、布局到遣词造句,妥妥的规范“新华体”,难怪近6成参与测试者难以辨别。

即使误判率最低的诗歌类作品(37.69%),如文章开始提到那两句诗,也字顺意达,不仔细推敲,确实难以想到是机器创作。

图灵测试是判断机器是否具有智能的经典方法。通常认为,进行多次测试后,如果人工智能让平均每个参与者做出超过30%的误判,那么这台机器就通过了测试,并被认为具有人类智能。

以类图灵测试判断,这个能诗善文,可以和人对话、能给我们讲故事的源1.0 有资格被称为目前最“博学”的模型。

那么,是什么让机器如此“聪明”?

大力出奇迹 |

“认知智能是人工智能研究者追求的方向之一。”中国工程院院士王恩东告诉《中国科学报》,“除了加速深度学习技术,开发全新的算法范式研究方向外,大规模数据训练超大参数量的巨量模型也是未来发展方向,即利用先进的算法,整合大规模的数据,汇聚大量算力,训练出巨量人工智能模型。”

2020年6月,OpenAI发布了参数量高达1750亿的大模型GPT-3,该模型一推出就引起人工智能学界和业界的轰动。

“语言模型是全球AI界的‘必争之地’。”一位人工智能研究领域的专家说,“参数规模大到远超我们想象的时候,会发生一些难以解释的现象。”

浪潮信息副总裁刘军同样认为,生命从简单进化到复杂,这种智能水平本身就是一种模型。如果把模型比作元宇宙中的生命,大模型的这种综合系统能力,可能会决定未来数字世界和智能世界里的智能水平。“人的神经元突触超过100万亿,而现有大模型的参数量还远远不够,所以我们还有很远路要走”。

伴随着人工智能应用广度与深度的不断提升,众多行业、诸多业务场景的智能化创新需求日益增多。

然而当前大多数AI模型只能用于某一特定领域,通用性不强,这对AI技术提出了挑战,也限制了AI的产业化进程。

大模型在今天初露峥嵘绝非偶然。技术、算力、资源、需求等多因素的“风云际会”,让被AI业界视为“核力量”的大模型崭露头角。

最大中文语言模型 |

源1.0几乎把近5年整个中文互联网的浩瀚内容全部读完,在收集并清洗数据后,最终获得5TB高质量数据,成为迄今业界最大的高质量中文数据集。

在语言智能方面,源1.0获得中文语言理解评测基准CLUE榜单零样本学习和小样本学习两类总榜冠军,获得小样本学习的文献分类、商品分类、文献摘要识别、名词代词关系等4项任务冠军。

ZeroCLUE零样本学习榜(第一行为人类得分)

FewCLUE小样本学习榜(第一行为人类得分)

“在数据量、参数规模与模型精度方面,源1.0均居全球之最。”浪潮人工智能研究院首席研究员吴韶华说。

对标OpenAI的GPT-3,源1.0参数规模为2457亿,训练采用的中文数据集达5TB。相比GPT-3模型1750亿参数量和570GB训练数据集,源1.0参数规模领先40%,训练数据集规模领先近10倍。

“得益于我们设计模型时,对精度和计算性能的协同。”吴韶华说,“在算法上,我们解决了巨量模型训练不稳定的业界难题,提出稳定训练巨量模型的算法,打造了巨量模型推理方法创新;在数据方面,我们生成了迄今业界最大的高质量中文数据集;在算力上,我们通过算法与算力协同优化,极大提升了计算效率,在实现业界训练性能第一的同时,还达到了业界领先的精度。”

人工智能模型目前存在诸多挑战。

一是语言模型的通用性不高,一个模型专用于特定领域,换个地方就效果欠佳。而训练超大规模模型能一定程度上解决通用性问题,可以被应用于翻译、问答、文本生成等,涵盖自然语言理解的所有领域,可被广泛地应用于各种AI场景。

二是模型开发成本高、周期长。而经过预训练的大模型可以让研究机构和企业“不必从0做起,可以在大模型的基础上,从60、或者从90开始做到100”。

“通过一个预训练的大模型,面向任务做小样本学习、零样本学习以及微调,可用于各行各业。”吴韶华说,“大模型最重要的优势是进入大规?筛粗频墓ひ德涞亟锥危恍栊⊙镜难耙材艽锏奖纫郧案玫男Ч夷P筒问婺T酱笳庵钟攀圃矫飨裕饽艽蟠蠼档透骼嘤没У目⑹褂贸杀尽!

共建“通天塔” |

发展大模型曾被称作“富人的烧钱游戏”。OpenAI为开发GPT-3花费了10亿美元,研发团队用了1万个GPU,训练了1个月。

国内某课题组为进行一项较复杂的计算,购置了数台服务器。运行起来后,该团队负责人坦言,“光电费每天得1万元”。

因为在算法、软硬件适配方面做了大量优化,源1.0比GPT-3用的CPU更少,训练时间更短。这让源1.0一定程度上摘下了“富人烧钱游戏”的帽子。

同时,得益于浪潮在服务器和人工智能计算方面的长期投入和深厚的积累,浪潮开发大模型就如鱼得水。浪潮并未细致切割出开发源1.0大模型到底投入了多大人力物力,但相信这也不会是个小数字。

在源1.0发布的专家研讨会前,几位自然语言处理方面的专家前后到场。

因为同在一个研究领域,他们或是故交、或相互听说过姓名,见面聊起当前大模型的热度,谈笑间,“这(发展大模型)是一场新的‘军备竞赛’”的共识已经达成。

学界普遍认为,大模型犹如“望远镜”“显微镜”一样,当人们没有这些设备时,不知道瀚瀚宇宙和原子分子等微观世界到底有什么,是什么样。有了大模型,人类或许就能发现一番崭新的天地。

因此,不管实力雄厚的头部企业、研究机构,还是课题小组、单个研究人员,都期望能尽快用上大模型。

业内人士认为,别说千亿量级的模型,百亿量级的模型对研究机构来说都难实现。而且,业界和学术界非常希望大模型能开放共享,开放模型可以让大家一起来开发应用,优化和构建共同生态。

“开放、开源、共享,是我们做这个事情的目的。”刘军说,“我们不希望这么一个强大的武器有很高的门槛,成为少数人的专利,我们希望把它变成一个普惠性的能力建设。”

刘军认为,巨量数据、巨量算法和巨量算力正在成为迈向通用人工智能的重要路径。巨量模型最后会变成创新的源头,变成不同应用场景里快速产生模型的源头。

“浪潮源1.0大模型只是一个开始,它只是提供一片广阔的肥沃土壤。浪潮未来将定向开放大模型API,服务于元脑生态社区内所有开发者,供全球的开发人员在我们的平台上开发应用于各行各业的应用程序。”刘军说,“源1.0将面向学术机构和产业界用户开源,降低巨量模型研究和应用的门槛,推动AI产业化和产业AI化的进步,为国家在人工智能研究创新和产业发展作出贡献。”

大模型时代已经到来,如果头部企业能站在行业发展的高处,以开源、开放、共享的理念来协同发展大模型,也许一场高损耗的“军备竞赛”会消弭于无形,一座通向智能世界的“通天塔”或许就能建成。

网友评论
文明上网,理性发言,拒绝广告

相关资讯

热点资讯
推荐图文

关注官方微信

手机扫码看188bet亚洲真人体育下载网址