航拍广西钦州七十二泾“万亩”大蚝养殖基地场面壮观

图为航拍广西钦州茅尾海大蚝天然养殖基地。俞靖 摄

航拍广西钦州茅尾海大蚝养殖基地,蚝排遍布。俞靖 摄

DeepSpeed的最新版本还包含了ZeRO-Offload技术,该技术可利用GPU及其主机CPU上的计算和内存资源,从而在一台V100上训练多达130亿个参数的模型。微软声称这比最新技术强10倍,使得训练人员可以使用更少的计算资源来进行数据科学家的训练。 

养殖户展示吊养的大蚝。俞靖 摄

航拍广西钦州茅尾海大蚝养殖基地,蚝排遍布,错落有序。俞靖 摄

DeepSpeed将大型模型分为四个流水线阶段,分为较小的组件(层)。每个流水线阶段中的层进一步划分为四个“工人(workers)”,它们执行实际的训练。每个管道都在两个并行数据实例之间复制,并且工作程序被映射到多GPU系统。由于有了这些和其他性能改进,微软表示,一个万亿参数的AI模型可以减少到仅需要800个Nvidia V100 GPU训练。

“这些(DeepSpeed中的新技术)提供了极高的计算、内存和通信效率,并支持数十亿到数万亿个参数的模型训练。” 微软在博客中写道,“这些技术还允许极长的输入序列,并通过单个GPU,具有数千个GPU的高端集群或具有非常慢的以太网网络的低端集群释放硬件系统的能量。我们将(继续)进行快速创新,为深度学习训练突破了速度和规模的界限。”

增强的DeepSpeed利用三种技术来实现“万亿级”模型训练:数据并行训练、模型并行训练和管线并行训练。

图为养殖户展示新鲜大蚝。俞靖 摄

但是训练模型需要大量的计算资源。根据2018年OpenAI的分析,从2012年到2018年,在大型AI训练中,计算量的需求增长了300,000倍,也就是大概每3.5个月的时间翻一番,远远超过了摩尔定律的步伐。

雷锋网原创文章,。详情见转载须知。

训练一个万亿参数的模型将需要至少400个Nvidia 今年最新推出的A100 GPU(每个内存高达40GB),并且Microsoft估计需要4,000台A100以50%的效率运行,大约需要100天才能完成训练。这与微软和OpenAI共同设计的AI超级计算机无并不匹配,后者包含10,000多个显卡,在这样的超大规模下,很难获得很高的计算效率。

雷锋网编译,via venturebeat 雷锋网雷锋网(公众号:雷锋网)

7月23日,航拍广西钦州茅尾海大蚝天然养殖基地,万亩生蚝养殖排筏遍布。钦州是中国大蚝的主产区及苗种供应地,有“中国大蚝之乡”的美誉。近年来,钦州市充分利用海洋资源,大力发展浮筏吊养等海水生态养殖,通过实施大蚝特色产业提升工程,扶持养殖龙头企业等措施,全市已形成以龙门七十二泾海域为中心的连片万亩大蚝养殖基地5个,标准化大蚝吊养基地15个。加工生产的原汁蚝油、蚝豉系列产品畅销粤、港、澳等地。据介绍,2019年钦州市大蚝养殖面积15.2万亩,产量27.4万吨,年产蚝苗达1.6亿支(串),大蚝苗种及养殖产值突破30亿元人民币。