首页 > 行业见闻 > 正文

壹沓AI观察:人工智能算法“后浪”效应超越“摩尔定律”

2020-05-18 发布于:行业见闻

“在人工智能领域,因为计算机科学专家的努力,尖端算法的效率提升速度超过了芯片行业中著名的摩尔定律每18-24个月翻番的速度。自 2012 年以来,在著名的AI比赛数据集 ImageNet 上训练一个图像分类模型所需的算力每 16 个月下降一半。”


微信图片_2020052323135251


著名人工智能科研机构 OpenAI 在2020年5月5日发表了业内机器学习模型算法发展的研究报告,并得出最新结论:与2012年相比,现在训练一个神经网络达到 AlexNet的水平所需的算力会减少到1/44,揭示了大量级的投资带动算法进步的效益已经开始胜过传统的硬件规模投入的效果。

 

壹沓科技在NLP领域中新词发现算法的探索过程在某种程度上也印证了OPEN AI发现的规律。行业内大家都熟悉的中文分词中新词发现的经典方法就是基于互信息和左右熵的统计,有相当部分的NLP企业在此基础上实现过对于给定文本的新词挖掘的机器学习算法,经过相同硬件环境下测评比对,由SmoothNLP去年开源实现的经典挖掘算法性能大概处理1MB的原始文本语料需要90秒,而去年底HarvestText实现的辅助以贝叶斯筛选的方法则改进到25秒。


今年3月,壹沓科技在对语料进行预分词的基础上增强了候选淘汰的过程,则将速度提升到了3秒以内,同时测评发现新词的有效性等价于经典算法的结果。在短短1年之中,中文新词发现的AI学习算法效率被提升了30倍。

 

在世界范围内,除了关注模型的最优表现之外,OpenAI 本次研究发现的模型效率提升是最引人关注的地方,而更深层的意义在于为 AI 的技术属性和社会影响提供更为可靠的发展依据。

 

「算法的改进是 AI 技术提升的核心。不过寻找衡量所有技术进步的标准非常困难,特别是它们在使用算力方面变化的趋势,」OpenAI 表示。「算法效率的提升使得研究人员可以在同样时间内进行更多实验,并减少成本。分析表明,政策制定者需要增加对于计算效率研究的投资,这不仅对于学术界有帮助,而且可以进一步帮助业界。」

 

OpenAI 并不是第一个公开提出对人工智能的算法效率展开基准测评的机构。2019 年,艾伦人工智能研究所、卡内基梅隆大学以及华盛顿大学的科学家提议将效率作为 AI 学术论文以及准确性和相关度量的评估标准之一。OpenAI认为提升算法效率,可以定义为减少训练算法完成某项任务所需的算力。在很多其他领域都可以对效率进行比较,比如 DNA 测序(每10个月翻一番)、能源再生(每6年翻一番)和晶体管密度(每2年翻一番)。研究人员经常使用效率来衡量算法在完成经典计算任务时的能力,其中就包括分类任务。

 

分类等传统问题上的效率提升,比全部机器学习中的效率更容易衡量,因为它们对任务难度的衡量更加明确。同时,也有人呼吁进行更为应用性的效能分析,并为机器学习项目建立每瓦特计算(compute-per-watt)的标准。

 

AI算法的「后浪」:更高效模型不断涌现,算力持续提升


微信图片_202005232335251

▲图中reduction factor指的就是提升的倍数。

 

在调查研究中,OpenAI 发现在 WMT-14 翻译任务上谷歌 Transformer 所需算力之占此前常用的 seq2seq 模型1/61 ——而两者诞生的时间也仅相隔 3 年。


DeepMind开发的人工智能 AlphaZero 可以从零开始自我学习实现在围棋、象棋、日本将棋等游戏中超越人类的水平,而且只需要前一代系统,仅早一年推出打败李世石的 AlphaGo八分之一的算力。


对于 OpenAI 自身,最近闻名遐迩的技术是 Dota 2 对战人类胜率99%的人工智能 OpenAI Five ,而其最近版本 Rerun仅需 1/5 的算力即可打败前一代算法,而两代推出时间只有相差90天。

 

20200518


上图表示各种 AlexNet 级图片分类算法所需的算力,蓝色点为当时效率最优。

 

简而言之,仅以图像分类任务来看的话,过去 7 年人工智能的效率已经提升了 44 倍。这个速度超过了摩尔定律,似乎意味着只要持续努力下去,我们无需担心会因为硬件瓶颈而导致人工智能发展受阻的情况。另一方面,考虑到 2012 年的算力价格和 2019 年大有不同,在实践中情况还要更好一些。

 

OpenAI 推测算法效率可能超过摩尔定律带来的增益,因为它观察到集成电路中的晶体管数量大约每两年翻一番。有趣的是,人工智能的发展规律也类似于英特尔芯片近年来提出的「Tick Tock」发展战略——新的功能通常需要耗费大量的算力才能获得(新制程),然后这些功能的优化版本得益于流程改进而实现更高效的部署(似乎可以对应芯片上新微架构的提升)。

 

此外调研结果表明,对于投入大量研究时间和/或算力的 AI 任务来说,算法效率的提升已经超过了对硬件效率的需求。作为总体基准测试的一部分,OpenAI 首先进行视觉和机器翻译效率基准测试,特别是在 ImageNet 和 WMT14 数据集,并且之后会添加更多的基准方法。


202005181


从 ImageNet 数据集上的 79.1% top-5 准确率来看,从 2012 年的 AlexNet 到 2019 年的 EfficientNet,算力提升了 44 倍之多。


从 WMT-14 EN-FR 数据集上的 34.8 BLEU 来看,从 2014 年的 Seq2Seq(Ensemble) 到 2017 年的 Transformer(base),算力提升了 61 倍。

 

OpenAI 表示:「业界领袖、政策制定者、经济学家和潜在的研究人员都力图更深刻地理解 AI 进展,并决定他们应该投入多少以及这些投入的未来走向。AI 模型效率的基准测试正好可以帮助他们做出正确的决策。」

 

AI 算法的效率提升虽然可观,但相对于呈指数增长的新算法参数数量来讲还是显得不够。OpenAI 研究人员提出的「有效计算」概念把算力和算法的提升结合了起来,我们可以直观地看到各领域对于人工智能发展的贡献:


2020051812


目前整体的人工智能计算能力的增长主要来源于近年来硬件投入数万倍的规模扩充,并行计算和芯片制程的提升加起来还是占大头,但考虑到顶级算法提升所带来乘数效应,研究人员得出结论:目前加大对于 AI 算法效率研究的投入将带来巨大的回报,算法效率的演进将大幅推动行业发展,在重要能力方面实现最优训练效率的模型,可以用来规模化,来实现总体计算的最佳性能。

 

OpenAI的研究带给行业巨大的启发的同时,壹沓科技在人工智能系统的研发实践中也深深感受到算法研究的投入将成为企业决胜市场的重要基石,我们将持续专注于相关领域的技术进步,并在数字机器人、知识图谱、大数据挖掘等方向上的深度研发,更好地服务于产业。