北卡罗来纳州立大学的研究人员开发出一种技术，可以在不牺牲准确性的前提下，将深度学习网络的训练时间缩短60%以上，从而加速了人工智能(AI)新应用的发展。
“从自动驾驶汽车到计算机视觉技术，深度学习网络是人工智能应用的核心，”北卡罗来纳大学(NC State)计算机科学教授沈希鹏表示。
“新人工智能工具开发面临的最大挑战之一，是训练深度学习网络识别和响应与其应用相关的数据模式所需的时间和计算能力。”我们提出了一种加速这个过程的方法，我们称之为适应性深度复用。我们已经证明，它可以减少高达69%的训练时间，而不会降低准确性。”
训练深度学习网络需要将数据样本分解成连续的数据点。设想一个网络，用来确定给定图像中是否有行人。这个过程开始于将数字图像分割成相邻的像素块。每个数据块都通过一组计算过滤器运行。然后通过第二组过滤器运行结果。这将持续迭代，直到所有的数据都通过了所有的过滤器，从而允许网络对数据样本得出结论。
当对数据集中的每个数据样本都执行了这个过程时，就称为epoch。为了对深度学习网络进行微调，该网络可能会在数百个世纪中运行相同的数据集。许多数据集由数万到数百万的数据样本组成。对大量数据应用大量过滤器的大量迭代意味着训练一个深度学习网络需要大量的计算能力。
当沈的研究团队意识到数据集中的许多数据块彼此相似时，他们的突破性时刻到来了。例如，一幅图像中的一片蓝天可能与同一幅图像中其他地方的一片蓝天相似，或者与同一数据集中另一幅图像中的一片蓝天相似。
通过识别这些相似的数据块，深度学习网络可以对一个数据块应用过滤器，并将结果应用于同一集合中所有相似的数据块，从而节省大量计算能力。
“我们不仅能够证明这些相似性的存在，而且我们可以在过程的每一步中发现中间结果的相似性，”北卡罗来纳大学博士生、该论文的第一作者林宁说。“我们能够通过应用一种称为局部敏感哈希的方法来最大化这种效率。”
但这又提出了两个问题。每个数据块应该有多大?为了被认为“相似”，数据块需要达到什么阈值?
研究人员发现，最有效的方法是使用一个相对较低的阈值来确定相似性，从相对较大的数据块开始。随后，数据块变小，相似阈值更严格，提高了深度学习网络的准确性。研究人员设计了一种自适应算法，在训练过程中自动实现这些增量变化。
为了评估他们的新技术，研究人员使用三种深度学习网络和数据集对其进行了测试，这些网络和数据集被深度学习研究人员广泛用作测试平台:CifarNet使用Cifar10;使用ImageNet AlexNet;以及使用ImageNet的VGG-19。
自适应深度复用将AlexNet的训练时间缩短了69%;VGG-19的68%;CifarNet的准确率则提高了63%，而这一切都没有造成准确性的损失。
“这表明这项技术极大地缩短了训练时间，”北卡罗来纳大学博士生、这篇论文的合著者关回说。“这也表明，网络越大，适应性越强的深度复用能够减少训练时间——因为AlexNet和VGG-19都比CifarNet大很多。”
沈表示:“我们认为自适应深度复用是一个有价值的工具，我们期待与行业和研究伙伴合作，展示如何利用它来推进人工智能。”
这篇题为“自适应深度复用:加速CNN训练”的论文将于4月8-11日在中国澳门举行的第35届IEEE数据工程国际会议上发表。