当前位置:

OFweek电子工程网

开发工具/算法

正文

CPU并非最佳选择 深度学习硬件谁更合适?

导读: 在数据训练阶段,大量的标记或者未标记的数据被输入深度神经网络中进行监督或者无监督的学习。所谓监督学习,就是输出是有标记的学习,让模型通过训练,迭代收敛到目标值;而非监督学习不需要人为输入标签,模型通过学习发现数据的结构特征。

OFweek电子工程网讯 去年3月的那场人机大战,不仅让谷歌的人工智能“AlphaGo”一炮走红,也让它背后的深度学习(Deep Learning)这个概念为公众所熟知。回顾人工智能的发展史,我们发现深度学习并不是一个新兴的概念,早在80年代末期,Geoffrey Hinton和Yann LeCun等学者就提出深度学习的方法并且解决了手写体数字的识别问题。但是遗憾的是,进入90年代后,一方面受限于对于此套理论的认识不完全和当时硬件低下的计算能力,再者业界纷纷开始追逐摩尔定律所带来的红利,深度学习的风潮随之沉寂下去。

CPU并非最佳选择 深度学习硬件谁更合适?

然而,伴随着摩尔定律带来的芯片计算能力和存储能力大幅提升和大数据时代的来临,一个“深度学习+大数据”的模型组合将人工智的研究能推向了一个新的高潮。诚然,深度学习的核心驱动力是算法:利用算法/函数去模仿和逼近人脑思维方式。而这些算法/模型最终还是要依赖高性能的硬件来实现对于数据的处理。说起关于计算机数据处理的硬件。毫无疑问CPU是第一个被大家联想到的。 但是在深度学习的世界里,CPU并不是一个最佳的选择。好马配好鞍,今天,我们就来聊一聊深度学习中的硬件。

CPU并非最佳选择 深度学习硬件谁更合适?

一、深度学习对硬件的需求

一般来说,深度学习包含两个阶段:数据训练和推断。

在数据训练阶段,大量的标记或者未标记的数据被输入深度神经网络中进行监督或者无监督的学习。所谓监督学习,就是输出是有标记的学习,让模型通过训练,迭代收敛到目标值;而非监督学习不需要人为输入标签,模型通过学习发现数据的结构特征。从而使机器能够在大数据中提取更多的特征值。在最近的《最强大脑》中,百度的机器人“小度”展示了强大的识别能力,据百度首席科学家吴恩达透露,在声纹识别任务中“小度”所使用的神经网络是在大约 5000 多小时的音频数据基础上训练出来的。这亿万级的参数、千亿的样本和千亿特征训练使得神经网络对于语音识别变得相当准确。

CPU并非最佳选择 深度学习硬件谁更合适?

随着深度神经网络模型层数的增多,与之相对应的权重参数成倍的增长,从而对硬件的计算能力有着越来越高的需求,尤其是在数据训练的阶段。因此,深度学习训练领域的前沿逐渐从算法转移到了对于高性能计算(HPC)的追逐上。目前被业内广泛接受的是“CPU+GPU”的异构模式和“MIC (Many Integrated Core)”众核同构来实现高性能计算。

CPU并非最佳选择 深度学习硬件谁更合适?

CPU并非最佳选择 深度学习硬件谁更合适?

推断阶段就是利用训练中所获得的特征值去对新的输入数据进行判断或者预测。从应用上来说,推断可以分为两大类:线上数据中心的推断和移动设备中的推断。

相较于训练阶段执着于对高性能计算的需求,线上数据中心的推断不仅要求硬件有着高性能计算,更重要的是对于多指令数据的处理能力。就比如“Bing”搜索引擎同时要对数以万计的图片搜索要求进行识别推断从而给出搜索结果。目前而言,“CPU+GPU”的异构模式依旧是第一选择,但是“CPU+FPGA”异构计算已经显示出他在这方面的潜力。

而移动设备中的推断更强调在高性能计算和低功耗中寻找一个平衡点。在这个领域的深度学习的执行还是更多的依赖于“CPU+FPGA”与“ASIC”。

CPU并非最佳选择 深度学习硬件谁更合适?

1  2  3  4  下一页>  
责任编辑:Trista
免责声明: 本文仅代表作者个人观点,与 OFweek电子工程网 无关。其原创性以及文中陈述文字和内容未经本站证实, 对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅 作参考,并请自行核实相关内容。

我来说两句

(共0条评论,0人参与)

请输入评论

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码: