原标题：深度学习：神经网络算法的昨天、今天和明天
2016年，围棋人工智能软件AlphaGo打败了韩国围棋名将李世石。2017年，新一代AlphaGo的战斗力升级，又打败了世界排名第一的柯洁。这样的人工智能系统，不再简单地只靠储存能力战胜人类，而是已经在一些具体的领域超越了人类的认知，甚至像是拥有了“思考”的能力，更接近大众对人工智能的想象。人工智能似乎一直是一个遥远的科幻的概念，但事实上，当今世界很多应用已经达到了“人工智能”的标准。除了前文提到的围棋软件，还有自动驾驶系统、智能管家，甚至苹果手机上的语音助手Siri都是一种人工智能。而这些应用背后的核心算法就是深度学习，也是机器学习领域最火热的一个分支。和其他机器学习算法有很大不同，深度学习依赖大量数据的迭代训练，进而发现数据中内在的特征，然后给出结果。这些特征中，有很多已经超越了人为定义的特征的表达能力，因此得以让深度学习在很多任务的表现上大大超越了其他机器学习算法，甚至超越了人类自己。但是，深度学习还没能全方面超越人类。相反，它的工作完全依赖于人类对算法的设计。深度学习从诞生到爆发用了大约五十年。从其发展历程，我们可以窥见计算机科学家们的步步巧思，并从中探讨其可能的发展方向。一、什么是深度学习深度学习就是人工神经网络。神经网络算法得名于其对于动物神经元传递信息方式的模拟，而深度学习这一“俗称”又来自于多层级联的神经元：众多的层让信息的传递实现了“深度”。在动物身上，神经一端连接感受器，另一端连接大脑皮层，中间通过多层神经元传导信号。神经元之间也不是一对一连接，而是有多种连接方式，从而形成了网络结构。这一丰富的结构最终不仅实现了信息的提取，也使动物大脑产生了相应的认知。动物的学习过程则需要外界信息在大脑中的整合。外界信息进入神经系统，进而成为大脑皮层可以接收的信号；信号与脑中的已有信息进行比对，也就在脑中建立了完整的认知。类似地，通过计算机编程，计算机科学家让一层包含参数和权重的函数模拟神经元内部的操作，用非线性运算的叠加模拟神经元之间的连接，最终实现对信息的重新整合，进而输出分类或预测的结果。针对神经网络输出结果与真实结果之间的差异，神经网络会通过梯度逐层调整相应的权重以缩小差异，从而达到深度学习的目的。二、深度学习的雏形其实，模拟动物的神经活动，并非深度学习的专利。早在1957年，FrankRosenblatt就提出了感知机的概念。这是一种只能分出两类结果的单层神经网络。这种模型非常简单，输出结果与输入信息之间几乎就是一个“加权和”的关系。虽然权重会直接根据输出结果与真实值之间的差异自动调整，但是整个系统的学习能力有限，只能用于简单的数据拟合。几乎与此同时，神经科学界出现了重大进展。神经科学家DavidHubel和TorstenWiesel对猫的视觉神经系统的研究证实，视觉特征在大脑皮层的反应是通过不同的细胞达成的。其中，简单细胞感知光照信息，复杂细胞感知运动信息。受此启发，1980年，日本学者福岛邦彦提出了一个网络模型“神经认知机”(图1)用以识别手写数字。这种网络分成多层，每层由一种神经元组成。在网络内部，两种神经元交替出现，分别用以提取图形信息和组合图形信息。这两种神经元到后来演化成了重要的卷积层和提取层。但是这个网络的神经元都是由人工设计而成，其神经元也不会根据结果进行自动调整，因此也就不具有学习能力，只能限制在识别少量简单数字的初级阶段。
江卓尔：去中心化网络硬件能支撑的TPS不够，因此DEX深度不足&滑点损失问题无法避免:江卓尔发微博表示，1、为什么uniswap上的成交量越来越低了？本质上还是去中心化网络硬件能支撑的TPS（每秒交易次数）不够，因此Dex（去中心化交易所）深度不足&滑点损失问题无法避免。
2、世界上最重要的就是守恒定理，损失不可能凭空消失。AMM做市商（流动性挖矿）只是把用户的滑点损失，转化为农民的无常损失，因此又必须给农民发交易所“股权 / 代币 / 分红”，进而形成了一波庞氏资金盘。
3、但当庞氏破灭时，Dex还是不可能解决TPS不足的致命问题，因此Dex只能作为Cex（中心化交易所）的补充，去填补无法在Cex上币的大量代币的长尾市场。
4、在互联网络基础硬件TPS再提升100倍之前，Dex不可能挑战，更不用说取代Cex，这才是真相。
5、但注意把Dex和DeFi（去中心化金融）区分开来。DeFi有前途的赛道，是那些既需要去中心化，又对TPS要求不高的赛道，例如抵押借贷。
你让一个交易员挂单一次付1元主链手续费，撤单一次再付1元，他肯定受不了，但让一个抵押借贷者付1元主链手续费，那是完全可以接受的。并且去中心化可以解决抵押借贷商家跑路的风险，这是绝对的刚需。[2020/10/25]
图1：神经认知机Neocognitron的工作原理图
当学习能力无法被实现的时候，就需要更多的人工设计来替代网络的自主学习。1982年，美国科学家JohnHopfield发明了一种神经网络，在其中加入了诸多限制，让神经网络在变化中保持记忆以便学习。同年，芬兰科学家TeuvoKohonen在无监督算法向量量化神经网络的基础上提出了自组织映射，希望通过缩短输入和输出之间的欧氏距离，从繁杂的网络中学习到正确的关系。1987年，美国科学家StephenGrossberg和GailCarpenter依据自己早先的理论提出了自适应共振理论网络(Adaptiveresonancetheory)，也就是让某个已知信息和未知信息发生“共振”，从而从已知信息推测未知的信息实现“类比学习”。虽然这些网络都加上了“自组织”、“自适应”、“记忆”等关键词，但其学习方式效率不高，而且需要根据应用本身不断地优化设计，再加上网络的记忆容量很小，很难在实际中应用。1986年，计算机科学家DavidRumelhart、GeoffreyHinton和RonaldWilliams发表了反向传播算法，才算阶段性地解决了神经网络学习的难题。通过梯度的链式法则，神经网络的输出结果和真实值之间的差异可以通过梯度反馈到每一层的权重中，也就让每一层函数都类似感知机那样得到了训练。这是GeoffreyHinton第一个里程碑式的工作。如今的他是Google的工程研究员，曾获得计算机领域最高荣誉的图灵奖。他曾在采访中说:“我们并不想构建一个模型来模拟大脑的运行方式。我们会观察大脑，同时会想，既然大脑的工作模式可行，那么如果我们想创造一些其他可行的模型，就应该从大脑中寻找灵感。反向传播算法模拟的正是大脑的反馈机制。之后的1994年，计算机科学家YannLeCun在GeoffreyHinton组内做博士后期间，结合神经认知机和反向传播算法，提出了用于识别手写邮政编码的卷积神经网络LeNet，获得了99%的自动识别率，并且可以处理几乎任意的手写形式。这一算法在当时取得了巨大的成功，并被应用于美国邮政系统中。三、深度学习的爆发尽管如此，深度学习并没有因此而热门。原因之一，就是神经网络需要更新大量参数，需要强大的数据和算力的支持(图2)。而如果想通过降低网络的层数来降低数据量和训练时间，其效果也不如其他的机器学习方法。2006年GeoffreyHinton的另一篇论文首度使用了“深度网络”的名称，为整个神经网络的优化提供了途径。虽然为后面深度学习的炙手可热奠定了基础，但是之所以用“深度网络”而避开之前“神经网络”的名字，就是因为主流研究已经不认可“神经网络”，甚至到了看见相关标题就拒收论文的程度。深度学习的转折发生在2012年。在计算机视觉领域，科学家也逐渐注意到了数据规模的重要性。2010年，斯坦福大学的计算机系副教授李飞飞发布了图像数据库ImageNet，共包含上千万张经过人工标记过的图片，分属于1000个类别，涵盖动物、植物、生活等方方面面。2010—2017年，计算机视觉领域每年都会举行基于这些图片的分类竞赛，ImageNet也因此成为全世界视觉领域机器学习和深度学习算法的试金石。2012年，GeoffreyHinton在多伦多大学的学生，AlexKrizhevsky，在ImageNet的分类竞赛中，通过在两块NVIDIA显卡上编写神经网络算法而获得了冠军，而且其算法的识别率大幅超过第二名。这个网络随后被命名为AlexNet。这是深度学习腾飞的开始。
全国人大代表易炼红：江西将加快区块链等新兴技术深度融合:全国人大代表、江西省省长易炼红表示，近年来江西深入推进产业融合，大力发展“智能+”，实施智能制造“万千百十”工程。下一步，江西将加大政策扶持力度，加快推进产业融合，进一步巩固和扩大智能制造成效。将深化强强联合。持续深化与阿里巴巴、华为等巨头企业务实合作，加快制造业和互联网、大数据、人工智能、区块链等新兴技术深度融合，实体经济与数字经济融合创新，以信息化培育新动能，以新动能推动新发展。（经济日报）[2020/5/27]
图2：AlexNet的网络结构
从AlexNet开始，由ImageNet提供数据支持，由显卡提供算力支持，大量关于神经网络结构的研究逐渐铺开。首先，由于大量软件包的发布，实现深度学习变得越来越容易。其次，在研究领域，从ImageNet分类竞赛和任务为更加复杂的图像分割和描述的COCO竞赛中，又产生了VGGNet、GoogLeNet、ResNet和DenseNet。这些神经网络的层数逐渐增加，从AlexNet的11层到VGGNet的19层，而到ResNet和DenseNet时，深度已经达到了150层乃至200层，达成了名副其实的“深度”学习。这些深度神经网络在一些数据集上关于分类问题的测试，甚至已经超过了人类的识别准确率。如表1所示：
表1：历年ImageNet图片分类比赛优秀网络汇总
自此，计算机科学家们越来越多地利用神经网络算法来解决问题。除了上述在二维图像上的分类、分割、检测等方面的应用，神经网络还被用在时序信号甚至是无监督的机器学习中。循环神经网络可以按照时间顺序接受信号的输入。一方面，它的每层神经元可以压缩并储存记忆；另一方面，它可以从记忆中提取有效的维度进行语音识别和文字理解。而把神经网络用在无监督学习上，就跳出了“提取主成分”或者“提取特征值”的窠臼，简单地用一个包含了多层网络的自编码器，就可以把原始信息自动地实现降维和提取。再结合向量量化网络，可以实现对特征的聚类，进而在没有太多标记数据的情况下得到分类结果。可以说，神经网络无论是效果还是应用范围上，都成为了无可争议的王者。四、深度学习的发展现状和趋势2017年，ImageNet图像分类竞赛宣布完成了最后一届。但这并不意味着深度学习偃旗息鼓，恰恰相反，深度学习的研究和应用脱离了之前以“分类问题”为研究主题的阶段，进入了广泛发展的阶段。同时，与深度学习相关的国际会议投稿量逐年呈指数式地增加，也说明有越来越多的研究者和工程师投身于深度学习算法的研发和应用。笔者认为，深度学习近年来的发展呈现出以下几个趋势。第一，从结构上看，神经网络的类型会变得更加多样。其中，可以执行卷积神经网络逆向过程的生成对抗网络从2016年被提出以来发展迅速，成为了深度学习一个重要的“增长点”。由于深度学习算法可以从原始信息中提取特征，那么其逆过程逻辑上也是可行的，即利用一些杂乱的信号通过特定神经网络来生成相应的图像。于是，计算机科学家IanGoodfellow提出了生成对抗网络。这个网络除了能生成图像的生成器之外，还提供了一个判别器。在训练过程中，生成器趋于学习出一个让计算机难以分辨的、极度逼近真实的生成图片，判别器趋于学习出强大的判定真实图片和生成图片的能力。二者对抗学习，生成图片做得越真实，判别器就会越难分辨；判别器能力越强，也就促使生成器生成新的、更加真实的图片。生成对抗网络在人脸生成和识别、图像分辨率提升、视频帧率提升、图像风格迁移等领域中都有着广泛的应用。第二，研究的问题趋于多样。一方面，一些在机器学习其他分支中的概念，如强化学习、迁移学习，在深度学习中找到了新的位置。另一方面，深度学习本身的研究也从“工程试错”向“理论推导”发展。深度学习一直因其缺少理论基础而饱受诟病，在训练过程中几乎完全依赖数据科学家的经验。为了减少经验对结果的影响，以及减少选择超参数的时间，除了对最初经典网络结构的修改，研究者们也在从根本上修正深度学习的效率。一些研究者在试图联系其他机器学习的方法，用以使深度学习从工程的试错变为有理论指导下的实践。还有一些研究在试图解释深度学习算法的有效性，而不只是把整个网络当做一个黑盒子。与此同时，研究者也在针对超参数建立另一个机器学习的问题，即元学习，以降低选择超参数过程的难度和随机性。第三，随着大量研究成果的新鲜出炉，更多的算法也被应用于产品中。除了一些小规模的公司陆续开发了图像生成小程序，大公司们也在竞相抢占深度学习这一高地。互联网巨头Google、Facebook和Microsoft都先后成立了深度学习的发展中心，中国的互联网公司百度、阿里巴巴、腾讯、京东以及字节跳动等也都各自成立了自己的深度学习研究中心。一些基于深度学习技术的独角兽公司，如DeepMind、商汤、旷视等，也从大量竞争者中脱颖而出。2019年以来，产业界的深度学习研究也渐渐地从关注论文发表转变到了落地的项目。比如腾讯AILab对视频播放进行优化，比如依图制作的肺结节筛查已经在国内的一些医院试点。第四，随着5G技术的逐渐普及，深度学习会跟云计算一起嵌入日常生活。深度学习这项技术一直难以落地的原因是计算资源的匮乏。一台配备显卡的超级计算机的成本可以达到50万人民币，而并不是所有公司都有充足的资金和能够充分使用这些设备的人才。而随着5G技术的普及，以及云技术的加持，公司可以通过租用的方式，低成本地从云中直接获得计算资源。公司可以将数据上传到云端，并且几乎实时地收到云端传回的计算结果。一大批新兴的创业公司正在想办法利用这些基础设施：他们召集了一批计算机科学家和数据科学家，为其他公司提供深度学习算法支持和硬件支持。这使得一些之前跟计算机技术关系不大的行业，不再需要自己定义问题、研发方案，而是通过与算法公司合作便利地享受到计算机技术行业的专业支持，也因此更容易获得深度学习的赋能。五、总结与讨论在五十多年的历程中，深度学习经过了从雏形到成熟、从简单到复杂的发展，在学术界和业界积累了大量理论和技术。现在的发展方向趋向于多元化。这一方面是因为大量产品正处于研发阶段，另一方面计算机科学家也在做一些关于深度学习的更加细致的研究。当然，作为一个综合性的学科，除了以图像识别为核心的发展历程，深度学习在语音分析和自然语言处理上也有其各自的发展过程。同时，多种神经网络、多媒体形态的结合，正在成为研究的热点。比如结合图像和语言处理的自动给图片配字幕就是一个具有挑战的课题。需要指出的是，神经网络的实现并非只有上述这一种方法，一些现阶段没有得到广泛使用的网络结构，比如如自适应共振理论网络、Hopfield网络以及受限玻尔兹曼机也可能在未来提供整个行业的前行动力。可以肯定，虽然现在深度学习还是一个似乎萦绕着高级和神秘光环的存在，但在不久的将来，这件超级武器将会成为大小公司的基本技术。
声音 | 电信甘南分公司：推进区块链等技术与各领域的深度融合:金色财经报道，1月16日，甘南藏族自治州大数据服务中心授(揭)牌仪式暨5G+甘南州大数据服务应用创新建设合作框架协议签订仪式在电信甘南分公司举行。电信甘南分公司将推进5G、云计算、大数据、区块链等新技术与政务、旅游、教育、农牧、精准扶贫、电子商务、数字乡村等各领域的深度融合，全面赋予甘南州文化旅游、政务服务、基础教育、生态畜牧、社会治理、乡村振兴等领域的高质量发展。[2020/1/23]
动态 | 华为（西安）物联网产业创新发展中心项目一期深度融合区块链技术:据西安新闻网报道，在第三届西商大会上，现场签约13个项目。其中包括华为（西安）物联网产业创新发展中心项目一期，华为公司拟在灞桥区建设的物联网产业创新发展中心将依托华为在5G传输、芯片研发、边缘计算等领域的跨代引领优势，通过构建“云+AI+物联网”数字底座、深度融合区块链技术，实现新一代信息技术应用加速突破，撬动整个物联网产业目标。[2019/12/29]
动态 | 区块链深度融入雄安新区建设发展 区块链在雄安新区已有四大应用:中国雄安官网今日发布文章《动图解丨看！区块链在雄安“初显身手”》，目前区块链技术在雄安新趋已有四大应用，分别是：
1、工程项目资金管理，实现工程进度及合同透明管理、资金拨付穿透式管理、多银行系统直联等功能；
2、劳务工资实现穿透式发放，实现了建设者工资透明拨付，如果项目参与方未按约定按时发放建设者工资，区块链智能合约会自动触发代付机制，保障金会自动穿透式拨付至建设者工资卡中，实现建设者无感状态下的智能支付保障。截至今年10月，区块链资金管理平台累计已为11万人次建设者按时发放工资；
3、白洋淀水体污染治理，白洋淀水专项区块链科研资金管理平台实现项目可研经费的全流程穿透式管理；
4、政务服务创新实践，各政府部门建立数据调用互信共认机制；区块链非对称式加密技术、公私钥机制，确保公众及政府部门数据资产安全。[2019/11/17]
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。