当与区块链数据集一起使用时，机器学习模型往往会过拟合。什么是过度拟合以及如何解决？
乍一看，使用机器学习来分析区块链数据集的想法听起来非常吸引人，但这是充满挑战的道路。在这些挑战中，当将机器学习方法应用于区块链数据集时，缺少标记数据集仍然是要克服的最大难题。这些局限性导致许多机器学习模型使用非常小的数据样本进行操作，以训练和过度优化那些引起过拟合现象的模型。今天，我想深入探讨区块链分析中的过度拟合挑战，并提出一些解决方案。
过度拟合被认为是现代深度学习应用程序中的最大挑战之一。从概念上讲，当模型生成的假设过于适合特定数据集的假设而无法适应新数据集时，就会发生过度拟合。理解过度拟合的一个有用类比是将其视为模型中的幻觉。本质上，模型从数据集中推断出错误的假设时会产生幻觉/过度拟合。自从机器学习的早期以来，已经有很多关于过拟合的文章，所以我不认为有任何聪明的方法来解释它。对于区块链数据集，过度拟合是缺少标记数据的直接结果。
声音 | 四川国资委党委书记：着力发挥国有资本在区块链等数字经济产业发展中的带动作用:11月19日，四川省国资委组织召开四川蜀兴国有资本运营研究院第一次工作会暨国有资本布局区块链等数字经济产业发展研讨会。会上，省决咨委主任陈光志指出，要强化规划引领，着力发挥国有资本在区块链等数字经济产业发展中的带动作用，着力推进重点领域区块链技术示范应用，形成一批国内有影响力的区块链成长型企业，截至十月底，我省经营范围包含“区块链”的川企有268家，比去年底增长了近50%。而省国资委党委书记、主任徐进强调指出，发展数字经济，是四川省委、省政府构建以“5+1”为重点的现代产业体系的战略部署，但同时，“区块链”川企还存在三个方面问题，一是企业整体在区块链等数字经济领域竞争力不强，二是区块链等数字经济产业发展环境还不够不优化，三是研究区块链等数字经济深度发展的关键问题上存在差距。（封面新闻）[2019/11/19]
区块链是大型的半匿名数据结构，其中的所有事物都使用一组通用的构造表示，例如交易，地址和区块。从这个角度来看，有最少的信息可以证明区块链记录。这是转账还是付款交易？这是个人投资者钱包或交易所冷钱包的地址？这些限定符对于机器学习模型至关重要。
金色相对论 | 刘昌用：巨头企业所进行的区块链实践能够为高校区块链提供非常有价值的实践基础:在今日的金色相对论中，针对“高校区块链教育目前应该涵盖哪些范畴，与巨头企业的联合会带来哪些促进作用”的问题，知密大学发起人，北京大学经济学博士刘昌用表示，区块链是一个综合性的创新，高校教育也应该适应这种综合性，提供多方面的教育内容。在我看来，目前主要需要一下5个方面：一是通识课程。即能够简单通俗地让不同专业的学生大致了解区块链的历史背景、基本特征、基本原理、应用方向和发展现状等等。解决学生的入门需求。二是基础课程。这是为进一步的专业化教育奠定理论基础的课程，重点应该是对应用密码学、点对点网络系统、共识机制等方面的基本原理的深入讲解。三是开发课程。面向区块链应用的开发，让学生能够学习如何针对不同的应用场景和应用逻辑开发相应的区块链系统。四是经济课程。研究和解释区块链的经济原理，区块链系统中的经济关系，各种区块链应用的经济影响，等等。五是法律课程。研究区块链在社会经济各领域的应用带来的法律问题。目前看，这五个方面都是急需的。随着相关实践的深入发展，还会深入到学、社会学、哲学等其他领域，这些可以随着经验和研究力量的积累，慢慢推进。巨头企业所进行的区块链实践能够为高校区块链提供非常有价值的实践基础，防止高校区块链研究和教育脱离现实，过早地走向纯学术。[2019/9/12]
想象一下，我们正在创建一个模型来检测一组区块链中的交换地址。这个过程需要我们使用现有的区块链地址数据集训练模型，我们都知道这不是很常见。如果我们使用来自EtherScan或其他来源的小型数据集，则该模型可能会过度拟合并做出错误的分类。
动态 | 美国政府主要健康信息技术提供商与区块链初创公司Solve.Care达成合作:据Cointelegraph报道，美国政府主要的健康信息技术提供商HMS Technologies Inc. (HMS)与区块链创业公司Solve.Care达成合作。HMS将把Solve.Care的区块链平台整合到其联邦健康信息技术（HIT）计划中，以降低政府医疗成本并提高互操作性和可访问性。[2019/4/23]
使过拟合变得如此具有挑战性的方面之一是很难在不同的深度学习技术中进行概括。卷积神经网络倾向于形成过拟合模式，该模式与观察到的与生成模型不同的递归神经网络不同，该模式可以外推到任何类型的深度学习模型。具有讽刺意味的是，过度拟合的倾向随着深度学习模型的计算能力线性增加。由于深度学习主体几乎可以免费产生复杂的假设，因此过拟合的可能性增加了。
在机器学习模型中，过度拟合是一个持续的挑战，但是在使用区块链数据集时，这几乎是必然的。解决过度拟合的明显答案是使用更大的训练数据集，但这并不总是一种选择。在IntoTheBlock，我们经常遇到过度拟合的挑战，我们依靠一系列基本方法来解决问题。
声音 | 清华大学徐恪：未来区块链会引领新的去中心化世界:据DoNews消息，近日，上海市科委主导的“上海市区块链工程技术中心”成立，清华大学计算机系副主任徐恪教授表示：“区块链还处于一个成长期，很多问题需要解决，很多应用有待挖掘，但是我们确实相信，区块链在未来，会引领一个新的去中心化世界。”[2019/2/20]
对抗区块链数据集过拟合的三种简单策略
对抗过度拟合的第一个规则是认识到这一点。虽然没有防止过度拟合的灵丹妙药，但实践经验表明，一些简单的，几乎是常识的规则可以帮助防止在深度学习应用中出现这种现象。为了防止过度拟合，已经发布了数十种最佳实践，其中包含三个基本概念。
数据/假设比率
当模型产生太多假设而没有相应的数据来验证它们时，通常会发生过度拟合。因此，深度学习应用程序应尝试在测试数据集和应评估的假设之间保持适当的比率。但是，这并不总是一种选择。
声音 | 神州数字总裁：区块链技术已经开始商业化应用化:近日，神州数字总裁萧莹在正和岛的创变者年会表示，有传统企业做金融、物联网、产权确权、版权这几方面的，可以考虑现在介入区块链了，现在时间点刚刚好，区块链技术已经可以开始商业化、应用化。[2018/6/28]
有许多深度学习算法（例如归纳学习）依赖于不断生成新的，有时是更复杂的假设。在这些情况下，有一些统计技术可以帮助估计正确的假设数量，以优化找到接近正确的假设的机会。尽管此方法无法提供确切的答案，但可以帮助在假设数量和数据集组成之间保持统计平衡的比率。哈佛大学教授莱斯利·瓦利安特（Leslie Valiant）在他的《大概是正确的》一书中出色地解释了这一概念。
进行区块链分析时，数据/假设比率非常明显。假设我们正在基于一年的区块链交易构建预测算法。因为我们不确定要测试哪种机器学习模型，所以我们使用了一种神经架构搜索（NAS）方法，该方法针对区块链数据集测试了数百种模型。假设数据集仅包含一年的交易，则NAS方法可能会产生一个完全适合训练数据集的模型。
支持简单假设
防止深度学习模型过度拟合的概念上琐碎但技术上困难的想法是不断生成更简单的假设。当然！简单总是更好，不是吗？但是在深度学习算法的背景下，一个更简单的假设是什么？如果我们需要将其减少到一个定量因素，我会说深度学习假设中的属性数量与它的复杂度成正比。
简单的假设往往比其他具有大量计算和认知属性的假设更易于评估。因此，与复杂模型相比，较简单的模型通常不易过拟合。现在，下一个明显的难题是弄清楚如何在深度学习模型中生成更简单的假设。一种不太明显的技术是基于估计的复杂度将某种形式的惩罚附加到算法上。该机制倾向于倾向于更简单，近似准确的假设，而不是在出现新数据集时可能会崩溃的更复杂（有时甚至更准确）的假设。
为了在区块链分析的背景下解释这个想法，让我们想象一下我们正在建立一个模型，用于对区块链中的支付交易进行分类。该模型使用一个复杂的深度神经网络，该网络会生成1000个特征以执行分类。如果将其应用于较小的区块链（例如Dash或Litecoin），则该模型很可能会过拟合。
偏差/方差余额
偏差和方差是深度学习模型中的两个关键估计量。从概念上讲，偏差是模型的平均预测与我们试图预测的正确值之间的差。具有高偏差的模型很少关注训练数据，从而简化了模型。总是会导致培训和测试数据的错误率很高。或者，方差是指给定数据点的模型预测的可变性或一个告诉我们数据分布的值。具有高方差的模型将大量注意力放在训练数据上，并且没有对以前从未见过的数据进行概括。结果，这样的模型在训练数据上表现很好，但是在测试数据上有很高的错误率。
偏差和方差与过度拟合如何相关？用超简单的术语来说，可以通过减少模型的偏差而不增加其方差来概括泛化的技巧。深度学习的一种良好做法是对它进行建模，以定期将产生的假设与测试数据集进行比较并评估结果。如果假设继续输出相同的错误，则说明我们存在很大的偏差问题，需要调整或替换算法。相反，如果没有明确的错误模式，则问题在于差异，我们需要更多数据。
综上所述
? 任何低复杂度模型-由于高偏差和低方差，容易出现拟合不足。
? 任何高复杂度模型（深度神经网络）-由于低偏差和高方差，容易出现过度拟合。
在区块链分析的背景下，偏差方差摩擦无处不在。让我们回到我们的算法，该算法尝试使用许多区块链因素来预测价格。如果我们使用简单的线性回归方法，则该模型可能不合适。但是，如果我们使用具有少量数据集的超复杂神经网络，则该模型可能会过拟合。
使用机器学习来分析区块链数据是一个新生的空间。结果，大多数模型在机器学习应用程序中都遇到了传统挑战。根本上，由于缺乏标记数据和训练有素的模型，过度拟合是区块链分析中无所不在的挑战之一
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。