前文《打破K/V存储的性能瓶颈》中，我们提到用一个哈希值来反映区块链系统中所有对象的当前状态集合，并称之为“世界状态”。现在大多数区块链底层平台为了支持与其他链集成，或者为了部署在更小的终端，都会提供轻节点的功能，轻节点也就是存储少量数据的“轻量级节点”，但因为没有存储全量数据，无法对其他节点的数据进行正确性的验证。这里便需要其他节点生成一份数据证明，配合轻节点本地保存的“世界状态”来进行数据的验证。
这份数据证明是什么？又是怎么实现的？带着这份疑问，本文将详细介绍目前主流的数据证明的实现以及解决方案和优化思路。
介绍数据证明前，我们先要了解传统的默克尔树，以及对应的证明生成和验证的流程。
默克尔树，因发明人叫Merkle，并且是树形结构而得名。如下图，默克尔树的叶节点存储数据或者数据的哈希值，任一父节点包含了其子节点总和的哈希值。
默克尔树最大的作用便是快速校验部分数据是否在原始数据中。
报告：区块链将对企业产生重大影响:金色财经报道，Ripple近期发布了一份报告，该报告汇集了来自全球各地的思想领袖，展示了区块链技术的全球影响力。此外，该报告强调了能够渗透金融业的重要性，因为其性质更为保守。
报告称，在全球金融机构的调查中，75% 的受访者认为区块链将在未来五年内对业务产生巨大或重大的影响。来自拉丁美洲和亚太地区的领导人带头冲锋，每个地区超过 80% 的受访者表达了这种观点。
此外，鉴于金融业传统上的保守性质以及区块链技术仍然是一项相当新的技术，这是一个了不起的共识。这种热情在很大程度上植根于技术改变我们思考和转移价值的方式的能力，高效、可靠且具有成本效益。[2022/7/3 1:47:12]
举个例子，要想验证L2在上图的这棵树上，只需要节点列表即可，通过L2可以计算出Hash0-1，通过Hash0-1与Hash0-0可以计算出Hash0，再通过Hash0与Hash1，便可以得到一个树根，再把该树根与TopHash进行比对即可快速验证L2是否在树中。默克尔树生成数据证明以及验证数据证明的原理就是如此，生成证明时自底向上，不断获取父节点的兄弟节点，打包成数据证明；验证时通过遍历证明中的节点列表，不断进行哈希得到父节点的操作，最后可以得到树根节点，再把该树根与原树根进行比对，达到验证的目的。
动态 | 江苏省政府工作报告：加强区块链等技术创新与产业应用:1月15日，江苏省长吴政隆在江苏省第十三届人民代表大会第三次会议上作政府工作报告。报告指出，今年经济社会发展任务重、挑战多，必须把握关键、狠抓落实。要着力培育壮大“三新”经济。加强人工智能、大数据、区块链等技术创新与产业应用，培育壮大新一代信息技术等战略性新兴产业，加快5G通信网络和车联网先导区建设，大力发展数字经济，以新产业、新业态、新模式为高质量发展增添新动能。（新华日报）[2020/1/22]
这种基本的默克尔树广泛应用在区块链系统中，例如比特币中轻钱包的SPV便是应用该原理，比特币中区块记录的root便是区块中交易集合构成的默克尔树的树根，使得无需下载完整区块，只需要区块头便可以验证某条交易的有效性。
默克尔树虽然满足了数据证明以及验证的需求，但是其二叉树的结构，会使其在存储庞大的状态数据时，造成中间节点太多，有存储压力大的问题；并且默克尔树在对数据的增删改查方面没有解决方案，我们知道状态数据在执行合约时需要频繁的读写，因此可以对数据进行查询修改也是非常重要的，针对以上几点问题，以太坊提出了默克尔帕特里夏树。
▲?什么是MPT？
MPT主要结合了默克尔树和前缀树的特点，前缀树顾名思义，是一种利用字符串的公共前缀来进行查询的树，如下图所示，用来查询有共同前缀的数据不需要进行字符的比对，十分方便，但缺点也十分明显，如果一个字符串与其他节点没有公共前缀时，便会带来很多节点的创建，造成存储空间的浪费。
现场 | 金色财经合伙人佟扬：2019是回归理性、传统行业入局区块链之年:1月9日，2019首届海南GFIS国际金融科技创新峰会在海南海口盛大召开，会上进行以《媒体的社会责任》为题的圆桌论坛。金色财经合伙人、CoinTime COO佟扬指出：
金色财经最大的优势在于类似门户网站，除了技术类的报道，还有新闻、快讯、深度等方面的报道。2018年区块链行业发展非常迅猛，而
2019年则会回归理性，并且会有传统行业从业者入局。如何能让这些传统金融领域的人快速且正确的认识行业，是金色财经想做的事情。在2019年，我们会持续做金色学院，进行创业培训，结合当下实时的创业热点，为学员提供最前沿的创业建议。我们希望能通过金色财经的窗口，让更多人认识到区块链是链接更多领域的技术。此外，我们也会持续做海外市场，将金色沙龙带到更多国家。[2019/1/9]
基于默克尔树以及前缀树的优缺点，MPT提出了四种节点类型：
1）空节点：用来表示空字符串；
现场 | 百度区块链实验室谭待：区块链是百度发展的重点:金色财经10月18日现场报道，今日海南省人民政府与百度公司战略合作签约仪式在海南生态软件园举办。百度搜索首席架构师兼区块链实验室主任谭待在会上解读了百度区块链整体布局，他表示区块链是百度发展的重点，区块链也是本次百度和海南合作的重点。性能的突破对区块链生态发展至关重要，过低的性能不足以将区块链技术带给主流的用户，目前百度超级链的每秒处理交易数单链为30000TPS，整体网络65000TPS。百度已基于百度BaaS平台在信息共享、智能催熟、资产证券化、危化品物流、医疗数据联盟、区块链游戏等场景开展的探索。[2018/10/18]
2）分支节点：用来表示MPT树中所有拥有超过1个子节点以上的非叶子节点，最多能容纳十六个子节点；
3）叶子节点：表示为的一个键值对，其中key是一种十六进制编码(HP编码)，value是节点具体内容的RLP编码；
4）扩展节点：同样表示为的一个键值对，不过value是其他节点的hash值，这个hash可以被当做key，用来在数据库中查询子节点；
动态 | 本周印度召开全球区块链大会计划成立全球区块链协议联盟:据Newindiaexpress消息，本周五将在印度召开全球区块链大会，届时计划成立全球区块链协议联盟。据悉，该联盟是一个政府间的国际组织，目的在于进一步发展加密货币底层的技术。会议主办方之一的Nucleus Vision的CEO Abhishek Pitti称，印度和中国是该联盟的成员。[2018/7/30]
相比于普通的前缀树以及默克尔树，MPT加入了扩展节点，可以将不共享的前缀压进一个节点，带来路径压缩的特性，降低了树的高度，减少了空间浪费；分支节点的加入，使得单个节点最多能有十六个分叉，同样也是降低了树高；并且通过哈希值进行树节点间的连接，确保了安全性与可验证性。
对MPT上的数据进行增删改查，需要通过前缀索引到对应的节点，叶子节点的改动会带来新的分支节点或者扩展节点的加入，新的节点需要进行哈希计算得出新的哈希值，然后更新父节点的信息，造成索引路径上节点的哈希值的连锁的改动，最后生成一个唯一的“世界状态”。
在MPT上，要想生成数据证明，也需要沿着树进行前缀的索引，并把索引路径上的节点打包成证明返回即可。验证数据证明的时候，需要验证叶子节点中键的正确性，并且对证明中的节点列表进行自底向上的哈希操作，最后比对树根的值即可。
▲?性能瓶颈
上文提到以太坊是以节点的哈希值作为数据库存储节点的键，这些节点的存储与区块号或交易并没有任何绑定关系，并且散落在整个状态空间中的，那么随着交易量的增大，状态变迁带来的新节点也会增多，数据存储压力会越来越大。
由于以太坊底层采取的是leveldb存储，对于每个键值的读取最坏情况下需要一次磁盘IO，那么在执行合约的时候，将会有大量的时间耗费在状态的读取中，久而久之系统整体的性能会越来越差。
当下主流数据库一般分为两种：以LSM树为主的数据库例如leveldb、rocksdb；还有以B+树为主的数据库例如mysql。相同条件下B+树的读要比LSM树更有效率，在联盟链场景下，我们知道大部分应用场景都是读多写少，那么针对联盟链，能不能基于B+树来提出一种既能实现数据证明，又可以兼顾到读写性能的方法呢？答案是肯定的，我们提出了一种默克尔B+树的结构，结合了B+树以及默克尔树的特点，降低了查询所需的磁盘IO以及存储的数据量，在保持高性能的同时，还能提供数据证明、数据可验证的功能。
▲?什么是默克尔B+树？
B+树是一种n叉的平衡查找树，所有键值对都会按键值的大小顺序存放在最后一层叶子节点中，父节点会记录其连接的子节点的最小键值，方便索引。
默克尔B+树以B+树为基础，包含了两种节点：处于最后一层的数据节点、索引节点，该树具有以下的特点：
1）每个节点会有一个ID；
2）索引节点的子节点列表中存放了子节点的最小键以及哈希值；
3）数据节点的子节点列表存放的是状态数据键值对；
4）每个节点的哈希值由它的子节点列表总和的哈希值得出；
如上图，将状态数据以键值对的形式存入数据节点，每个节点最后会以页的形式存放到磁盘中，为了更适应磁盘的读写策略，规定每个页大小为4K，这样就可以通过计算出页ID*页大小的偏移量从磁盘读取某个节点。
同样我们规定每个节点最多容纳4K的数据，如果某个数据节点插入太多键值对，导致其超过了4K的阈值，将会产生分裂，变为多个不超过阈值的新数据节点，并把对应的新节点信息插入到原父节点的子节点列表中，再递归检查父节点即索引节点是否超过阈值，如果超过将会重复分裂过程。
这里我们会提供一个最大页ID以及空闲ID列表来管理页ID，当新建了一个节点时，会先去空闲ID列表查询一下是否存在满足条件的ID，有则取出来分配给新节点，否则会把最大页ID分配给新节点，并递增最大页ID。有分配自然就会有回收，当节点A分裂为节点B和节点C时，节点A的页ID就会被回收，纳入到空闲ID列表中。当发现某个节点变为空节点时，也会被回收页ID。
由于默克尔B+树在每个节点都存储了哈希值，每次对状态数据的增删改查，都会造成底层数据节点的变动，进而影响从数据节点到根节点路径上的节点哈希值，最后生成出唯一的“世界状态”。
在生成数据证明时，同样是沿着树根，通过键的比对向下索引，并把索引路径上的节点打包成证明返回即可。验证数据证明的时候，可以在数据证明中的节点路径进行同样的索引操作，验证索引路径的一致性，并且进行节点哈希值的正确性校验，最后比对树根的值即可。
▲?优化思路
根据上文来看，默克尔B+树确实可以实现较高的读写效率以及可验证性，但是还有很大的优化空间，基于此，我们打算从优化磁盘读的角度提出优化思路。
对于节点限制在4K大小这点，可以有效提高节点分叉数，降低树高，进而降低磁盘IO次数，但是仍然需要log(n)次的磁盘IO，为了最大化降低IO次数，我们把索引节点与数据节点分开存储为索引文件和数据文件。索引节点中可以认为只存放了键，因此索引文件远远小于数据文件，把索引文件通过mmap的形式维护在内存中，这样对底层的数据的读取只需要数据文件的一次磁盘IO即可，大大提升了读效率，在联盟链读多写少的场景下具有较大的优势。
本文是存储系列推文的延续，主要阐述了区块链中数据证明的实现。
首先介绍了对状态数据做数据证明的背景需求，并以以太坊为例，详细介绍其状态数据存储结构MPT，阐述了在MPT上数据证明以及验证的实现，并进一步分析了以太坊的性能瓶颈。
针对联盟链读多写少的场景，本文提出了一种以默克尔B+树为基础的解决方案，解释了在默克尔B+树上的数据证明以及验证的实现，并且为了进一步提高性能，提供了优化思路，通过索引与数据分离的方式来完善可用性。
作者简介
郑柏川趣链科技基础平台部区块链存储研究小组
参考文献
?https://github.com/ethereum/go-ethereum
https://en.wikipedia.org/wiki/Merkle_tree
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。