区块链存储爆炸:问题、分析与优化

背景

DeFi、GameFi等去中心化应用的蓬勃发展,极大地增加了对低交易费用的高性能区块链的需求。然而,构建高性能区块链的一个关键挑战是存储爆炸。下图是取自Etherscan的图表,它说明了一个以太坊全节点的区块链数据大小。

从图中我们可以看出,节点的链数据规模稳步增长,现在已经达到~9TB。由于去中心化区块链的一个目标是允许普通配置的计算机运行节点,因此在普通配置的计算机上强制要求9TB+存储会难以达到。

分解存储开销

如果我们进一步分析存储使用情况,我们可以发现区块数据只占了约300GB的数据,这一数字远小于9TB。那么剩下的8.7TB数据从何而来呢?

实际上,存档节点执行所有块并保留所有历史数据,包括:

区块

状态

交易收据

这其中,状态是这8.7TB的主要组成部分。所以有时,我们将存储爆炸称为“状态爆炸”。但是为什状态会如此之大?

什么是以太坊状态?

以太坊状态是一个MerklePatrica树,其中

美国前总统奥巴马或已开始关注区块链领域:Twitter显示:美国前总统奥巴马关注了Bitcoin Classic联合创始人Carlo,Carlo疑似是奥巴马首个关注的区块链项目创始人,这可能意味着美国前总统奥巴马已经开始关注区块链领域。Bitcoin Classic在Bitcoin区块高度为630,000时从Bitcoin原链分叉诞生,基于Bitcoin的原始功能连续开发并且提升了交易速度,致力于构建一款全球性的点对点电子现金系统。[2021/5/14 22:03:43]

叶子节点是地址(0x...)=>帐户的映射,其中帐户存储与地址关联的余额、nonce等

内部节点维护树结构,以便可以快速计算整个树的哈希根

由于存档节点将保留所有区块的所有历史状态,这意味着MPT中的任何更新都将创建O(log(N))个内部节点,并且不会删除旧的内部节点。

孙宇晨:区块链3.0 时代,房产、债权、股权等资产都会上链:10月27日至28日,火币“无限未来——2020年区块链大航海时代”行业峰会暨火币集团七周年线上峰会正式举行。在峰会“同风而起,区块链应用的发展探索与风险应对”板块主题演讲中,波场创始人孙宇晨表示,区块链与互联网类似,必定存在时代的划分。区块链1.0 时代是数字价值上链,大量通证及以比特币为主的数字资产开始在全球范围上链。第二阶段是货币上链,如今央行的数字货币已经渐渐发行与成型。而3.0 时代,便是传统资产上链时代,届时如房产, 金融资产,债权,股权等都会上链。[2020/10/28]

Geth的全节点

为了解决存档节点状态爆炸的问题,Geth的天才工程师们创建了一种称为“修剪”模式的新模式,该模式仅定期存储MPT。这里我们举一个简化的例子,其中节点只保存每3个区块的MPT。。

通过定期存储MPT,状态的存储大小显著减少。据Etherscan数据,目前Geth全节点的区块链数据大小约为1TB。

声音 | 京东数字科技CEO陈生强:我国亟待用区块链等数字科技能力 提升生产效率:9月26日,京东数字科技CEO陈生强在经济参考报上发表文章《数字经济:两大新机遇与四项新措施》。文章指出,当前,我国数字经济发展迎来新的变化,农业、工业深度数字化转型窗口机遇期已打开,亟待用人工智能、大数据、区块链等数字科技能力,提升生产效率、降低成本,助力实现高质量发展的目标。为此,我国应从体制机制、技术能力、多主体参与等角度持续突破,获得先发优势。[2019/9/26]

Geth的可快速同步的全节点

通过从创世区块开始重放所有交易来运行节点的一个问题是,重放所有交易会占用很长时间。一般来说,建立这样一个节点需要数周时间才能从创世区块赶上网络的最新状态。为了加速节点的启动过程,Geth进一步提供了一种快速同步模式,可以下载最新的稳定区块的MPT,而无需重放和维护区块之前的历史MPT。下载完MPT后,它会像全节点一样重放新区块。

在不存储历史MPT的情况下,一个Geth节点的存储大小可以进一步减少到447G。通过减去300GB的区块数据,我们推断状态大小约为150GB。

问题

动态 | 京东物流利用区块链溯源平台实现牛羊肉一键式全程可溯:据海外网消息,7月19日,在“羊帆起航,京东鲜到——2019年内蒙牛羊肉产地项目推介会”上,京东物流表示,京东冷链充分利用物联网、区块链等技术优势,打造并对接了区块链溯源平台,完整记录牛羊肉产地、生长环境、加工信息、检测报告等诸多信息,实现一键式全程可溯。[2019/7/22]

以目前以太坊447GB的存储大小和15TPS,我们预计具有1TBSSD的普通配置计算机应该能够运行以太坊节点相当长的一段时间。那么存储爆炸或状态爆炸真的存在吗?或许未来几年以太坊并不会,但假如我们可以将以太坊的虚拟机(EVM)扩展到数百或数千TPS呢?

让我们将目光转向另一个基于EVM的链,币安智能链。截至2021年12月8日,BSC已有:

约984GB链上数据,其中区块约占550GB,状态约占400GB。

20.6623亿笔交易,100TPS

如果我们进一步用交易数量来预测数据大小,我们可以得到:

如果TPS为100,即~3,153MTPY

1年后,总TX~5,219M,区块~1.375TB,状态~1.085TB

3年后,总TX~11,525M,区块~3.025TB,状态~2.387TB

如果TPS为150,即~4,730MTPY

1年后,总TX~6,796M,区块~1.809TB,状态~1.427TB

声音 | HelloEOS创始人梓岑:EOS超级节点竞选是区块链史上最牛的一次营销试点:12月31日讯,HelloEOS创始人梓岑近日接受采访时表示,在EOS上赚到了钱,自己是抄到了历史大底的。但对他来说赚钱这件事情特别不重要,因为已经经历过一个牛熊了。希望能够在自己认可的方向上能够走得更远,即DPoS领域。EOS最大的竞品是自己和时间。 他指出,EOS超级节点竞选,是区块链历史上最牛的一次营销试点。针对记者的提问“你还会继续竞选 EOS 超级节点吗?”,他表示,“我们已经all in了,我永远都是这个生态的一份子。”[2018/12/31]

3年后,总TX~16,256M,区块~4.327TB,状态~3.414TB

综上所述,对于BSC来说,如果保持目前的速度甚至更高,则很快就会达到以太坊存档节点相同的存储大小,这是普通计算机几乎无法运行的。

具有极高TPS区块链的存储爆炸问题

如果我们对一个极高TPS的区块链做一个更大胆的假设,这个数字会变成多少?我们来考虑一个具有1000TPS的区块链并分析其区块和状态大小,将是:

假设tx大小约为100字节,每年区块所需的存储量为1000(TPS)*100*365*24*3600=2.86TB

假设MPT有100亿账户,我们预计状态大小将为150G/0.18B*10B=8.3TB

将这些数字放在一起,我们很容易得出一个结论,这是大多数普通配置计算机将无法承受的要求!

优化

为了优化存储成本,我们必须将限制放宽为兼容EVM而不是兼容以太坊。即,我们必须构建/运行另一个支持EVM的链,而不是高度优化的以太坊客户端。

状态存储优化

我们提出的第一个优化是使用普通的KV而不是MPT。当MPT很大时,MPT中的所有内部节点可能非常昂贵。而我们的优化将去掉MPT中的所有内部节点。假设每个账户的数据大约是50字节,我们可以节省下100亿账户的数据为:

~10B*50+100GB=600GB,大约是MPT版本的1/10!

虽然使用普通KV会带来巨大的好处,但一个主要问题是我们无法在如此短的区块间隔内计算每个区块的状态后哈希,这意味着我们将失去以太坊的以下好处:

快速同步:下载任何区块的状态并通过重放剩余的区块来快速同步网络

分叉检测:来自对等方新创建的区块是否会导致与本地执行区块的状态不同。

为了启用快速同步,我们有一个周期性的快照区块。一个快照区块包含前状态哈希这一附加信息,即前一个快照区块的后状态哈希:

非快照区块不维护状态哈希,而是具有增量哈希,其中包含该区块的所有交易事务的原始数据库操作的哈希。这使得分叉检测成为可能!

我们使用交易前状态哈希来代替以太坊中区块的交易后状态哈希。原因是节点不能立即计算状交易后的状态哈希,但是通过使用交易前状态哈希,节点可以使用整个epoch间隔来计算哈希。例如,假设状态哈希计算每秒处理10M的状态数据,那么计算600GB的整个状态将需要600GB/10M~16.67小时

计算状态前哈希的流程如下:

1.当一个快照区块被接收并最终确定时,它的KV状态被快照,并创建一个后台线程来迭代所有KV条目并计算哈希。

2.当下一个快照区块被创建时,计算出的状态前哈希值将存储在该区块中。同样,节点将创建KV的另一个快照并在后台计算其哈希。

3.当下一个快照区块被创建时,节点除了存储状态前哈希之外,节点现在可以释放快照区块的KV快照,这意味着来自快照区块以来所有被删除/更新的数据将被自动垃圾回收

其结果意味着,要存储状态,节点只需要最多两个KV快照。

区块存储优化

使用快照区块,我们可以通过仅存储以下数据来进一步减少节点中所需的区块数据:

最新的快照区块的交易执行前状态快照,即快照区块的交易执行后状态

快照区块之后的完整区块?

我们可以对存储成本进行简单的数学计算:假设epoch持续时间为2周,则区块重放大小为

2*14*24*3600*100*1000=224GB!

而且,这里的数字不会随着时间的推移而增长!

总结

我们分析了以太坊当前的存储使用情况:

不仅是区块,状态存储消耗了很多的空间

当TPS>1000时,存储空间用量高得令人望而却步

我们提出对区块和状态进行优化:

区块大小从每年2.86TB减少到224GB

状态大小从8.3TB减少到600GB

一台2TB的普通配置计算机应该能满足长时间运行节点的条件

缺点:轻节点无法验证状态中的一个数据

致谢

感谢dapp-learning主办此次活动。教学全程视频可点击公众号第二条推送观看。

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

银河链

火币交易所晚间必读5篇 | “元宇宙”争议知多少?

1.金色观察|异构链跨链的通用方案异构链跨链解决方案中以中继链或者是桥为中心,其他区块链都可以加入,通过部署,具备智能合约的链之间可实现了跨链调用合约和资产互转,而无智能合约的链能实现资产互转.

LTC了解了这些 去做个Web3.0的开发者吧

原文标题:《定义web3堆栈》原文作者:NaderDabit原文编译:TheGraph社区成员想在web3上进行构建?NaderDabit在一份介绍性指南中指出了web3技术堆栈的构建模块在「web3上构建」的下一章节中.

[0:31ms0-3:282ms