化险为夷:以太坊的状态问题

来源|EthereumBlog

作者|?MartinHolstSwende&PeterSzilagyi

MartinHolstSwende及PeterSzilagyi于2021年5月18日发布

本篇博文的目的在于正式揭露以太坊平台在柏林硬分叉之前的一个严重且显而易见的问题。

State状态

我们先从以太坊和及其“状态”的背景开始梳理。

以太坊的状态由patricia-merkletrie组成,一种前缀树。本文不会深入技术细节,简单来说随着状态增长,树的分支会越来越密集。每个加入的账户都是一片新叶子。在树根之间和叶子之间,存在大量的“中间”节点。

为了查找某个特定账户,或是说这颗巨树中的一片“叶子”,从树根再通过中间节点,需要按序解决6-9个哈希才能最终对我们所寻找的数据进行哈希计算。

简而言之,每执行一次查找账户的trie查询,都要执行8-9个解析操作。每次解析操作都是一次数据库查询,而每次数据库查询都可能是任意数量的实际磁盘操作。磁盘操作的数量难以预估,但是由于trie密钥是加密哈希(抗冲突),因此密钥是“随机的”,这对任何数据库来说都是最糟糕的情况。

随着以太坊的发展,一直以来都有必要提高树访问操作的gas费用。2016年10月,在经历了“上海攻击”时间之后,以太坊网络在区块高度?2,463,000?进行了TangerineWhistle?硬分叉,其中包含EIP150,大举提升了某些操作的gas成本,并引入了大量更改以防御DoS攻击。

Coinbase国际政策副总裁:准备在阿布扎比、加拿大进行建设:金色财经报道,香港立法会议员Johnny Ng邀请全球虚拟资产交易运营商,包括加密货币交易所Coinbase来该地区注册。Coinbase发言人回应该推文,Coinbase致力于与美国和非美国辖区内的高杆监管机构合作。

Coinbase的首席执行官Brian Armstrong在4月表示,如果监管部门继续不明确如何对待加密货币,公司将考虑搬出美国,而这正是该公司一直在推动的事情。Coinbase国际政策副总裁Tom Duff-Gordon在接受采访时说,Coinbase现在正在寻求全球扩张。该公司正试图在阿布扎比、加拿大进行建设,并正在等待批准在新加坡注册。此外,虽然国际扩张是一个重点,但Coinbase并不准备放弃美国。[2023/6/13 21:32:42]

另一次对gas费用的提升是在2019年12月的Istanbul?升级中,激活了EIP1884。

EIP-1884针对gas费用引入了以下改动:

?SLOAD?从?200?提升至?800?gas

?BALANCE?从?400?提升至?700?gas(并添加了一个更便宜的?SELFBALANCE)

?EXTCODEHASH?从?400?提升至?700?gas

出现的问题

CZ:基于美元的稳定币将有助于加强美元地位:6月4日消息,币安创始人兼首席执行官CZ在Twitter的“Ask Me Anything”会议上发表他对美国加密货币监管情况的看法。CZ表示,从加密货币的角度来看,他对美国当前监管环境的看法并不乐观,“我认为这方面缺乏明确性,至少在一个案例中,有明显的执法监管案例,我们是其中的接受者。所以,这并不好”。

此外,CZ还指出基于美元的稳定币将有助于加强美元的地位。他认为,随着越来越多的人使用稳定币进行交易,美元将继续成为主要货币,并增加其在全球货币体系中的影响力。[2023/6/5 21:15:17]

2019年3月,MartinSwende当时在进行一些EVM操作码性能的测定。之后的EIP-1884就是基于该调查而成的。在EIP-1884被激活的前几个月,BrokenMetre发布了这篇论文(2019/9)。

两位以太坊安全研究员,HubertRitzdorf和MatthiasEgli,与论文的作者之一DanielPerez将一个漏洞“武器化”,提交给了以太坊的漏洞赏金(bugbounty)项目。这是在2019年10月4日。

建议大家阅读这份他们提交的完整文档,写得很详尽。

同日,在一个专门用于讨论跨客户端安全性的频道中,来自Geth、Parity和Aleth的开发者都得知了这份文档。

SBF将提出修改后的保释方案,以满足法官对其软禁期间使用技术的不满:金色财经报道,SBF 将提出一个修订的保释方案,旨在满足法官对其被软禁期间使用技术的不满。SBF 以 2.5 亿美元保释金获得自由后被限制在父母的房子中,脚踝上带有监控装置,但因使用加密的短信应用程序与虚拟私人网络(VPN)而激怒美国地区法官 Lewis Kaplan。Kaplan 表示,如果 SBF 对这些限制不满,他将在 10 月的审判前撤销保释方案并将他送进监狱。

SBF 律师 Christian R. Everdell 在给联邦检察官的一封信中写道,SBF 与联邦检察官一直在努力就一系列具体的保释条件达成一致,以解决政府与法院表达的担忧,我们相信我们已接近达成一项决议,并预计能够在下周之前向法院提交一份概述这些条件的拟议命令。[2023/3/18 13:12:08]

这个漏洞的本质在于触发随机的trie查询。以下是一个简单的示例:

在其报告中,研究员们通过?eth_call?对同步了主网的节点执行了这个payload,以下是他们执行过程中的数据,耗费了一千万gas:

??消耗一千万gas的?EXTCODEHASH?(400gas)

Parity:?~90s

Geth:?~70s

??消耗一千万gas的?EXTCODEHASH?(700gas)

48%的以太坊区块面临来自符合OFAC的Flashbot的审查:金色财经报道,近期,Flashbots一直存在争议,因为人们认为该技术威胁到以太坊的抗审查性。这是因为Flashbots占符合政府强制规定的区块的48%。虽然以太坊因满足环保主义者的要求而受到称赞,但批评者认为,区块链网络通过增加验证者的集中化以及所谓的“更环保”区块链审查的可能性增加来进行权衡。合并后的第二天,当以太坊从工作量证明 (PoW) 网络过渡到权益证明 (PoS) 区块链时,PoW 支持者批评以太坊增加了验证者审查的可能性。数据显示,超过 59% 的质押以太坊 (?ETH?) 由四家公司持有。[2022/10/16 14:29:09]

Parity:?~50s

Geth:?~38s

显而易见,EIP-1884的更改确实在降低该攻击的影响上起到了帮助,但还远远不够。

当时已经临近在大阪的开发者大会。在开发者大会上,这个问题的信息分享给了主网的客户端开发者。我们也和Hubert、Mathias以及GregMarkou(来自Chainsafe,当时也在进行一些ETC的工作)见面了。ETC的开发者也收到了这份报告。

随着2019年临近尾声,我们知道这个问题比之前预期的要严重,恶意交易可能将区块时间提升到分钟范围。更糟的是,开发者社区对EIP-1884感到不满,因为EIP-1884破坏了一些合约流程,而且用户和矿工都非常希望提高区块的gaslimit。

加密货币教父David Chaum:xx network是Web3隐私龙头:据官方消息,近日,加密货币教父David Chaum表示,xx network是Web3隐私龙头,xx network由加密货币教父、密码学家David Chaum创立,其去中心化隐私通信工具xx messenger(xx信使)全球下载量已突破40万+。该应用可在苹果AppStore和安卓商店下载,具有群组聊天和照片、音频等分享功能。

据官方介绍,xx network由分布式网络节点组进行信息传输,最大限度地保护用户信息和隐私安全。xx messenger是首个真正保护发送方和接收方之间通信的dApp,支持端对端加密,元数据不会被第三方收集和破坏。

xx network提供了一个受保护的数字世界,用户可以通过它以安全和隐私的方式分享想法和交换价值。[2022/8/2 2:52:34]

此外,仅两个月后的2019年12月,ParityEthereum宣布停止运维,而OpenEthereum接管了代码库的维护工作。

随后搭建了一个新的客户端协调频道,Geth、Nethermind、OpenEthereum和Besu的开发者在此继续进行协作。

解决方案

我们意识到要解决这个问题,必须要双管齐下。一种方法是通过以太坊协议以某种方式在协议层解决该问题。最好不要破坏合约,并且避免波及“良好”行为,但仍要设法防止攻击。

第二种方式是通过软件工程来解决,修改客户端中的数据模型和结构。

协议层的工作

关于如何处理这些类型的攻击的第一个版本在这里。2020年2月,正式发布为EIP2583。其理念是,每当一次Trie查找导致未命中时,施加一次罚款。

但是,Peter找到了应对方法,即“shieldedrelay”攻击,可以有效地限制这种惩罚的上限(约为800)。

对未命中查询进行惩罚的问题在于,首先需要进行查找,以确定是否施加惩罚。但是如果剩余的gas不足以支付罚款,已执行了未付费的消耗。即使确实会导致抛出异常,也可以将这些状态读取包装到嵌套调用中,允许外部呼叫者继续重复攻击而无需支付(全部)罚款。

因为这个原因,这个EIP被放弃了,我们也在寻找更好的替代方案。

??AlexeyAkhunov提出了?Oil?的概念,gas的第二来源,但和?gas?在本质上不一样,因为它对执行层不可见,并可能导致事务全局回滚。

??Martin在2020年5月也撰写了一个类似的提案(GasAndKarma)

在对这些不同机制进行迭代的同时,VitalikButerin提议直接提高gas成本,并且保留访问列表。2020年8月,Martin和Vitalik开始完善EIP-2929及配套的EIP-2930。

EIP-2929有效地解决了许多之前的问题。

??与无条件提升gas成本的EIP-1884相比,EIP-2929只提升了未访问部分的gas成本。这导致净成本提升了不足一个百分点。

??加上EIP-2930,不会对任何合约流程造成破坏

??并且能够在不造成破坏的前提下进一步调整gas成本

2021年4月15日,这两个EIP都在?Berlin?升级中被激活了。

开发工作

Peter在2019年10月提出的解决方案是“动态状态快照”(dynamicstatesnapshots)。

快照是用于以平面格式存储以太坊状态的辅助数据结构,在Geth节点的实时操作期间,可以完全在线构建。快照的好处在于充当状态访问的加速结构:

??无需通过?O(logN)?次磁盘读取(x?LevelDB开销)来访问一个账户或存储插槽,快照可以提供直接的?O(1)访问时间(x?LevelDB开销)。

??快照支持每项条目以?O(1)?复杂度迭代账户和存储,这使远程节点能够以比以前便宜得多的方式检索顺序状态数据。

??快照还启用了更多奇特的用例,例如离线修剪状态Trie或迁移到其他数据格式。

快照的缺点在于原始帐户和存储数据实际上是重复的。对于主网来说这意味着将占用额外的?25GB?SSD空间。

动态快照的概念从2019年中就已经发轫,起初的目的主要是推动快照同步的实现。当时Geth团队在忙于许多“大项目”。

??离线状态修剪

??动态快照快照同步

??通过分片化状态实现LES(LightEthereumSubprotocol)状态分发

然而,最终决定将快照的优先级排到最前,将其他项目暂时搁置。这为后来的?snap/1?同步算法奠定了基础,并于2020年3月合并。

随着“动态快照”功能的发布,我们有了一些喘息的空间。如果以太坊网络受到攻击,那将是痛苦的,是的,但是至少有可能通知用户启用快照。完整生成快照将花费大量时间,并且当时尚无法同步快照,但是网络至少可以继续运行。

总结

2021年的三月到四月,snap/1?协议在geth客户端中实现了,使得通过新的基于快照的算法进行同步成为可能。虽然仍不是默认的同步模式,但这是很重要的一个步骤,使快照不仅可用作攻击防护措施,并且对于用户来说也是一项重要优化。

在协议方面,柏林升级于2021年4月完成。

以下是在我们的AWS监控环境中制定的一些基准:

??柏林升级之前,无快照,25M?gas:?14.3s

??柏林升级之前,有快照,25M?gas:?1.5s

??柏林升级之后,无快照,25M?gas:?~3.1s

??柏林升级之后,有快照,25M?gas:?~0.3s

大致的数据显示柏林升级能够将攻击的效率降低?5?倍,快照能够将其降低?10?倍,总计将影响降低了?50?倍。

我们估计目前在主网(15Mgas),对于未使用快照的?geth?节点来说,有可能创建执行时间在?2.5-3?秒的区块。对于非快照节点来说,随着状态增长这个数字会持续恶化。

如果通过gas退还来增加区块内的有效gas使用量,则可能会进一步加剧为(最大)2倍。随着EIP1559的实施,区块的gaslimit的弹性会更大,并且在临时爆发中会再增加2倍。

至于实施这种攻击的可行性,攻击者购买一整个区块的成本约为几个ETH(100Gwei?时?15M?gas为1.5?ETH)。

为什么现在公布?

这个风险其实一直以来都是一个“公开的秘密”,已经不止一次被意外公开披露,并且在核心开发者会议中多次被提及,但并未涉及细节。

现在既然已经实施了柏林升级,geth的节点也在默认情况下使用快照同步,因此我们估计现在的威胁性已经非常低了,现在是时候对幕后工作进行全面公开了。

重要的是,让社区有机会了解一些变更背后的原因,而这些变更会对用户体验造成负面影响,例如gas成本增加和限制gas返还。

本文由MartinHolstSwende和PeterSzilagyi在2021-04-23写就。并于2021-04-26与基于以太坊的项目进行分享,2021-05-18公开发布。

原文链接:https://blog.ethereum.org/2021/05/18/eth_state_problems/

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

银河链

XMR彩盒大作战

活动时间:5月18日11:00-5月27日23:59 参与方式: PC端:登录火币合约官网https://futures.huobi.pe,点击首页的Banner图进活动页面参加;APP端:登录火币APP.

比特币交易所院长说币行情分析(5/20)

今天简单写一下,最近风声紧,只能猥琐了~今天早上写了一段我对昨天下跌的认识,这里再补充一下,关于下跌原因我不讨论,但下跌的本能动因是什么不知道大家是否了解,而这才是影响盘面的真正的原因.

[0:0ms0-1:416ms