Tech at Klaytn技术系列:确认产生Cache问题的原因

KlaytnStateTrieCacheSeries#1:?确认产生Cache问题的原因

Klaytn为了提高区块链平台的性能,做了许多方面的努力。我们将通过下列文章介绍statetriecache性能改善过程。

??确认Cache问题的原因

??寻找最佳的Cache

??计算Statetriecachemiss

??进行?CacheSizeTuning

本篇将介绍进行Klaytn有关测试时出现的问题以及这些问题的来源-Go语言GC(GarbageCollector)。在进行Klaytn有关测试时,出现了下列问题。

<imgalt=""class="tuvhyaj"?src="https://miro.medium.com/max/964/0*KSFKadBeRExUlkA6"width="482"height="321"srcSet="https://miro.medium.com/max/552/0*KSFKadBeRExUlkA6276w,https://miro.medium.com/max/964/0*KSFKadBeRExUlkA6482w"sizes="482px"/>

Okcoin与Paradigm宣布资助比特币核心维护者Marco Falke:1月19日消息,加密货币交易所Okcoin与投资机构Paradigm宣布,向比特币核心维护者Marco Falke提供新资助。“作为比特币核心维护者,他审查了贡献者对网络代码的提议,目前有400多名活跃贡献者。Okcoin和Paradigm的资助为Falke提供可维持生计的收入,同时他每周投入40多个小时用于比特币核心开发——鉴于比特币的去中心化结构,这是一份没有薪水的工作。”

Okcoin此前在2020年和2021年为Marco Falke提供资助。Okcoin还曾为Lightning开发者Antoine Riard提供资金支持,以支持第二层网络的隐私技术。截至目前,Okcoin累计提供150万美元的资助以支持比特币开发工作。(Bitcoin Magazine)[2023/1/19 11:20:54]

利用Prometheus提供的API测试内存使用量

在Klaytnbinary中,以3500TPS处理transaction时,大约需要用到100G的内存。我们为了确认具体是哪里在消耗大量内存,利用Go语言所提供的内存分析工具,进行了确认。

??gotoolpprofcn-mem0.prof

File:kcn

BuildID:7b45b11c163a99518095ffb64083e4aa61fd321f

Type:inuse_space

Time:Mar26,2020at8:56am(KST)

Enteringinteractivemode(type"help"forcommands,"o"foroptions)

Binance支持阿塞拜疆制定加密法规:金色财经报道,加密货币交易所Binance已提出支持阿塞拜疆努力制定数字资产法规。Binance今年一直活跃在该地区,寻求扩大市场影响力并增加与阿塞拜疆当局的互动。Binance准备向阿塞拜疆中央银行(CBA)提供支持,以制定加密监管机制。(news.bitcoin)[2022/12/19 21:52:49]

(pprof)top

Showingnodesaccountingfor41.91GB,96.33%of43.50GBtotal

Dropped382nodes(cum<=0.22GB)

Showingtop10nodesoutof77

?flatflat%sum%cumcum%

?30GB68.97%68.97%30GB68.97%github.com/allegro/bigcache/queue.NewBytesQueue

?5.65GB12.98%81.95%5.65GB12.99%github.com/allegro/bigcache.(*cacheShard).set

?1.53GB3.52%85.47%1.53GB3.52%reflect.New

?1.25GB2.87%88.35%2.60GB5.97%github.com/klaytn/klaytn/ser/rlp.decodeBigInt

通过内存分析工具,我们可以看到每个部分所消耗的内存。在上述结果中,可以通过?Showingnodesaccountingfor41.91GB,96.33%of43.50GBtotal看到kcnbinary占了43.5GB,还可以看到其中的96.33%,即41.91GB具体用在哪里。不仅如此,通过30GB68.97%github.com/allegro/bigcache/queue.NewBytesQueue,可以看到有30GB(68.97%)用于bigcache上。

Safe资管规模继FTX事件后净增长超9亿美元:11月17日,据Dune数据显示,自FTX相关事件发酵的近十天内,数字资产管理平台Safe(原Gnosis Safe)资产管理规模(AUM)流入27.334亿美元,流出18.192美元,净流入9.142亿美元。

注:资产管理规模(AUM)是指衡量金融机构资产管理业务规模的指标,是该机构当前管理客户资产的总市值。AUM的增长一是来自于老客户投入资金的增长及新客户的开拓,二是资产市值的增长。[2022/11/17 13:16:13]

??

这两个测试结果中,我们发现了问题。根据Prometheus所提供的内存使用library,kcn大约占了100GB,但内存分析结果(43.50GBtotal)表明,kcnbinary只占了?43.5GB。我们无法确认其余56.5GB(=100GB-43.5GB)的内存去了哪里。?

于是我们猜测应该是Bigcache占据了大部分内存。为了确认Bigcache是否占据了内存,我们在相同环境的2台服务器上设置了不同的cachesize进行测试,设置分别为30GB和0GB。2台服务器的top和内存分析结果如下。

(Top命令结果是GiB,Prometheus所提供的library的结果是GB,两者为相同的量)

Cypresssynctest

AWSInstance:m5.8xlarge

memorysize:128G

cachesize:30G,0G

继大裁员之后Meta或进一步调整资本支出:11月8日消息,继Meta Platforms(META.O)大规模裁员消息传出之后,Meta或将调整资本支出作为下一步的目标。据《巴伦周刊》消息,尽管Meta方面并没有对裁员和资本支出的进行直接点评,但是Meta首席战略官Dave Wehner称,资本支出的控制将形成竞争优势。[2022/11/8 12:33:07]

<imgalt=""class="tuvhyaj"src="https://miro.medium.com/max/1484/1*BUBXxboSlBArnNSfLo4KDw.png"width="742"height="366"srcSet="https://miro.medium.com/max/552/1*BUBXxboSlBArnNSfLo4KDw.png276w,https://miro.medium.com/max/1000/1*BUBXxboSlBArnNSfLo4KDw.png500w"sizes="500px"/>

<imgalt=""class="tuvhyaj"src="https://miro.medium.com/max/1484/1*KydRE8pnP0G5-3s5h9KVSw.png"width="742"height="366"srcSet="https://miro.medium.com/max/552/1*KydRE8pnP0G5-3s5h9KVSw.png276w,https://miro.medium.com/max/1000/1*KydRE8pnP0G5-3s5h9KVSw.png500w"sizes="500px"/>

矿企CleanSpark以2800万美元的价格购买1万台新矿机:金色财经报道,比特币矿工CleanSpark购买了10000台新矿机,在6月至8月期间购买了6200台新矿机。由于当前的市场状况,该公司能够以折扣价购买机器。[2022/9/7 13:14:39]

top命令结果(左:cache30G;右:cache0GB)

<imgalt=""class="tuvhyaj"src="https://miro.medium.com/max/2156/1*pKdGJgwuIBTPgAjBH_JLNQ.png"width="1078"height="564"srcSet="https://miro.medium.com/max/552/1*pKdGJgwuIBTPgAjBH_JLNQ.png276w,https://miro.medium.com/max/1000/1*pKdGJgwuIBTPgAjBH_JLNQ.png500w"sizes="500px"/>

<imgalt=""class="tuvhyaj"src="https://miro.medium.com/max/2156/1*0VudYV4vE8HnwT0bXF6CiQ.png"width="1078"height="564"srcSet="https://miro.medium.com/max/552/1*0VudYV4vE8HnwT0bXF6CiQ.png276w,https://miro.medium.com/max/1000/1*0VudYV4vE8HnwT0bXF6CiQ.png500w"sizes="500px"/>

GoMemoryProfiling结果(左:cache30G;右:cache0GB)

我们可以看到,被分配Bigcache的服务器其Top和内存分析结果中内存使用量分别为70GB和35GB,有35GB的内存追踪不到。而没有分配Bigcache的服务器其Top和内存分析结果中内存使用量分别为5GB和2GB,有3GB的内存追踪不到。?

通过以上测试,我们可以推断,若使用Bigcache,会占用大于分配额的内存。而就算不使用Bigcache,也会出现3GB左右的遗漏。当然,GC(GarbageCollector)的运作,可能令不管使用什么样的Go程序都有机会出现内存分析结果和实际使用量的误差。

而且,我们通过这篇文章可以得知,长时间占据大量的heap内存,并在分配时使用pointer的话,会消耗非常大的内存。

<imgalt=""class="tuvhyaj"src="https://miro.medium.com/max/3200/0*E7gDbvMeS8E_YPgO"width="1600"height="572"srcSet="https://miro.medium.com/max/552/0*E7gDbvMeS8E_YPgO276w,https://miro.medium.com/max/1104/0*E7gDbvMeS8E_YPgO552w,https://miro.medium.com/max/1280/0*E7gDbvMeS8E_YPgO640w,https://miro.medium.com/max/1400/0*E7gDbvMeS8E_YPgO700w"sizes="700px"/>

GC(GarbageCollector)可寻找程序动态分配的内存中不再运作的部分,收回该部分的内存并分配给其他区域。为此,Go语言的GC(GarbageCollector)会对没有运作的区域进行确认,看是否被分配了内存。这时,用于确认的标志就是pointer,如果某个区域有很多pointer或占据了大量内存,GC在搜查过程中会消耗较大内存。

话句话说,在运行GC(GarbageCollector)之前,内存使用量为44GB,一旦开始运行,内存使用量就会增加100GB。再加上进行内存分析的时间刚好在GC完成运转后,所以只看到了运转前的内存使用量,即44GB。由于Klaytn分配的Bigcache量很大,所以GC一直在消耗更多的内存。

这类情况会导致系统突然出现内存不足的情况。因为Klaytn需要长时间运转,必须避免由于占用过多内存导致系统突然崩溃的情况。在下一篇文章内,我们将会介绍解决该内存遗漏问题的过程。

关于Klaytn

项目名称:Klaytn

英文缩写:KLAY

官方网站:https://www.klaytn.com/??

项目简介:Klaytn是以服务为中心的企业级分布式信任区块链平台,通过高效的“混合”设计,结合了公有链和私有链的最优功能。Klaytn与全球众多知名品牌的参与合作,通过共同的不懈努力,创建可靠的去中心化业务平台。Klaytn治理委员会是一个由跨国企业和组织组成的联盟,负责运营共识节点网络,推动生态系统发展。Kakao的区块链开发部门「GroundX」已正式推出Klaytn,并可用于商业用途。

来源:金色财经

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

银河链

比特币价格今日行情1/18夜间ETH走势分析

趋势的形成不是凭想象,利润的积累不是靠运气,行情实时变化策略实时追踪《切记:策略仅供参考?操作严格带好止盈止损?了解更多操作思路关注qkfx666》DeFi初创公司Blue完成320万美元融资:1月18日消息.

Gate交易所没有老板也没有CEO的分布式自治组织是什么?

2009年,比特币腾空出世,随后人们发现了它强大的底层技术:区块链。在中心化环境下,比特币的崛起和区块链技术的兴起,去中心化成为了一个极具吸引力的协作方式,因此,很多人为了这个理想的协作方式在奋斗着.

[0:0ms0-1:274ms