階段式同步(staged sync)重構自 Go-Ethereum 的完全同步模式(full sync),以實現更好的性能。
階段式同步需要進行大量讀寫操作。雖然我們的目標是能夠在機械硬盤上同步節點,但是我們仍建議使用固態硬盤。
顧名思義,階段式同步需要依次執行 10 個階段。
Turbo-Geth 客戶端會向每個對等節點了解該節點的 HEAD 區塊(即最新區塊),然后依次執行每個階段、尋找本地 HEAD 區塊和對等節點的 HEAD 區塊之間缺失的區塊。
第一個階段(下載區塊頭)會設置本地 HEAD 區塊。
各階段會按順序執行。在每個階段執行期間,只有節點本地的狀態達到目標狀態,該階段才會結束。
也就是說,在理想情況下(沒有出現網絡中斷、應用沒有重啟等問題),每個階段只需執行一次,即可完成初始同步。
最后一階段結束后,整個同步流程會重新開始,尋找新的區塊頭下載。
以太坊L2網絡Optimism總鎖倉量為6.61億美元:金色財經消息,L2BEAT數據顯示,截至4月30日,以太坊Layer2Optimism總鎖倉量為6.61億美元,7天增長1.22%。此前報道,4月27日,Optimism將發行代幣OP并公布代幣經濟學,19%的初始供應量用于空投。[2022/5/1 2:43:01]
如果你在兩個階段之間重啟應用,應用會從第一階段開始重啟。
如果你在某個階段執行期間重啟應用,應用會從當前階段開始重啟,以完成該階段。
通過下方的餅狀圖,我們可以看出每個階段的耗時占比(這些都是從完全同步中得出的數據)。雖然這些數據并不精確,但是足以作為參考。
如果區塊鏈發生重組,我們需要“回退”部分同步數據。
回退指的是從最后一個階段倒退回第一個階段。但是,需要注意的一點是,我們執行完回退之后才會更新交易池,因此我們知道新的 nonce 。
以太坊2.0客戶端Lighthouse產生其第一筆Eth1和Eth2合并交易:官方消息,以太坊2.0客戶端Lighthouse開發團隊Sigma?Prime表示,Lighthouse產生了該客戶端第一筆Eth1和Eth2合并交易,且此次ETH交易僅使用了PoS驗證節點,以太坊邁向能耗下降99.98%的一步。Sigma?Prime補充表示,這并不意味著我們已經準備好進行生產。這是一個原型,仍然有很多問題需要解答和許多工作要做。但這是Eth1和Eth2開發人員正在積極合作進行合并的信號。[2021/3/25 19:17:02]
回退的階段順序如下例所示(從右往左依次發生)。
state.unwindOrder = []*Stage{
// Unwinding of tx pool (reinjecting transactions into the pool needs to happen after unwinding execution)
以太坊DeFi借貸協議24小時清算量超3500萬美元 創近三個月新高:據DeBank數據顯示,近24小時以太坊上借貸協議的清算量達到3512萬美元,創去年11月以來新高,其中Compound上的清算量達到1852萬美元,排名首位,當前以太坊上借貸協議總借款額為97.63億美元[2021/2/23 17:43:58]
stages, stages, stages, stages, stages, stages, stages, stages, stages, stages,
}
通過 ETL 進行預處理
在將數據插入數據庫之前,一些階段會使用我們的 ETL 框架根據鍵值對數據進行排序。
這樣就可以極大減少數據庫寫入放大(write amplification)的情況。
因此,當我們生成索引或者說哈希值化狀態(Hashed State)時,我們會執行一個多步驟流程。
火幣礦池CEO曹飛:會針對以太坊轉POS做若干動作:火幣礦池CEO曹飛今日在媒體直播時表示,以太坊轉POS之后對行業影響比較大。以太坊未來也會鼓勵有節點加入,包括讓更多持幣人參與,這也符合Staking挖礦的特點。火幣礦池從第二季度開始,會做一些以太坊轉POS的相關活動,也可能會根據以太坊的特點,開發一些工具,讓更多用戶參與進來。[2020/3/5]
將處理過的數據寫入位于數據目錄的幾個臨時文件中;
然后使用一個堆棧(heap)把臨時文件中的數據插入到數據庫中,并且使按照能夠最小化數據庫寫入放大現象的順序插入數據。
這種優化有時會將寫入速度提高幾個數量級。
每個階段都包含兩個函數,分別是向前推進階段的ExecFunc 和向后回退階段的 UnwindFunc。
從理論上來說,部分階段可以離線工作,但是當前版本并未實現這一功能。
階段 1 :下載區塊頭
動態 | 以太坊Dapp每日用戶基數增長了118% 交易額增長了166%:近日Dapp市場數據和分發平臺DappRadar發布2019年度Dapp行業報告,其中主要提到以太坊仍然是最重要的智能合約平臺。在2019年間以太坊Dapp生態中的每日用戶基數增長了118%,每日交易額增長了166%。此外,報告中特別指出以太坊也是迄今為止唯一成功在四個主要類別(DeFi、交易所、區塊鏈游戲,競猜等高風險類)中開發各類Dapp的區塊鏈。EIDOS Token引起的擁塞嚴重影響了EOS區塊鏈上Dapp的性能,導致EOS上每日用戶活躍度下降了48%。TRON Dapp生態在2019年上半年強勁增長,但下班后有所下降。 總體而言,其用戶基數增長了93%,但仍主要集中在競猜和高風險類別中。[2019/12/19]
在這一階段,我們會下載本地 HEAD 區塊和對等節點的 HEAD 區塊之間的所有區塊頭。
這一階段是 CPU 密集型的,適合使用多核處理器,因為要驗證區塊頭的工作量證明。
由于區塊鏈重組,大多數回退都是在這一階段開始的。
這一階段會推動本地 HEAD 的指針(指向更新的區塊)。
階段 2 :區塊哈希值
從區塊頭中抽取出一個從區塊哈希值映射成區塊號(blockHash -> blockNumber)的索引表,以支持更快速的查找功能,并讓同步過程對機械硬盤更為友好。
階段 3 :下載區塊體
在這一階段,我們會將上一階段已下載區塊頭的區塊體也下載下來。
這一階段需要保持良好的聯網連接。絕大多數數據都在這一階段下載。
階段 4 :復原發送者
這一階段會復原出并存儲每個已下載區塊中的每筆交易的發送者。
這一階段同樣是 CPU 密集型的,適合使用多核處理器。
這一階段不需要聯網。
階段 5 :執行區塊
在這一階段,我們會執行之前下載的所有區塊中的每一筆交易。
需要注意的一點是,在執行區塊的過程中,我們不會驗證根哈希,甚至不會創建默克爾樹。
這一階段是單線程的,無需聯網,需占用大量磁盤空間。如果區塊執行失敗,可以回退該階段。
階段 6 :計算狀態根
這一階段會構建默克爾樹,并驗證當前狀態的根哈希。
這一階段也會構建中間哈希值(Intermediate Hashes),并將它們存儲到數據庫中。
如果之前沒有存儲任何中間哈希值(這種情況可能在第一個初始同步期間發生),這一階段會構建出完整的默克爾樹及其根哈希。
如果數據庫中沒有中間哈希值,這一階段就會利用區塊的歷史記錄來弄清楚哪些哈希值已經過時,哪些哈希值是最新的,然后使用最新的哈希值來構建部分默克爾樹,只重構過時的哈希值。
如果根哈希無法匹配,就會向后回退一個區塊。
階段 7 :生成哈希值化狀態
在執行期間,Turbo-Geth 使用無格式狀態存儲(Plain state storage)。
無格式狀態(Plain State):在標準狀態(我們稱之為 “哈希值化狀態”)中,賬戶和存儲項的地址是 keccak256(address) ,但是在一般狀態中,二者的地址就是 address 。
盡管如此,為了確保一些 API 能夠正常運作并與其它客戶端保持兼容,我們也會生成哈希值化狀態。
如果哈希值化狀態不是空值,我們會查看歷史記錄變更集(History ChangeSet),并且只更新已更改的項。
這個階段不需要聯網。
階段 8、9、10 :生成索引
同步期間會生成 3 個索引。
這 3 個索引可能會被禁用,因為所有 API 都不使用它們。
交易查詢索引
該索引表由從交易哈希值到區塊號的映射構成。
賬戶歷史索引
該索引存儲了從賬戶地址到區塊列表(在這些區塊中,該賬戶的狀態有了更改)的映射。
存儲歷史索引
該索引存儲了從存儲項地址到區塊列表(其中,該存儲項在一定程度上有了更改)的映射。
在這一階段,我們會啟動交易池或更新其狀態。例如,如果我們已下載的區塊中包含了某些交易,就把這些交易從交易池中移除。
在回退時,我們會將被回退的區塊中的交易重新添加到交易池中。
原文鏈接:
https://github.com/ledgerwatch/turbo-geth/tree/master/eth/stagedsync
作者: Alex Sharov
翻譯&校對: 閔敏 & 阿劍
在“新基建”浪潮下,又一波IDC(Internet Data Center,互聯網數據中心)建設潮興起,阿里、騰訊等互聯網巨頭紛紛加碼投入IDC.
1900/1/1 0:00:0020世紀90年代初,有兩股巨大的力量在傳播,這兩股力量將影響未來幾十年的發展:互聯網和強大的密碼學.
1900/1/1 0:00:00眾多幣種深度回調 “新興”與“古典”何去何從?上周SushiSwap創始人拋售代幣的消息引發了Sushi價格大幅下降。一些業內人士由此擔心DeFi 領域泡沫正在顯示出破裂的跡象.
1900/1/1 0:00:00資源顯示的數字可能會有所偏高,但正如一位推特用戶所指出的那樣,這在傳統金融中也會發生。DeFi協議中鎖定的總價值可能很難計算,因為一美元在鎖定中可以多次創造其價值.
1900/1/1 0:00:00近期BTC短線行情波動較大,我們可以從中長線角度來分析BTC目前的走勢,對BTC目前走勢有個概括性的認識,以便于后續趨勢操作.
1900/1/1 0:00:00最新數據顯示,以太坊的算力已升至20個月高位。受DeFi的影響,目前,以太坊算力徘徊在200TH/s左右,這是自2018年11月以來從未見過的水平.
1900/1/1 0:00:00