MOS:速讀 Evmos 升級失敗官方分析報告及解決方案_UND

作者：Evmos官方團隊

編譯：Lukie

3月7日上午，CosmosEVM兼容中心Evmos在Discord官方群表示，網絡升級失敗，并將暫停24-48小時。3月8日下午，CosmosEVM兼容中心Evmos在推特發文稱，「鑒于社區反饋，Evmos至少在接下來的幾天內都不會上線」。

今日15：27時，Evmos團隊在Github上發表了升級失敗報告，對網絡升級失敗的核心問題進行了解讀。

為什么鏈停止運行了？

?核心團隊在主網上發布了部分測試的升級程序代碼

?發生共識錯誤之后協調失誤，團隊安排的時間太緊湊，只有幾個小時可用于進行升級部署

?升級的復雜性達到了一個極端——需要徹底重啟整個網絡并完成同步

?5個驗證者雙簽，導致它們被tombstoned

1）當驗證者被tombstone后，他們將不能再次成為驗證節點。

2）這是一個嚴重的錯誤。tombstone本質上是永久封禁，所有的委托都需要手動解除綁定，這對委托人來說也是一個可怕的場景。

加密分析師：Curve創始人或正以0.4美元均價進行CRV場外交易:8月1日消息，加密分析師dollar.eth在社交媒體發文表示，Curve Finance創始人Michael Egorov到目前為止已從Fraxlend還款并取回了750萬枚CRV，并將其發送到一個新的EOA錢包地址，然后從未知地址中接收USDT，因此可能是一筆場外交易，按照250萬枚CRV/100萬USDT計算，場外價格應該是0.4美元。[2023/8/1 16:11:14]

?考慮到受影響的驗證節點和用戶，暫停這條鏈是可以接受的。

?在嘗試恢復網絡數小時后，我們目睹了多個驗證節點被tombstone。驗證者社區和核心團隊認為這是不對的，于是決定停止網絡，直到新版本測試達到可用于生產的狀況后再重啟。

為什么會出現5個驗證者雙簽？

?他們在共識停止期間運行unsafe-reset-all，導致他們破壞了priv_validator_state.json文件。此外，一些節點在遷移到其他機器的過程中，并忘記拷貝遷移priv_validator_state.json文件

1267271枚LINK從未知錢包轉移到FalconX:金色財經報道，據Whale Alert監測，2小時前有1267271枚LINK(8,477,892美元)從未知錢包轉移到FalconX。[2023/7/17 10:59:18]

?他們不知道必須備份并遷移priv_validator_state.json，因為當鏈正常運行時這通常都不是問題，大多數塊將在一輪內達成共識，并且在說明手冊中沒有明確說明一定要這樣做。

為什么有這么多驗證者運行unsafe-reset-all而不保留他們的priv_validator_state.json?

?驗證者必須從快照中恢復，因為如果他們在升級期間重新啟動節點，他們將不再參與共識，所以在這樣做時，它們要么完全刪除$EVMOSD_home/data，要么運行unsafe-reset-all。在共識停止期間執行此操作時，它是不安全的，并且如果沒有備份priv_validator_state.json，則不完全了解如何恢復。

?關于priv_validator_state.json有很多誤解

Sui Name Service將于5月31日開始拍賣:5月26日消息，Sui 生態域名服務 Sui Name Service（SuiNS）將于北京時間 5 月 31 日 10:00 開始拍賣。此前報道，Sui 開發團隊 Mysten Labs 收購 Sui 生態域名服務 Sui Name Service（SuiNS）部分資產。[2023/5/26 9:44:47]

?關于這個文件在重新同步時的影響，沒有明確的答案

為什么驗證者必須從快照中恢復？

?當鏈停止運行并且人們在停止期間重新啟動他們的驗證節點時，驗證節點不會自動恢復參與共識流程。

?因此，解決方案是使用快照重新啟動一個新的數據庫。

?在這段時間里，許多人超量訪問Polkachu端點，但是在從頭開始下載或同步節點之后，操作人員設法啟動了Polkachu快照的鏡像。

?雙簽的人和該區塊提交者有很強的關聯性。

以下是在區塊高度58701的共識流程中違反拜占庭規則的行為：

BF5FC06E32A4168817A16D69692F36C8F7A5DA37,proposedround0,anddoublesignedround0.

ParaSpace創始人：48小時內將發布詳細鏈上數據及完整事后分析:5月10日消息，ParaSpace 創始人 Yubo 在社交媒體上發布相關鏈上數據，表示該數據系按計劃完成剩余 10% 的黑客債務償還的相關鏈上交易記錄，其個人將在未來 48 小時內發布每筆交易的完整事后分析，為此前被錯誤地描述為濫用用戶資金的情況做出解釋和正名。

此前報道，ParaSpace官推稱，此前從黑客攻擊中截流的資金實際被創始人Yubo控制。[2023/5/10 14:55:26]

FF9F24A7DB626386EBA92D1E8D058474CEC40C26,proposedround2,anddoublesignedround2.

4F8EDD442959D0BB78F8CE0012BAD23AFEE6E08C,proposedround4,anddoublesignedround4.

76692115F93AE444FA857C7BA963F125D8C2E6C6,proposedround8,anddoublesignedround8.

數據：367,999枚FTT從未知錢包轉移到Binance:金色財經報道，據Whale Alert監測，367,999枚FTT（價值約8,855,298美元）從未知錢包轉移到Binance。[2022/11/7 12:24:02]

9BA4035E5B58DAB71B6573791FDAA3D9E1C78A00,proposedround10,anddoublesignedround10.

為什么驗證者要重新啟動它們的節點？

?一些節點重新啟動，因為它「看起來卡住了」。

?其他節點重新啟動，因為沒有人能夠保持一組可靠的peer。

?本次升級比大多數驗證者所習慣的升級都要復雜。

為什么沒有一群穩定同步的peer呢？

?我們懷疑許多節點并沒有進行升級，導致升級重新啟動后的節點連接到一些沒有升級的無效節點。許多節點的addrbook.json因為沒有升級導致他們與新版本無法兼容。

?人們很可能連接到沒有升級的seed，并可能傳播他們大量無效的addrbook.jsonpeer。

?當人們在升級過程中關閉他們的節點，導致peer的狀況變得更糟。

?有幾個關鍵節點直到后來才升級，這意味著許多關鍵節點都在運行舊版本。

?我們在解決，并創建了一個穩定的peer列表。

為什么我們需要在v2.0.1之前緊急發布v1.1.2版本？

?在高度58,700它需要一個升級處理程序緊急升級鏈。我們不想通過治理進行升級，因為有一個安全漏洞還沒有被修復，否則需要等待至少5天的時間，這會導致大量的人利用漏洞竊取他人的資產。

為什么我們沒有發現v2.0.0早期升級失敗的問題？

?沒有自動化的測試套件來捕捉錯誤，因此測試必須從頭開始構建測試工具或手動完成。手動測試一直持續到交付的最后時刻，但是并非所有團隊成員都能擁有在遷移期間快速手動測試需求的能力。

?因為我們在最后一分鐘更改了遷移邏輯以嘗試通過模塊遷移進行升級，所以我們在升級前測試了這大約300個塊。我們沒有足夠的時間在幾個小時前召集可用人員并準備好進行測試，因為這是手動測試，需要對升級有深入的了解。

?當我們使用舊的升級處理邏輯時，在指定塊高度使用cosmovisor進行升級時已經通過測試并可以正常工作，但它不符合最佳實踐，因為設置新的參數應該在模塊本身的遷移處理程序中完成。在編寫遷移處理程序時，我們試圖獲取現有參數并進行設置，當你在遷移過程中時GetParam將返回空字節。所以解決方法是在遷移中設置所有新參數，而不從存儲中檢索舊參數。

?當我們測試遷移邏輯并發現故障、其他Evmos工程師重新上線時，它已經落后了300個塊。到那時，已經來不及了，Evmos不得不接受在區塊高度58700升級的命運。

為什么這個升級對于驗證者來說變得如此復雜？

Evmos團隊在協調緊急升級時出現了幾個錯誤：

?沒有對v2.0.0進行測試導致了第二次更新。如果沒有經過測試，則應該推遲升級。

?由于漏洞的嚴重性，發布時間很緊迫。

1）通知應至少提前24小時發出，區塊高度有所推遲，但在升級前幾個小時發布的版本被限制了，這意味著驗證者必須在線交換二進制文件。

2）升級非常激進。

3）時間線是在修復之前選擇的，這不是安全事件的處理方式。

4）即使用戶資金存在風險，也應該在公開之前找到解決方案，即使是更?廣泛的驗證者組。

?在不可行的時間線上為此使用cosmovisor，當原始設計使狀態機兼容直到分叉高度時，需要手動升級。團隊在節點運營商中過度估計了cosmovisor的重要性。

為什么要花這么多輪來嘗試升級？

?因為升級版本是最后一刻發布的，而且升級失敗了，是不能立即恢復的。

?投票權不在我們這里，我們在爭取了66%的投票權，在10輪回合中，也就是說持續了數小時。

為什么人們需要依賴快照和重新同步v1.1.2來重新應用升級v2.0.1？

當驗證者開始使用v2.0.1版本時，許多人認為peer存在問題，因為這在Cosmos生態系統中很常見。在停止運行其節點以修改對peer列表和/或增加peer數量之后，他們重新啟動了節點。我們認為這導致了Tendermint的一種不確定狀態。正如我們所說的，這種不確定狀態導致Tendermint不知道它應該處于塊同步模式還是共識模式，從而導致節點處于閑置狀態。要從這種不穩定狀態中恢復，用戶需要刪除他們的數據庫并從升級前的快照中恢復并同步到升級高度，然后更改到v2.0.1.

此外，Evmos團隊還在Github上發布了補救文件供開發者和驗證者參考。

Tags：MOSUNDEDREVMOSevmos幣暴跌RUNDOGE幣EDRC價格evmos幣解鎖機制

OKB