區塊鏈:ZONFF Research：當我們談Web3數據時，我們在談些什么？_Timicoin

原文作者：LewisLiao，ZonffPartners

當我們在談Web3數據的時候，在談些什么？想要弄清楚這個問題，首先我們要弄清楚，在Web2中數據是什么樣的。本文將從數據的產生、收集、存儲、管理和使用的全生命周期來展開討論。在此之前，我們首先明晰數據是如何被定義的。

中國全國信息安全標準化技術委員會出臺的《網絡安全標準實踐指南-數據分類分級指引》中，將數據分類為個人信息、公共數據和法人數據。

其具體定義與實例如下表，

在每個類別之上，又根據數據泄露的危害對象和程度分為5個級別：公開級、內部級、敏感級、重要級和核心級。對于公開級的數據，它更像是一個公共產品，是非競爭性和非排他性的。這種類型的數據一般由政府/公共組織提供，收益歸其所有，如天氣預報、宏觀經濟數據等等。

用戶信息，用戶使用應用服務記錄下來的與用戶相關的信息，包括用戶的身份信息、設備、網絡、地理位置甚至移動設備上安裝的應用列表等，由服務端數據表和埋點進行收集；

內容數據，用戶使用應用服務生產的數據，這些包括用戶任何主動在應用上交互寫入的非個人信息內容數據，屬于應用服務的一部分，一般由服務端數據表直接收集；

行為數據，用戶使用應用期間交互產生的數據，這些包括用戶在使用應用期間的行為習慣，如觀看時長、點擊率、滲透率、滑動情況等等，一般由埋點進行收集；

日志數據，用戶使用應用期間應用本身產生的數據，這些包括應用的崩潰日志等；

代碼數據，非用戶交互的數據包括前端與后端代碼，這些數據與用戶數據一樣，都是存儲在某個地方的中心化服務器上；

在這個分類當中，用戶信息屬于個人信息數據，日志和代碼數據屬于法人數據。其中值得討論的是內容數據和行為數據，它們在Web2時代更多被中心化實體劃分為自身的業務數據，即法人數據。

在Web3的應用中有什么不一樣嗎？PreethiKasireddy這張Web3產品架構可以幫助我們理解。

Web3產品架構

智能合約交互產生的數據，都發布在區塊鏈上，任何人可以都訪問，它因此成為一種公共產品，這些包括資產信息、交易數據和合約代碼。理論上，只要區塊鏈塊空間夠大，任何數據都可以存儲在區塊鏈上，甚至也有的項目在嘗試將區塊鏈作為數據庫來存儲數據。

Amazon Web Services與Ava Labs合作以擴大企業、機構和政府對區塊鏈的采用:金色財經報道，云計算平臺亞馬遜網絡服務 (AWS) 在博文中宣布已與Ava Labs合作，以擴大企業、機構和政府對區塊鏈的采用。該合作伙伴關系將使開發人員更容易在 Avalanche 區塊鏈上啟動和管理節點，AWS 對 Avalanche 基礎設施和 dApp 生態系統的支持允許一鍵式節點部署。 Ava Labs 還計劃將子網部署添加到 AWS Marketplace，使個人和機構都能輕松啟動自定義子網。

Ava Labs的創始人兼首席執行官Emin Gün Sirer表示，雖然與Ava Labs的合作是AWS與區塊鏈生態系統的首次合作，但其他幾個區塊鏈，包括以太坊和其他較小的區塊鏈，已經使用 AWS 為其網絡提供動力。[2023/1/12 11:07:12]

目前階段，一個Web3應用產生的數據，除以上三類數據以外，大多數仍然采用中心化服務器的存儲方式，這些包括前端代碼、用戶信息、內容數據、行為數據和日志數據。這是由于目前相關存儲基礎設施并不完善，項目方或受限于技術問題，或為了保證訪問速度等原因采取了中心化方案。隨著基礎設施的不斷發展，有很多功能越來越強大的存儲基建的出現，如IFPS、Stroj、Filecoin和Ceramic等，也有越來越多應用已經開始將自身部署在去中心化存儲上面，如將前端網站布置在IPFS上然后通過ENS訪問，從而搭建一個去中心化網站前端以及將NFT項目對應的圖片等文件數據用Arweave進行永存等等。

總的來說，在搭建一個Web3應用的時候，對于應用數據的存儲，開發人員通常可以有3種選擇：

將其存在區塊鏈上，這種選擇非常昂貴，會導致應用盡可能的簡單，并且數據完全公開，好處是最為直接保護了應用主權；

將智能合約邏輯存在區塊鏈上，其他存在傳統后端上。這種方法會犧牲用戶的主權性，同時有中心化的風險。這是目前大多數Web3應用采用的方式；

將智能合約邏輯存在區塊鏈上，其他存在IPFS、Arweave和Ceramic等存儲上，通過智能合約管理和更新數據，這種方法較為昂貴且暫時較為緩慢，但這種方法可以保護應用的主權性；

目前，絕大多數Web3應用是通過第2種方式進行搭建的，也有一些特定應用，目前已經可以使用第3種方式進行搭建，極少數應用是通過第1種方式進行搭建的。那么，我們應該選擇哪種方式存儲呢？什么樣的存儲方式是趨勢呢？

扎克伯格：Horizon Worlds和Avatar圖形將迎來重大更新:8月21日消息，Meta首席執行官馬克·扎克伯格在 Instagram 發布最新個人 Avatar 照片和 Horizon Worlds 精細場景圖，并表示Horizon Worlds 和 Avatar 圖形將迎來重大更新。

據悉，本周早些時候扎克伯格在社交媒體宣布旗下元宇宙平臺Horizon Worlds正式在法國和西班牙上線時附上一張自己虛擬形象與埃菲爾鐵塔的自拍合照，卻遭到眾多科技行業媒體和從業人員的嘲諷，稱其在元宇宙上投入數百億美元后的效果只達到1995 年任天堂游戲機的圖形水平。[2022/8/21 12:38:25]

關于數據主權，包括數字資產主權和用戶數據主權，「縱向流動性：價值如何互聯互通」一文中有談到關于代幣可以定義用戶的數字資產主權，這是由一個難以篡改的廣泛共識所決定的。最基礎的，這些權利的定義由區塊鏈本身就能完成，如一個代幣歸屬于哪一個地址。可一旦涉及到更復雜的數字產品權利歸屬，就會有很多問題出現，比較典型的就是NFT對應的圖片的存儲問題，「NFT：數字所有權的革命」中對這個問題進行過討論。大多數NFT的現狀是其對應的數字產品存儲在某個地方的中心化服務器上，一旦服務器崩潰或者被黑，那么用戶所擁有的就只是一串鏈上哈希，哈希背后真正的“物品”則隨時可以被偷竊或者替換，變得毫無價值。

此外，用戶數據主權作為Web2與Web3最為明顯的分界線之一，是為Web3創新與進步所吶喊的旗幟。就此，Ceramic設想了一個數據宇宙，一個可組合的、網絡級規模的數據生態系統，由每個人擁有，但不被任何人獨有。用戶數據跟隨用戶從一個應用到另一個應用，用戶作為中心控制自己的數字宇宙。目前，幾乎還沒有應用可以實現這一點，Cyberconnect作出了很好的嘗試，它創造了一個去中心化社交圖譜協議，希望在應用間實現用戶社交關系數據的可互操作性。但目前來講，該應用并沒有保證用戶的數據主權，盡管他們已經開始轉移到Ceramic之上進行建設，但一切仍然還在路上。

關于應用主權，有人把主權應用稱為“超級結構”，它擁有不可停止、免費、有價值、可擴展、無許可、正外部性和可信中立等特征，這些綜合起來提供了一個數字世界的公共產品，打造了“元宇宙”的基礎設施。目前絕大多數所謂Web3的應用其應用主權程度都不高，它們不是真正的公共產品，它們可以很容易被強權制裁與改變，TornadoCash事件非常直接地說明了這個問題。主要原因之一是因為雖然這些應用協議層的合約代碼都發布在區塊鏈上，但如前端、域名等組件仍然由第三方中心化的實體所控制。

Meta開始為Horizon Worlds中的創作者構建數字經濟:金色財經報道，Meta Platforms 的數字經濟在周一推出了新工具，用于在社交媒體巨頭的虛擬現實游戲 Horizo n Worlds 中兜售虛擬商品。Meta 表示，“少數”創作者將能夠在各自的世界中出售“虛擬物品和效果”。只有 18 歲以上的美國人和加拿大人才能購買這些物品。

Meta公司另外表示，它將獎勵那些虛擬世界被證明特別受用戶歡迎的創作者，每月發放獎金。據The Verge報道，該計劃將不收取任何費用；在虛擬物品市場上，Meta可能會收取25%至70%的費用。這兩方面顯示了Meta在早期建立了支撐數字經濟的基礎設施。然而，它承諾更多的貨幣化和激勵功能正在開發中。（Coindesk）[2022/4/12 14:18:52]

為了實現數據主權和應用主權，Web3應用的構建方式至關重要，其基礎出發點就是存儲，數據存在哪里，怎么存才能保證用戶能夠擁有主權？總的來說，根據用戶的數據類型不同，可以有不同的解決方案：

用戶的資產信息、交易數據應為公共賬本數據，存在鏈上保證可驗證性是最重要的，但Aztec這樣的應用出現用來保障用戶鏈上交易的隱私性是非常有價值的；

用戶的用戶信息、內容數據和行為數據作為個人信息，保證用戶的控制權非常重要，在用戶的同意之下，可以選擇性對這些數據進行公開，作為公共產品以發掘正外部性；

日志數據和代碼數據作為法人數據，私有化是可以接受的，也有一定的必要性，但涉及到“超級建筑”類的Web3基礎設施類應用，它應當具有公共基礎設施的特性，應用代碼的存儲應當公開且具備超過平臺級的抗審查能力；

目前，大多數Web3應用采用「將智能合約邏輯存在區塊鏈上，其他存在傳統后端上」的原因是目前沒有足夠好用的去中心化基礎設施可以替代原本的中心化基礎設施方案。

首先，IPFS、Filecoin與Arweave等去中心化存儲都是靜態存儲，這使得其缺乏計算和狀態管理能力，無法實現更高級的類似數據庫的功能，而雖然Ceramic是動態存儲，一定程度解決了這些問題，但Ceramic目前的訪問速度仍然較為緩慢，且開發套件不夠完善，并且其去中心化程度也一直為人詬病。

IPFS、Filecoin與Arweave等去中心化存儲的主要作用是靜態存儲了如圖片、文檔和靜態代碼等文件非結構化數據，因為其難以被篡改的特性一定程度上的保障了如NFT之類的數字主權，鏈上哈希代碼與鏈下去中心化存儲地址之間的聯系一旦建立，就很難被外力以非常的手段影響。而前端代碼搭建在上面也促進了應用主權的完整性，但由于目前階段的存儲技術僅僅是存儲而已，計算能力的缺乏導致其功能支持遠遠落后于中心化的服務器方案。

區塊鏈托管提供商Core Scientific與Horizon Kinetics擴大合作關系:區塊鏈托管提供商Core Scientific宣布，已與紐約投資管理公司Horizon Kinetics LLC合作，將其托管的加密礦機升級為比特大陸生產的Antminer S19和S19 Pro型號。Core Scientific作為Horizon Dynamics加密貨幣挖礦業務的托管合作伙伴已有一年多了。在此期間，Horizon Dynamics與Core Scientific合作的礦機數量增至兩倍。

除了與Horizon Dynamics的合作之外，Alt 5 Sigma前總裁兼首席運營官Taras Kulyk加入Core Scientific，擔任其區塊鏈業務開發高級副總裁。

據6月27日報道，Core Scientific宣布已向比特大陸購買17595臺S19螞蟻礦機。最近購買的礦機將在接下來四個月里部署在Core Scientific美國數據中心。Core Scientific目前擁有450兆瓦的合同電力，為其ASIC、GPU和FPGA挖礦設施提供動力。（Cointelegraph）[2020/7/3]

目前市面上的主流去中心化存儲情況如下表所示，本表格參考「Web3去中心化存儲進化史」總結更新，

時間：2022年8月23日

目前來說，大多數的存儲方案只是實現了一個「去中心化硬盤」，這滿足了最基本的需求，更高級一些的如基于存儲的計算需求并未完全滿足，這些計算包括本地開發環境渲染、數據流的插入與提取等等，這些都是目前Web2應用最常用和最必要的功能模塊。Ceramic基于數據流存儲的創新使得數據的權限管理、版本控制、動態存儲和可組合性得以實現，Stratos則正在嘗試提供一個更完善的、全套的解決方案，包括數據庫存儲、靜態存儲、計算和共識等多個模塊。此外，Arweave和Filecoin也意識到了計算的重要性，正在自己或者鼓勵生態建設相關模塊，如Filecoin已經推出了FVM以支持在Filecoin上的計算。

2.1數據的管理

將Web3應用建立在去中心化存儲之上，使得他們更加不容易被外力干擾，打破了壟斷與強權。但僅僅是存儲還不夠，還需要存儲環境的渲染計算、數據處理、權限配置和隱私保護等等技術的支持，才能夠保證應用的主權、用戶的數據主權，從而實現數字世界個人主權的崛起。尤其是權限控制和隱私保護問題，它們應該用一個高級別的主權技術方案實現。Web2應用中這些級別數據都是按照不同的安全防護級別，保存在某些具體的中心化服務器上，其安全性由網絡安全保障，其主權性由平臺保障。這種數據管理模式下，用戶服從于超級管理員，對于數據本身，用戶沒有任何權利。此外，數據安全也受制于超級管理員這一中心化實體，如前段時間某地區的數據泄露事件，一個超級管理員將其私鑰泄露，使得上億人的個人私密信息泄露。

動態 | ONTology已在谷歌云、Amazon Web和微軟Azure發布公鏈:據coingape消息，根據最新發布的消息，ONTology宣布已第一個在谷歌云、Amazon Web服務和微軟Azure上發布了公共區塊鏈。在這些云提供商上使用本體開發平臺，用戶可以使用和開發智能契約，而不必在本地配置和設置環境。受利好因素影響，ONT的交易量在過去24小時內大幅增長了15%，根據coinmarketcap的數據，其市值為2.95億美元，排在第21位，較上周上升6位。[2019/2/24]

Web3的數據管理應當具有以下兩大特性：

數據主權保障。這應該是超越平臺級的甚至是世界級的，通過世界級的共識保障數字世界用戶共同的權力。傳統世界這方面的保障是平臺級的，而且規則來自于非共識，一家平臺級公司就可以掌控所有的規則制度，并隨時可以更改，從而隨時可以侵犯用戶個人主權；

數據隱私保障。通過密碼學從數學上對用戶數據隱私安全進行保障，而不是通過數據庫網絡安全的方式進行保護，用戶控制的選擇性加密是用戶數據主權的基本權利之一；

如何對Web3數據進行管理，取決于該數據是如何存儲的。

IPFS和Filecoin以內容為中心，通過ContentID來訪問存儲的內容，在此基礎之上通過搭建第三方應用進行數據管理，如通過ChainSafeFiles，可以本地化方式解決單點登錄問題后，可以方便地通過非對稱加密對數據進行加密存儲。以內容為中心的管理模式，使得用戶管理變得困難，如何給數據定所有權變得較為復雜。Filecoin除了提供存儲之外，它的生態的拓展性會比其他的底層來說要高得多。特別是接下來FVM推出之后，可能會有一些針對數據存儲數據檢索方面的一些垂直領域推出特色的工具，能幫助用戶幫助企業更好地去管理它的一些數據，保證數據的安全，然后開發很多的一些新的應用。

Ceramic也是基于IPFS，但以用戶為中心，基于IDXProtocol，3IDDID方法構建了Ceramic-native的賬戶體系，可用于對Ceramic進行身份驗證，用戶可以使用區塊鏈錢包控制3IDDID在數據流上執行交易并管理自己的數據。這是通過將DID與數據關聯后存儲進數據模型實現的，數據模型定義了用戶數據的格式，只要使用同一個數據模型的應用都共享該數據格式。

Arweave是一個一次付費、永久存儲的鏈上數據去中心化存儲項目，數據公開透明地存儲在鏈上，任何人都可以訪問，通過Arweave區塊鏈瀏覽器可以瀏覽存在鏈上的數據。這種模式下的數據管理與管理鏈上數據一模一樣，沒有訪問權限控制，以及對原來數據的“熱更新”，每次更新數據，其索引地址都會發生變化，這一點IPFS和Filecoin不存在問題，但其好處是數據歸屬于哪一位用戶非常明確，有利于對于數據權益進行回溯。

Stratos也是基于區塊鏈共識的存儲，會專門維護一個索引樹，記錄數據存儲的路徑，從而保持對數據更新的追蹤。與Arweave不同的是，Stratos每一個存儲節點被設計成同時擁有計算能力、存儲和內容訪問控制服務，項目方自己會搭建基于區塊鏈本身的數據庫用于數據的動態吞吐，其形態和管理模式接近于去中心化云計算機。

Ceramic的數據模型市場

Ceramic在其數據宇宙中提到了他們要打造的開放數據模型市場，因為數據需要互操作性，它能夠極大地促進生產力的提升。這樣的數據模式市場是通過對數據模型的緊急共識實現的，就類似于以太坊中的ETC合約標準，開發人員可以從中選擇作為功能模板，從而擁有一個符合該數據模型的所有數據的應用程序。目前來說，這樣的市場并不是一個交易市場。

關于數據模型，一個簡單的例子是，在去中心化社交網絡當中，數據模型可以簡化為4個參數，分別是：

PostList：存儲用戶帖子的索引

Post：存儲單個帖子

Profile：存儲用戶的資料

FollowList：存儲用戶的關注列表

那么數據模型如何在Ceramic上進行創建、共享和重用，從而實現跨應用程序數據互操作性呢？

Ceramic提供了一個數據模型注冊表，這是一個開源的、社區共建的、用于Ceramic的可重用應用程序數據模型的存儲庫。在這里，開發人員可以在其中公開注冊、發現和重用現有數據模型-這是構建在共享數據模型上的客戶操作應用程序的基礎。目前，它基于Github存儲，未來它將分散在Ceramic上。

添加到注冊表的所有數據模型都會自動發布到@datamodels的npm插件包下面。任何開發人員都可以使用@datamodels/model-name安裝一個或多個數據模型，使這些模型可用于在運行時使用任何IDX客戶端存儲或檢索數據，包括DIDDataStore或Self.ID。

此外，Ceramic還基于Github搭建了一個DataModels論壇，數據模型注冊表中的每個模型在該論壇上都有自己的討論線程，社區可以通過它來評論和討論。同時，這里還可以供開發人員發布關于數據模型的想法，從而在將其添加到注冊表之前征求社區的意見。目前一切都在早期階段，注冊表中的數據模型并不多，收納進入注冊表中的數據模型應當通過社區的評定成為CIP標準，就像以太坊的智能合約標準一樣，這為數據提供了可組合性。

3.1數據的使用與堆棧

基于以上內容的理解，我們提出了Web3數據堆棧，見下圖，

最底層是數據源所存儲的地方，包括去中心化存儲、鏈上和鏈下數據等；

其次是針對這些數據的管理應用，包括數據庫、數據表、索引中間件以及數據市場等；

在一定的數據管理范式下，能夠對數據進行挖掘，包括算法建模、統計分析和數據可視化等；

圖片來源：ZonffPartners

目前行業內關于Web3的數據使用，絕大多數是鏈上數據，層出不窮的數據分析工具與索引工具出現，鏈上數據這個巨大的金礦已經被充分地挖掘，上圖的數據表和分析應用分類中絕大多數都是鏈上數據的挖掘，只有少部分涉及到鏈下數據。總的來說，數據的使用鏈路是一個ETLA的過程，每個節點上都具有代表性的項目。提取項目的代表是TheGraph，而轉換成可用數據表和加載環節的項目代表是Dune和Luabsae，分析的代表是Nansen和NFTGO。

而在去中心化存儲上ETLA整個流程的支持項目幾乎還是荒漠，只有一些提取類項目，這里存在巨大的機遇和挑戰。TheGraph和Ceramic社區本身正致力于提取Ceramic上的數據，Orbis的創始人也嘗試做了一個Cerscan用于瀏覽Ceramic上的數據。Arweave已經可以通過TheGraph用子圖讀取和管理Arweave存儲的數據，Filecoin上也有相關第三方項目在做這件事情。但TLA的過程目前還無人問津，其中最大的原因是存儲在不同去中心化存儲上的數據異質性很高，很難有一個統一的模式去挖掘這些數據的價值，其中最有希望踏出這一步的是Ceramic，這是因為其數據模型的存在使得Ceramic上數據的異質性指數級降低，從而使得數據的可利用性變得更高。

除了鏈上數據以外，還有很多項目在嘗試將鏈上數據與鏈下數據進行打通，這類項目可以看作為“鏈改”型項目。

類型分類有：

Web2數據主權賦予與交易市場：Itheum、Navigate、Swash和Phyllo等。這類項目主要是將傳統互聯網數據與鏈上數據相結合，希望把Web2與Web3之間的信息交互打通，常見做法是將Web2數據導出再導入指定數據池或者直接綁定傳統互聯網社交賬號等等；

企業數據共識：Authtrail，該項目通過與企業內部數據庫進行整合，加入共識層從而做到企業內數據的防篡改與可追蹤等；

鏈上與鏈下數據組合：SpaceandTime，該項目和Authtrail一樣會做鏈下數據庫的整合，但無共識層，更多是鏈下與鏈上數據的共同計算，此外Pool也在做類似的事情；

Web3數據的使用范式和Web2存在明顯的不同，其主要在于數據聚集在一起的方式，即不同類型的數據其存儲、索引、提取、整合和利用的方式都會存在差別。根據前文的分類，這里做一些簡單的總結：

公開數據：包括《網絡安全標準實踐指南-數據分類分級指引》分類中的公共數據和部分法人數據。作為公共產品，是可以被公開挖掘價值的數據，接入無需許可，但可以追溯用戶所有權，從而追溯空投分潤，典型的例子是鏈上數據和存儲在去中心化存儲上的非加密應用數據。其使用最重要的上游支持是索引應用，如TheGraph，或Web3原生數據庫的應用，如Tableland。

私密數據：包括《網絡安全標準實踐指南-數據分類分級指引》分類中的個人信息和部分法人數據。作為需要加密存儲，且需要一定隱私權限配置的數據類型，其接入有許可，不可被公開獲取，若存儲在去中心化存儲和區塊鏈上，則需要可權限配置的加密存儲。或通過其他手段，如ZK、MPC和TEE等隱私技術手段保護。其使用最重要的上游支持是數據庫應用，如Kwil和Ceramic等。

Tags：WEBMIC區塊鏈CERweb3游戲公司Timicoin區塊鏈的幾個大騙局soccer幣是什么幣

DAI