買以太坊 買以太坊
Ctrl+D 買以太坊
ads

BLO:深度解析IPFS怎樣實現文件存儲_blockidentitytoken

Author:

Time:1900/1/1 0:00:00

概述

IPFS-InterPlanetaryFileSystem星際文件系統,是一個點對點的分布式文件存儲系統,IPFS的愿景是構建一個全世界的分布式網絡,用來替代傳統中心化的服務器模式,所有的IPFS節點組成一個分布式網絡,每個節點都可以存儲文件,用戶可以從IPFS構建的網絡中以DHT(DistributedHashTable,分布式哈希表)的方式獲取文件,從而實現了新一代的完全去中心化的網絡,旨在取代現有的萬維網。IPFS功能很豐富,包括DHT組網,文件存儲,Bitswap文件交換等功能。本文主要介紹IPFS的文件存儲原理,文件上傳到IPFS節點存儲時,節點會將文件分塊后進行存儲,每個文件以MerkleDAG的格式組織,而MerkleDAG的根哈希則用來表示該文件。本文將對IPFS存儲進行詳解,所述的IPFS的版本為v0.6.0。

CID

在介紹IPFS存儲文件的遠離之前,先介紹一個重要的標識——CID,CID是IPFS中用來表示內容的標識,可以用來表示一個文件,也可以用來表示一個文件塊。如下所示,CID是一個字符串,它主要由Version、Codec和Multihash三部分構成,Version目前分為v0和v1版本,v0版本的CID可以由V0Builder生成,v0版本的CID以Qm字符串開頭,v1版本的CID可以由V1Builder生成,v1版本的CID主要包含三個部分Codec,MhType和MhLength,其中Codec是表示內容的編碼類型,例如DagProtobuf,DagCBOR等,MhType是哈希算法,例如SHA2_256(默認的哈希算法),SHA2_512,SHA3_256,SHA3_512等等,MhLength是生成哈希的長度,默認用-1表示根據哈希算法確定長度。

HOGT當前LP底池深度已突破600萬USDT:據了解,HOGT將于5月16日19:00上線HECO鏈,開啟六大礦池挖礦,聚合池、本幣池、憑證池、LP池、DAO池、邀約專屬池。HOGT上線前7小時,“HOGT/USDT-LP”流動性底池資產折合已突破600萬USDT。

HOGT是基于火幣生態鏈打造的綜合性DeFi生態服務平臺,融合聚合收益、借貸、DEX等多板塊業務,致力于建設DeFi全生態服務系統,幫助用戶通過更便捷的途徑實現資產增值,讓金融更便捷,讓財富更自由。[2021/5/16 22:08:03]

IPFS組件介紹

IPFS用IpfsNode表示IPFS的節點,存儲相關組件的如下所示:

這些組件的關系如下圖所示,最上層是DAGService,它組合了BlockService組件,而BlockService組合了GCBlockstore組件,然后GCBlockstroe包含BaseBlocks和GCLocker兩個組件,最后BaseBlocks組合了最原始的blockstore組件。

川渝高院將共同利用區塊鏈等技術 深度與訴訟服務進行融合:近日,四川省高級人民法院和重慶市高級人民法院采用遠程音視頻聯調方式簽署《成渝地區雙城經濟圈跨域訴訟服務合作協議》,根據協議內容,兩地法院將共同拓展人工智能、大數據、區塊鏈等新興技術與訴訟服務的深度融合,建立智慧服務共建共享機制。

四川省高級人民法院副院長張能表示,本次“云簽約”所采用的區塊鏈存證技術,尤其是音視頻存證、電子協議存證,是未來川渝兩地跨域訴訟服務合作的一次技術性“試水”。 他表示,未來在川渝地區一系列跨域訴訟服務合作的開展, 都將以此為技術支撐循序展開。[2020/9/19]

接下來分別介紹這些組件的功能:

Pinning:固定CID的管理器,主要負責將文件或者文件塊的CID固定,固定CID的塊不會被GC掉。上傳的文件最后的文件的CID都會被固定住,防止被GC。

Blockstore:GCBlockstore類型,組合Blockstore和GCLocker兩個組件。

《河北省應急產業發展規劃(2020-2025)》提出推進區塊鏈等與應急產業深度融合:河北省工業和信息化廳22日透露,為加快河北應急產業發展,該省近日印發《河北省應急產業發展規劃(2020-2025)》提出,推進互聯網、大數據、人工智能、區塊鏈、物聯網等與應急產業深度融合,加速應急產業數字化、網絡化、智能化轉型。(中新社)[2020/3/23]

BaseBlocks:原始的blockstore,提供了對Block的Get/Put/Has/DeleteBlock等操作。

GCLocker:用來鎖住blockstore,保護blockstore防止被GC影響。

Blocks:提供Block的服務,組合Blockstore組件,提供了GetBlock/GetBlocks、AddBlock/AddBlocks、DeleteBlock等操作。

DAG:IPFS的默克爾DAG的服務,組合BlockService組件,提供Get/GetMany,Add/AddMany,Remove/RemoveMany等操作。

海南省委常委劉星泰:海南將推動區塊鏈等前沿科技與市(縣)域社會治理深度融合:海南省委常委、政法委書記、社會管理信息化平臺建設領導小組組長劉星泰表示,下一步,海南將以社會管理信息化平臺建設為抓手,推動5G、大數據、人工智能、區塊鏈等前沿科技與市(縣)域社會治理深度融合,將社會管理信息化平臺建設成為大整合、高共享、深應用的社會治理智能化平臺,為實現“一線放開、二線管住”目標和營造法治化、國際化、便利化的營商環境提供堅強保障。(中國新聞網)[2020/3/13]

文件存儲流程

文件上傳時將文件添加到IPFS的倉庫中,上傳的流程可以如下圖所示,生成默克爾DAG的結構,生成的結構有兩種Layout:balanced和trickle的。這里介紹默認的balanced結構,首先生成root作為根節點,然后將文件分割,默認按照256KB大小讀取一個chunk,生成葉子節點,依次生成node1,node2,root節點會有Link指向掛在root節點的葉子節點node1和node2。root節點下面能夠Link的葉子節點數量是有限的,IPFS中默認設置的是174個。

動態 | 工信部信息化和軟件服務業司將大力推動區塊鏈和經濟社會深度融合:金色財經報道,12月25日,2019新型數字基礎設施峰會在北京舉辦。工業和信息化部信息化和軟件服務業司副司長董大健參加并致辭。當前,以信息技術加速創新與融合滲透為突出特征的新一輪科技革命和產業變革正在蓬勃興起。區塊鏈作為多種IT技術的集成應用,對于構建我國安全可控信息技術體系,支撐經濟高質量發展、提升國家治理體系和治理能力現代化水平,具有非常重要的意義。下一步,部信息化和軟件服務業司將深入貫徹落實習近平總書記在中央局第十八次集體學習上的重要講話精神,加快推進區塊鏈技術產業創新發展,大力推動區塊鏈和經濟社會深度融合。一是跟蹤分析前沿動態,加快完善頂層設計;二是加強區塊鏈核心技術研發,持續提高創新能力;三是加快應用落地步伐,推動區塊鏈與實體經濟融合;四是建立健全標準體系,構建完善產業生態;五是著力強化安全保障,引導產業健康發展。 來自區塊鏈領域的專家、企業、科研院所等代表參加會議。[2019/12/31]

如下圖所示,超過174個后則會新創建一個newroot節點,并Link到oldroot,新的chunk作為node3被newroot直接Link。

當繼續有新的chunk添加時,則會生成node34作為node3和node4的父節點,node34含有兩個Link分別鏈接到node3和node4。

IPFS在init的時候會生成.ipfs目錄,如下圖所示,其中blocks則為文件塊存儲的目錄,datastore為leveldb數據庫,其中存儲了文件系統的根哈希等,存儲相關的配置關聯在.ipfs目錄下面的config文件。

經過上面的步驟,文件已經切塊并轉化成MerkleDAG的結構,接下來詳細介紹每個塊是如何進行存儲的流程。

如下圖所示,一個Block存儲時,首先由dagService調用Add進行添加;之后由blockService調用AddBlock添加該Block;再調用arccache的Put,arccache是對存儲的Block做arc策略的緩存;再之后由VerifBS調用Put進行存儲,VerifyBS主要對CID的合法性進行校驗,合法則進行Put;接著blockstore調用Put進行存儲,Put函數中會對CID進行轉化,調用dshelp的CidToDsKey方法將CID轉化成存儲的Key;再接著調用keytransform.Datastore的Put,Put函數中會將前綴拼上,這時Key加上了前綴/blocks;然后調用measure的Put函數,measure是對mount的封裝;之后調用mount的Put函數,mount和IPFS的config配置文件中結構對應,根據key去查找對應的datastore,由于前綴是/blocks則可以找到對應的measure;調用該measure的Put函數;最后調用flatfs的Put函數,由Put函數調用doPut最終調用encode函數將完整的block寫入的目錄指定為/home/test/.ipfs/blocks/WD,其中WD來自于blocks/CIQFSQATUBIEIFDECKTNGHOKPOEE7WUPM5NNNSJCCDROMM6YHEKTWDY中的倒數第三第二個字符。這樣該Block則寫入了該目錄下面的文件中。

總結

IPFS文件存儲格式為默克爾DAG格式,每一層Links大小為174個,超過了則會重新調整。文件存儲過程中有多個Datastore進行了組合和封裝,每個Datastore功能比較單一,例如arccache只做Block的緩存,VerifBS只做CID的校驗,這樣做的好處是每個組件功能明確,不好的地方在于組合太多,調用深度太深,加上內部都是用interface,好幾個組件都實現了該interface,不便于閱讀。

IPFS的存儲模式面向互聯網用戶而設計,因為它的開放性,允許所有節點隨意接入,已接入IPFS網絡的節點可以自由查找內容,不適合直接用來作為企業的文件存儲服務。但其分布式存儲的特點,很容易進行存儲的動態擴容,可以通過結合節點認證機制和DHT查找內容的剝離,為企業的分布式存儲系統,另外配合區塊鏈技術,通過鏈上鏈下協同技術,很容易地解決鏈上存儲容量不足的問題。

了解IPFS和Filecoin資訊,參與Filecoin挖礦,可聯系IPFS研習社,微信號:XF2020IPFS

Tags:LOCLOCKBLOBLOCKblockidentitytokenBlockchain Cuties Universeblockchain錢包進不去Metalblock

加密貨幣
MEFI:數字貨幣概念股直線拉升!京津冀、長三角、粵港澳大灣區等地將試點_ELEPHANT價格

來源:中國證券報 數字貨幣又有新動向! 商務部網站8月14日發布《關于印發〈全面深化服務貿易創新發展試點總體方案〉的通知》.

1900/1/1 0:00:00
MPL:?YAM:AMPL的新變種_AMPL

YAM是AMPL和YFI揉合當AMPL出來之后,有一些模仿者,不過它們都沒有在加密社區引起轟動。但YAM不一樣,它攪動了整個加密社區.

1900/1/1 0:00:00
比特幣:瑞波幣短線走勢上出現了一定的反彈機會_kepple幣價格

內容紀要: 在瑞波幣XRP走勢中,目前走勢為市場帶來了反彈機會,我們可以看到在短線走勢中,之前的高點一直是上方高點和下方低點不斷的在創新低,短線走勢上出現了一定的反彈機會.

1900/1/1 0:00:00
CUR:數交所一文教你玩轉合約交易_HTT

幣本位合約視頻教程: 1.三分鐘教你玩轉合約交易:點擊查看 U本位合約圖文教程: 1.委托介紹:點擊查看 Circle正在依靠10億美元的現金儲備來應對穩定幣競爭:金色財經報道,據彭博社消息.

1900/1/1 0:00:00
KEX:BKEX Global 關于參與拯救YAM投票的公告_Chibi Inu

親愛的BKEXer:??根據YAM官方說明,YAM調倉機制出現bug,造成每次rebase時都會過多YAM進入項目金庫.

1900/1/1 0:00:00
BTC:霍比特交易所關于8月14日系統升級的公告_HBTC

尊敬的社區用戶: 為了向用戶提供更加優質的服務和使用體驗,霍比特交易所將于2020年8月14日06:00進行系統升級。本次升級受影響時間預計為1min~3min。期間,充提、交易不可用.

1900/1/1 0:00:00
ads