把區塊鏈技術應用到存儲領域,建立去信任、更分散、去中心化存儲網絡的努力已經經歷了數年,在 2020 年至 2021 年這一輪區塊鏈的熱潮中,去中心化存儲引起了極大的關注。本文簡要做一個彙總。

去中心化存儲項目彙總

去中心化存儲的簡要介紹

隨着 IT 技術的發展,雲計算逐漸佔據主流,這使得現代計算和存儲高度集中化。在過去的十年中,一些大型的雲公司發了大財,將傳統的計算機系統劃分爲基於雲的各類產品。

這種中心化的計算和存儲模式的發展是歷史發展的一個階段,其成功的一個的原因在於中心化構建計算和存儲體系相對更加容易,無論是架構、安全、和性能都更容易處理。

但是,這種集中化有一些明顯的弊端,比如當其中一個提供商發生故障時,就是重大的互聯網事件。這樣的例子舉不勝舉,在中外每一年都能看到這樣的案例,包括 2017 年的 Amazon Web Storage 中斷,Github 在 2020 年 6 月的長期中斷或 Microsoft 在 2020 年 10 月的持續數週雲服務問題。

這樣的一種趨勢,違背了互聯網發展的初衷,爲了建立更好的網絡,擺脫互聯網巨頭的控制,世界需要更分散的網絡、計算和存儲。這也是區塊鏈發展的契機和受歡迎的原因之一。在區塊鏈發展 10 年之後,隨着區塊鏈技術的突破,基於區塊鏈技術的分佈式存儲也迎來發展的時機。

去中心化存儲是構建新型網絡的關鍵組件之一。其發展令人期待也令人興奮。

去中心化存儲項目彙總

去中心化存儲的基礎特點

去中心化存儲的設計有不同的方法,這也是產生不同的去中心化存儲項目的原因。通常而言,大家都要解決很重要的幾個基本問題:

去信任化

去中心化也是去信任化,也就是說不能依賴於單個或數個裁判來判定數據存儲的有效性和持久性。最好通過算法或一些機制來保證,這也是區塊鏈最重要的特性之一。

也就是說,這裏面有一個存儲證明的問題。作爲一個去中心化存儲項目,需要有一套機制和共識來保證每一個存儲的服務者不能作假,從而保證整個網絡的有效性和價值

彈性

彈性就是要避免文首提到的一些互聯網中斷或存儲服務終止事件。當數據存儲在一個服務商的設備上的時候,你必須信任這個服務商,但是單個服務商因爲其系統的設計或維護問題,難免出現故障,而一個分散的網絡,內容在多個分散的節點上進行相互備份,並能夠同時服務,從而提供更高的彈性和數據安全性。因此,一般說來,與區塊鏈其他項目相似,一個分散的去中心化存儲網絡往往建立在一個點對點的網絡智商。

效率

效率分爲多個方面,包括存儲資源利用效率、內容傳輸對資源的利用率以及存儲訪問的效率等等。

去中心化存儲在存儲的發展初期,就其訪問效率而言,當前還很難和中心化存儲抗衡,但在其上發展新的應用,其對效率和信任的要求往往不同,去中心化存儲的發展會首先帶動一些對信任要求較高的存儲應用方面。

同時,去中心化存儲由於其分散性和廣泛性,隨着其發展,其存儲資源的利用效率會極大地高於傳統去中心化存儲,尤其是一些熱門數據,用戶隨時可以訪問,網絡可以根據熱度對數據的副本數量進行自動增減。這是一種彈性的效率。而當大量的用戶加入網絡後,內容傳輸的效率也會大大提高,無論是帶寬還是能源的消耗都會大大降低。同時規模效應也會極大地提高訪問速度。

去中心化帶來的特性

在一個去中心化的網絡之中,構建一個去中心化的存儲網絡或存儲市場,這個分佈式的存儲網絡中需要的特性,這些特性在不同的項目中實現程度可能有所不同:

  • 內容尋址:一個完全去中心化網絡中存儲訪問的基本共識,也是存儲效率和訪問效率實現的基礎。內容尋址與傳統存儲的路徑尋址不同。在去中心存儲網絡中,要實現內容尋址,往往通過在網絡中的分佈式哈希表來進行內容定位,也需要實現內容的靈活路由來提升內容的可達性

  • 可驗證性:內容要是可自動驗證的,這與內容尋址的技術一脈相承,通過達成共識的算法來自動進行數據驗證

  • 開放性:一個去中心化網絡往往是開放的,而不是封閉的,那麼在這樣一個網絡中,用戶數據的隱私需要採用與中心化網絡完全不同的技術來實現,簡單的說,就是採用密碼技術

  • 可編程:在一個去中心化數據網絡平臺上,數據的流通是沒有阻礙的,數據的所有權和使用權的管理是一個重要的課題,數據和應用完全可以是分離的、分層的。數據可以在應用之間自由流動,應用可以是中心化的應用,也可以是智能合約

  • 信息流和價值流的結合:在去中心化網絡中,由於應用和數據的通證化,數據的流動和價值的流通可以同時綁定在一起,直接實現數據價值

  • 可擴充性:去中心化存儲網絡在設計上需要是可以線性擴展的,在線性擴展的同時,要求性能不能降低,最好是由於網絡的擴展,網絡的性能越來越好。

去中心化存儲項目彙總

一些去中心化存儲項目

去中心化存儲的發展已經有數年事件,隨着理論的突破和技術的發展,去中心化存儲技術發展也更加成熟。總體來說,去中心化存儲網絡的基本實現都是把數據劃分成 Chunk 或 Piece,存儲到一個點對點網絡中的一些節點之上。

IPFS (星際文件系統)

IPFS 大家再熟悉不過了,其由寫意實驗室創建於 2014 年,目前是 DApps 生態系統中最受關注的技術之一。IPFS 是一套協議,是在 Web3 中替代 HTTP 的技術。

IPFS 利用了前人開發的諸多技術,比如 DHT,BitTorrent,Git,SFS 等等,採用內容尋址內容尋址。IPFS 非常成功,其在 2019 年全網就達到 40 萬節點左右,目前估計有上百萬節點。

IPFS 公共網絡是一個開源的免費網絡,它本身不是區塊鏈項目,也沒有與之對應的 Token,這樣一個網絡主要用於公益存儲,也有一些商業系統建立在其之上。總的來說,由於 IPFS 沒有激勵層,其服務質量難以保證。這就是後來諸多區塊鏈項目在 IPFS 之上建立,爲其提供激勵層從而希望提供有保障的去中心化存儲服務的原因。Filecoin 就是其中之一。

Filecoin

創建 Filecoin 就是是爲了激勵 IPFS 網絡上的數據存儲。Filecoin 協議通過獨立存儲提供商的網絡提供數據存儲和檢索服務。這些存儲服務提供商不依賴於任何第三方,僅僅基於網絡協議和共識來提供服務,從而獲取服務費用和區塊獎勵。

Filecoin 有諸多創新,其中最爲突出的是其存儲證明,包含複製證明和時空證明,通過這些證明,能夠實現存儲內容的真實性和可用性保證。另外,Filecoin 是第一次建立了去中心化的存儲市場和檢索市場,同時,Filecoin 作爲區塊鏈項目,其共識機制也是第一次在大型公鏈項目中實現了有用共識,是一種較爲綠色的共識方式。

Filecoin 並不是一個完整的存儲解決方案,而是提供了存儲的基礎設施,也就是建立了存儲倉庫,並建立好了監控系統,但是存儲服務還有很多方面需要考慮,比如數據的冗餘性、服務接口、統一的客戶端 SDK 等等,可編程智能合約等,這些都需要在更上的層次解決。

在一個完善的 Filecoin 存儲服務的系統中,IPFS 會在裏面承擔重要角色,從而加速網絡服務。Filecoin 提供了基礎平臺,也給上層服務和應用提供了豐富的想象空間。

Crust

Crust 也是在 IPFS 之上建立的存儲市場,它爲 Polkdot (波卡)提供存儲解決方案,與 Filecoin 不同,Crust 的存儲證明在 TEE (可信執行環境)中進行,憑藉對 TEE 的信任,大大加快證明的速度,從而實現更快的證明,因此相對 Filecoin 而言,其參與的門檻較低,數據的存儲和檢索更易實現。

與 Filecoin 的存儲市場有用戶實現點對點存儲交易不同,Crust 通過網絡來幫助用戶尋找存儲服務,並實現存儲的冗餘。

Siacoin

Sia 是一個分佈式存儲的早期項目,始於 2013 年於 HackMIT,並於 2015 年正式啓動。該項目旨在利用全球未充分利用的硬盤驅動器容量來創建一個數據存儲市場,該市場比現有解決方案更高效,更便宜。他們有一個可行的產品,並具有有趣的設計功能。

Sia 偏愛工作量證明(PoW),擁有自己的 ASIC 芯片用於 Siacoin 挖礦,並利用文件合約來設置存儲的規則和要求(類似於智能合約)。他們的存儲證明算法用於進一步保護和驗證網絡上的證明和文件合約。

由於技術的原因,Sia 的發展一直不溫不火,但作爲區塊鏈存儲的早期項目,其初期還是吸引了不少注意力。

Storj

StorJ 是一個在以太坊網絡上構建的一個去中心化存儲項目,擁有大量的社區用戶,並且致力於開源和用戶體驗的精神。Storj 本身既是一個平臺,也是加密貨幣和存儲分佈式應用組件,也就是做事做了全套。

他們的技術圍繞文件共享展開,類似於種子文件的工作原理以及將部分文件分散給網絡中的用戶的方式。當用戶需要文件時,他們會請求它,並且 Storj 使用分佈式哈希表來查找所有碎片並將它們組合在一起。這些文件在共享之前已經加密,上傳者擁有自己的私鑰以驗證所有權。

Storj Labs 公司的另一實體是營利性機構,它將其網絡出租給數千名用戶,並收取網絡使用費。這是一個稍微集中化的模型,可與 Dropbox 和 Google Drive 等同類產品競爭。他們還與 Microsoft Azure 和 Heroku 建立了合作伙伴關係,以部署他們的一些開發工具,這對開源開發人員生態系統來說是一個很好的計劃。

但不可否認,Storj 實際上是一個半中心化的項目。在其存儲證明無法完全利用算法實現的情況下,這可能是一個不錯的選擇。

Swarm

Swarm 也是基於以太坊建立的另一套存儲協議,是以太坊關於去中心化網絡的願景的一部分。Swarm 的目標是爲以太坊提供存儲。但是存儲顯然沒有那麼簡單,Swarm 距今已經開發 4 年以上,目前測試網正在進行中,計劃於今年正式上線。

採用 Swarm,以太坊生態的去中心化應用可以看成三個部分組成:

  • Whiper 用於消息傳輸

  • Ethereum 用於計算

  • Swarm 用於存儲

實際上,當前測試的 Swarm Bee 是其第二個實現了,這個實現採用 IPFS 使用的 LibP2P 作爲其網絡層協議,摒棄了其第一個版本採用的 devp2p。

arwave

Arweave 最大的特色是可以永久保存數據。只要在將數據添加到區塊鏈上時,才需要支付存儲費用。Aweave 認爲數據存儲成本和摩爾定律類似,會逐漸下降,用戶超額付款所產生的利息將幫助後續存儲,因此一次付費足以覆蓋永久存儲的成本。

去中心化數據庫

上面提到的每一個項目都是存儲項目,具體一點講,可以對標中心化系統的文件存儲或者對象存儲。還有另外一類存儲也非常重要,那就是數據庫,去中心化數據庫業界也有不少探索,列舉部分如下:

  • OrbitDB:OrbitDB 是一個分佈式的對等數據庫(每個對等都有其自己的特定數據庫實例)。OrbitDB 使用 IPFS 作爲其數據存儲,並使用 IPFS Pubsub 自動將數據庫與對等方同步。在對等方之間複製數據庫。當任何對等體進行更新時,它都會自動生成數據庫的最新視圖。在 OrbitDB 中,應根據數據的訪問權限對數據進行存儲,分區或分片。它支持多種數據模型,即鍵值,日誌(僅追加日誌),提要(與日誌數據庫相同,但可以刪除條目),文檔(存儲索引的 JSON 文檔)和計數器。

  • GUN:GUN 是實時,分散,離線優先的圖形數據庫。默認情況下,它允許在所有連接的節點之間無縫地進行數據同步。GUN 背後的想法是提供一個去中心化的數據庫系統,該系統可提供最終一致性的實時更新。

  • Skeps:Skeps 旨在構建定製的分散式數據庫 ChainwolfDB。它受 OrbitDB 的啓發,使用 IPFS pubsub 作爲基礎層,並在每個對等節點上維護一個 mongo 實例以存儲數據。數據層 MongoDB 爲要共享的數據提供了持久性和動態模式。它使用 PGP 加密以安全的方式將數據同步到其他節點。它還支持事務,有助於確保所有請求的節點都接收到數據或沒有數據時可對它採取相同的行動。

去中心化存儲項目彙總

還有很長的路

目前去中心化存儲網絡項目中,Filecoin 發展最快,當前其存儲容量已經超過 5EiB,而且每天增長超過 30PiB 以上,速度驚人。但同時,我們應該看到,Filecoin 上面的真實數據存儲比例還非常非常低,在 Filecoin,或者其他分佈式存儲項目之上如何完善用戶存儲和訪問機制,提高用戶體驗同時又不失安全性,還有很多方面需要設計和突破。

2020 年末,是區塊鏈存儲的發展的開端,在未來的數年內,這一領域必然講得到更大的發展,生態更加壯大,尤其是於去中心化存儲相適應的應用將紛紛出臺。在分佈式存儲登上舞臺大戰宏圖之前,區塊鏈應用以金融創新爲主,他們都基本上無關內容。去中心化存儲爲區塊鏈打開了一扇大門,Web3.0 的發展除了價值交換的創新,內容交換的創新將是其最重要的內容。給我另一個 6 年,展示給你一個全新的世界。


本文成文時 BTC 價格:¥331979.75

                    _FIL 價格:¥861.82_