數據儲存市場轉向去中心化之原因

Bitzzan
DeNet Азия
Published in
8 min readJul 11, 2022

Amazon S3 這類服務的出現,徹底改變了數據儲存的方式,人們開始“上雲端” —將原本儲存於設備中的資料,上傳到各類線上存儲平台,我們稱之為"雲端儲存"。

雲端產業的快速發展令人印象深刻,但其實自雲端儲存出現以來,至今仍未有較大本質上的改變。目前雲端儲存的供應商,主要是擁有全球各大數據中心的大型企業,以及中小型 IT 公司。 而就目前看起來,下一波的產業轉型,很可能發生在點對點 (P2P) 的協作式儲存領域 — 也就是"去中心化儲存網路"。

其實,去中心化儲存的概念行之有年。 在 2010 年初,計算機科學家們便開始著手建立去中心化儲存網路。 值得一提的是,2014 年,Juan Benet 創立了 Protocol Labs,並於 2017 年,推出當時最大的 ICO 之一,募資高達 2.05 億美元的項目 — Filecoin

IPFS/Filecoin 和其他去中心化儲存協議,諸如 Sia、Storj、Arweave 和 DeNet 等,成為了去中心化運動的重要推手,亦是中介體系的終結者。

如同比特幣取代傳統銀行,去中心化儲存亦將取代中心化雲端儲存,捨棄中介服務(例如 AWS),改以 P2P 軟體和加密保護機制,建立新一代的儲存系統。

龐大的市場

與比特幣一樣,去中心化儲存擁有巨大的潛在市場 (TAM) 。 Lueth、Wegner 和 Hasan 的研究指出,公共雲端計算(public cloud computing)的潛在市場高達 2 萬億美元,樂觀的情況可上看 10 萬億美元,而保守估計也有 6 千億美元。 這些預測是基於 2021 年的數據推算,當時的市場規模約為 1570 億美元,公共雲端服務的使用量估計在 15–25%之間,預計未來將增長到 50–75%。

Source: IoT Analytics

將人類最寶貴的數據資料,託管於去中心化儲存網路,這樣的嘗試,不僅是為了公共利益,也是參與未來千億美元市場的一次機會。

Web3 應用服務結合去中心化儲存網路,將產生更多機會,獲取更大的利益。 當我們的儲存方式從 Web2 進化到 Web3,試著了解其背後運作機制的演變,對人們來說非常重要。接下來將告訴您:為什麼 Web3 儲存才是未來。

市場狀態

自 2021 年初以來, NFT 進入主流市場並快速增長,人們對 Web3 的興趣亦逐漸提升,與此同時,以區塊鏈為基礎的去中心化存儲技術再次浮出檯面,獲得了大量關注並迅速傳播。 行業開發人員亦開始加緊腳步學習新的技術,試圖不依賴 AWS 這類中心化設施,以及其提供的儲存和運算服務。

結合區塊鏈技術的新世代雲端儲存系統,不僅符合 Web3 去中心化的精神,也比中心化的雲端儲存更具潛在技術優勢。儘管目前仍屬拓荒時期,但已有一些前景可期的新星項目。

就使用率和儲存量而言,Filecoin 是這新興市場中的霸主,被喻為 “P2P 版本的 AWS”或許並不誇張,因為它的可用儲存空間是其主要對手 — Storj 的八倍以上。 且其市值遠高於其他競爭者,如下圖所示。

Source: CoinMarketCap

在這個持續增量的市場上,Filecoin 只是其中的一個項目。還有能與 Filecoin 相匹敵的: Sia 、 Storj 以及永久儲存市場的領導品牌 Arweave。

任何一去中心化儲存協議,其背後的技術,皆是為了達成兩個終極目標:

  • 資料可用性 — 當存取、使用雲端上的資料時,過程快速、正確且安全。
  • 資料完整性 — 儲存於雲端上的資料,能夠始終保持其精確性及一致性。

除了上述之外,去中心化之於雲端儲存,還有其它更多好處。

去中心化儲存如何運作

要成為 Web3 架構的去中心化儲存系統,關鍵在於其必須使用“無須許可的節點網路”,也就是說,任何人都可以成為網路節點,貢獻儲存容量並獲得獎勵。

無須許可的去中心化儲存網路,創造了基於儲存供需的自由市場。 Filecoin、Sia 和 Storj …這類協議,透過積極利誘礦工進行冗餘備份(storage redundancy),讓市場機制得以發揮。而 Arweave 這類協議,則是假設市場競爭最終可達成冗餘備份,以致於其市場機制較隱晦。

透明、去中心化的 Web3 精神,是這些去中心化儲存協議的核心理念,能夠根據用戶喜好、使用場景,提供數種不同程度的方案,例如:

1. 抗審查 — 沒有任何人可以刪除你的內容,同時,自由市場機制亦代表數據不會僅由單方掌控。

2. 復原力 — 藉由自由市場機制達到冗餘儲存,保證資料完整性。考量到去中心化儲存比傳統中心化儲存更為複雜,冗餘儲存對於數據保護至關重要。

3. 低成本 — 理想情況下,自由市場競爭提升定價效率,能夠比中心化的雲端儲存成本更低。

在 Web3 去中心化的過程中,如何透過去中心化的方式保存大量數據,是當前主要的難題之一,同時也必須認知到,若將數據直接儲存在比特幣或以太坊這類主流的區塊鏈上,其成本極高,這些區塊鏈並不適合儲存大型檔案(例如,NFT 元數據和媒體檔)。舉個例子,若要在以太坊上儲存 1 GB 的數據,約需花費 2000 萬美元。

比特幣和以太坊為了運作上千個驗證節點,刻意限制其區塊大小和帳本容量增長率,並需要一定程度的運算能力及較高的冗於備份需求。且作為能夠容錯的去中心化共識系統,需要在所有主節點上複製、處理和儲存數據,以至於其並不適合作為大型雲端儲存的架構。

相比之下,像 Filecoin 這樣的儲存網路,則是將共識機制與文件儲存分開處理。以區塊鏈和智能合約作為激勵層,並用可驗證的共識機制來記錄當前儲存狀態。

去中心化儲存使用案例

NFT and Web3 儲存

儲存 NFT 元數據和超媒體(NFT metadata and hypermedia),是去中心化儲存的用例之一。 NFT 元數據主要是一個 JSON 檔案,內含有關該 NFT 的描述性資訊 ,例如:名稱、簡介、特徵、屬性、其超媒體所儲存的網路位置連結…等。

NFT 超媒體可以是任何一種圖形、聲音、影片格式,用來呈現數位藝術、個人圖像、數位收藏、音樂…等,也就是當人們在購買 NFT 時,所預期擁有的內容物。

2021 年初,NFT 明顯成為一種主流。 但由於區塊鏈並不適合儲存大型檔案(例如: NFT 的元數據和超媒體),許多 NFT 並未如預期般,以去中心化和安全的方式儲存。 為了保護 NFT 的內容和價值,我們必須使用去中心化存儲網路。

Web3 應用服務亦同,當前迫切需要一去中心化和可驗證的數據儲存網路。

開發工具

開發工具和其開發者社區,是去中心化儲存生態中,另一個快速發展的領域。 從整合式開發環境(IDE)、 Web 託管服務,以及改善儲存和使用體驗的各種工具…等方面來說,使用去中心化儲存可以大大精簡以下工作內容:

  • 開發環境的設計;
  • 網站託管流程;
  • 自動化的儲存管理;
  • 代碼儲存及其管理系統的設計;
  • 檔案儲存、瀏覽和分享服務的開發.

新的使用方式

理論上,去中心化儲存適用於任何用例(use case),同時還具備一些獨特的優勢,像是不可變性( immutability)、永久性(permanence)和紀錄追蹤(transaction tracking),依據儲存的性質不同,這些優勢可能更為顯著。 縱觀當前新興的去中心化儲存生態,未來還會有更多不同領域的應用服務加入其中,並整合去中心化、可持續的儲存系統,像是:

  • 元宇宙/遊戲 (Gala Games);
  • 社群網路/通訊服務 (Matrix);
  • 內容平台 (Koii);
  • 內容發布網路 (Myel);
  • 永久存儲/Web2 datasets (Lighthouse.Storage);
  • 聲音/影片 (Audius);
  • 去中心身分 (ION);
  • 去中心雲端運算平台 (Ceramic);
  • 分潤機制代幣;

上述例子僅是一小部分。目前已知超過數百個項目,正在嘗試整合去中心化儲存系統(例如 DeNet 及其開放經濟 3.0 概念)。

結論

區塊鏈、加密貨幣導向的去中心化儲存正在蓬勃發展,在 2021–2022 年間其採用率快速增長,間接證明了去中心化儲存網路的技術和激勵機制的可靠性。

去中心化儲存網路的支持者和社群,會持續開發更多新功能。從目前技術成熟度來看,尚有很多參與生態建設的機會。

然而,我們必須等到去中心化儲存更加普及時,才能真正了解此系統是否可持續、可擴展和可靠,以及是否足夠應對未來高強度的 Web 服務。就目前來說,去中心化儲存所使用的技術,和其所能夠提供的優勢,例如:低延遲內容尋址(low-latency content addressing)、物件導向的鍵值數據庫(object-oriented key-value databases)、零知識證明(zero-knowledge proofs)和經濟遊戲機制(economic games)所帶來的去信任和保證,讓我們相信,去中心化儲存的目標最終可以實現,。

而我們也必須認知到,這些去中心化儲存協議是否成功,極度仰賴於搭建其上的應用服務。目前來說,NFT 和 Web3 應用數據的儲存,是少數較具代表性的用例,然而在可見的未來,隨著越來越多不同領域的新應用相繼出現,從聲音/影片到遊戲、計算…等。最終,去中心化儲存系統會成為整個雲端儲存產業不可或缺的一部分。

以上特別感謝 “去中心化存儲:入門”(Decentralized Storage: A Primer) 的作者 Hiroki Kotabe。

--

--

Bitzzan
DeNet Азия

a crypto enthusiast. a digital artist. a pizza lover.