摘要
線下生活的線上化及如火如荼的所有者經濟催生了巨大的數據存儲需求,具備巨大的商業和應用前景;
中心化存儲由于高昂的成本、預置的存儲格式等因素難以跟上數據指數型增長所帶來的存儲容量、數據讀寫速度、安全性和數據關系的變化,由此去中心化存儲應運而生;
去中心化存儲基于區塊鏈技術,具有可擴展性強、安全、效率高、自動容錯、可靠性高、成本更低的特性;
Web 3.0的世界里,用戶海量的線上足跡和創作的線上作品創造了一個難以置信的巨大的數據王國,而這數據王國的維持依賴一個可靠穩定安全的數據存儲網絡;
元宇宙輝宏的世界里,貨幣化的虛擬物品若失去可信任的區塊鏈鏈上存儲的保護,一旦其對應的元數據和媒體數據失效或被篡改,則將會變成一張沒有承兌方的無價值支票;
現時主要的去中心化存儲方案為IPFS/Filecoin和Arweave項目,IPFS開創性地引入了激勵層Filecoin以確保數據在約定期限內的可靠存儲,而Arweave通過技術創新以期實現數據在鏈上的永久保存。
導語
2021年的夏天,一組由一萬個不規則像素組成但看起來很奇怪的小人忽然興起,讓人驚訝的是其單個頭像卻能以等價于幾千萬美金的以太坊成交;此后Bored Ape Yacht Club、Loot等成為加密市場的新寵。從加密藝術、游戲到頭像、文字,NFT的興起引燃了人們對元宇宙、對Web 3.0的無盡想象。
然而當我們在談論作為身份象征的CryptoPunk、興致勃勃地邊玩邊賺游戲Axie Infinity、酣暢淋漓地構想在元宇宙里星辰大海的征途時,我們是否想過這些數據會被存儲在哪?是否擔心這些數據可能會被篡改?沒有人會希望花了幾千萬美金的頭像因為底層數據的篡改而一文不值,沒有人會希望在元宇宙里與朋友對話的珍貴回憶因為系統宕機而永遠消失。站在元宇宙和Web 3.0紀元的起點,在數據爆發式增長的今天,我們急需一個安全、開放、自由、可靠的存儲網絡。
本文將通過介紹存儲之于Web 3.0及元宇宙的深刻意義,嘗試向讀者描繪去中心化存儲在Web 3.0及元宇宙中激動人心的應用。同時,本文還將立足于去中心化存儲的發展現狀,對不同的去中心化存儲方案進行研究和比對。
存儲的產業生態
新冠疫情的肆虐加速了真實世界與虛擬世界邊界的模糊,人們在真實世界中的工作、社交、娛樂、餐飲、購物、出行等活動幾乎都可以在互聯網世界中來執行;同時,從Web 1.0到Web 3.0,從被動的數據讀取到熱火朝天的內容創作,數據生產量發生了爆炸式的增長,并且還將以指數形式繼續增長。據360研究報告,全球數字內容創作市場預計將在2025年達到169億美金市值。如火如荼的所有者經濟模式和指數型增長的數據創造了巨大的數據存儲需求,芯片技術、算法、硬件等的發展促進了存儲技術的進步,而數據價值的釋放和數據安全的剛需又倒逼存儲技術的創新和基礎設施建設。在軟件及算法的迭代與融合中,存儲行業從傳統的磁盤存儲突破硬件的物理限制而逐漸演進到云存儲。作為區塊鏈技術的三大支柱(計算、存儲、網絡)之一,存儲對于Web 3.0與元宇宙的發展都具有重大意義——從應用角度來看,數據安全與數據主權的最終歸屬關系著虛擬世界的穩定運行;而從經濟角度來看,元宇宙與Web 3.0世界產生的海量數據存儲需求也有著巨大的商業前景。
Solana去中心化交易平臺Serum正在考慮創建新的社區代幣:金色財經報道,Solana和Serum開發商TDM Blockchain制定提案,并在周四向Serum DAO論壇提交了其建議。如果通過,這將導致為Serum DAO創建一個新的社區代幣。Serum已經有一個名為SRM的本地代幣。這個新的社區代幣將是SRM的一個鎖定版本,稱為gSRM。這兩種代幣將有1比1的關系,這意味著用戶每鎖定一個SRM代幣,就可以獲得同等數量的gSRM。
根據提案,鎖定或解鎖代幣將需要七天時間,但TDM表示,如果DAO愿意,可以選擇調整這個時間框架。主要的區別是,不是所有的代幣持有者在投票過程中都有發言權,而只是那些為此鎖定了他們的代幣的人。(the block)[2022/10/29 11:53:55]
全球數據產生量走勢圖,來源:www.slideshare.net/PerryLea/the-20-rule-how-the-seismic-growth-of-data-has-always-and-will-always-outgrow-telcom
礙于各種因素我們現時無法整體評估存儲市場的規模,但以云存儲為例,預計到2027年,全球云存儲市場規模將達到2,222 億美元,在預測期內年復合增長率達21.9%( Sneha Korad Rachita Rake & Vineet Kumar, 2021 )。
全球云存儲行業市場規模預測,來源https://www.alliedmarketresearch.com/cloud-storage-market
存儲的商業模式分為中心化和去中心化存儲,中心化存儲是將數據完整地存儲在中心化的服務器上,去中心化存儲則是采用分布式存儲技術將數據切片分散存儲在多個獨立的存儲供應商上。中心化存儲方案以高穩定性的性能、低廉的費用,滿足了企業級存儲的需求;去中心化存儲以其定制化存儲方案、經濟激勵模型、隱私性強等特點滿足了長尾企業市場的特殊場景要求。站在Web 3.0與元宇宙的交匯處,對數據安全性和用戶數據所有權的重視,去中心化存儲的重要性將愈發凸顯。
2.1 中心化存儲
中心化存儲,即將整個存儲集中在一個系統中的多套設備上,是過去大型主機時代的產物,采用有限的固定的節點數,數據訪問僅需經過一個控制器,因而具有低延遲的優點但相對費用較高、數據安全性、服務提供商的運營可擴展性低等問題。
中心化存儲系統順利運行的關鍵之一是存儲服務器穩定運轉,存儲服務器成為系統性能的瓶頸以及可靠性的焦點,對于存儲環境、硬件設備等提出了極高的要求,因而巨大的中心化存儲市場卻是巨人的蛋糕,亞馬遜、微軟、谷歌、阿里云四大巨頭合計占據了云存儲市場份額的67%。
去中心化衍生品協議Deri Protocol將進行V3升級:1月10日消息,去中心化衍生品協議Deri Protocol公告V3升級,Options、BSC上FUT Main、FUT Inno-BUSD池將進行遷移。截至1月10日,交易者只能平倉,不能開新倉。[2022/1/10 8:38:40]
2021 Q1 全球云存儲提供商的市場份額(圖片來源:https://www.statista.com/chart/18819/worldwide-market-share-of-leading-cloud-infrastructure-service-providers/)
隨著微博、Facebook等的傳播以及自我內容創作的流行,我們進入了數據以指數倍增長的時代,爆炸式的數據增長對存儲容量大小、擴充速度和數據備份等方面提出了更高的要求;用戶間實時的信息互動需要更快的數據讀寫速度和更高的安全性;同時,由于用戶自我創作產生的數據種類、數據間的關系變得更加復雜多樣化,存儲系統需要從過去單一的文件類型擴展至各種半結構化、非結構化的數據關系。而中心化存儲由于其高昂的建設成本以及行業進入壁壘,數據存儲容量、數據類型等的擴張都難以跟上數據生產的腳步,去中心化存儲由此應運而生。
2.2?去中心化存儲
就如IPFS (InterPlanetary File System)早期布道者胡飛瞳所說:“在中心化數據存儲的世界里,用戶不僅為數據存儲付費,而且還得不到很好的數據保護,這一現象必須改變。通過去中心化,用戶可以自己管理自己的數據、加密存儲、授權訪問、安全備份等等特性的實現將極大地加強用戶的隱私,也能增強數據的長期保存,同時,有望通過共享的模式大大降低費用。這是數據存儲發展的必然方向。”
去中心化存儲基于區塊鏈技術,采用開源的應用程序和算法,把數據切片分散存儲在多個獨立的網絡節點上,主張隱私保護、數據冗余備份等,并且通過對種子節點或文件上傳方提供經濟激勵使數據價值化。其中,經濟激勵模式使得用戶數據得以安全長久地保存正是去中心化存儲的點睛之筆。
當去中心化存儲遇上區塊鏈技術,便具有了可擴展性強、安全、效率高、自動容錯、可靠性高、成本更低的特性(焦仕可,2020):
可擴展性:存儲節點的數量可無限擴展,每個節點的存儲容量亦可靈活調整;
安全性:無需了解合作對方或尋求第三方的信任,存儲信息拆分成碎片分散存儲在多個節點,存儲數據的加密不僅局限于用戶和軟件終端,而且在存儲網絡的所有環節中、在信息傳輸過程中通過私有網絡訪問密鑰、零知識證明等方法進行加密處理;
高效率:同一網絡上的節點可直接共享文件;
自動容錯:由于存儲內容已分散到網絡中的許多節點上,可在數據傳輸或存儲出錯時存儲額外的副本;
社交代幣網站Rally提交了去中心化的計劃:8月19日消息,社交代幣初創公司Rally已經提交了一份提案,將自己去中心化為一系列實體--有些是公司化的,有些是社區控制的--這些實體將獨立建立Rally生態系統。該路線圖將看到這個基于加密貨幣的 \"創世幣 \"平臺被拆分為一個風險工作室、一個位于亞洲的前哨基地、一個瑞士的非營利組織、一個去中心化的自治組織(DAO)和一個特拉華州的公司,都將使用Rally的名字。投票于8月25日(星期三)結束。公司代表稱,Rally在之前未披露的代幣銷售中籌集了5000萬美元。(coindesk)[2021/8/19 22:22:50]
高可靠性:存儲系統內含的驗證機制能確保文件被完整真實地存儲,且能7*24小時供用戶隨時取用;
低成本:據悉,存儲一期《中國有嘻哈》視頻文件,按0.001美元/GB帶寬成本計算,則愛奇藝需支付給傳統存儲商一百萬美元,若采用IPFS分布式傳輸則可節省60%的帶寬成本。
去中心化存儲:Web 3.0 與元宇宙的交匯之處
3.1 去中心化存儲與Web 3.0
互聯網的起源可以追溯至1989年萬維網的誕生,如果說門戶網站開啟了Web 1.0時代,那么2003年博客的興起標志了 Web 2.0 的開端。從Web 1.0到Web 2.0,從被動的信息接收到自主創造內容與在線交互,互聯網用戶呼喚更注重用戶內容創作、易用性和互操作性的應用體驗,Web 3.0呼之欲出。正如蒂姆·伯納斯·李所說,“人們一直在問什么是Web 3.0。我想也許當你在Web 2.0上有一個可擴展的矢量圖形覆蓋層——所有的東西都在蕩漾、折疊、看起來模糊不清——并且可以訪問一個集成在巨大數據空間中的語義網絡時,你就可以訪問一個難以置信的數據資源”(Victoria Shannon, 2006)。雖然現在我們還未對Web 3.0達成一致的定義,但Web3.0應該具有以下特征( Fabric Venture, 2020):
開放性(Open):由開放和可訪問的開發人員社區構建開源軟件,并且鏈上進行的操作能被所有人查看。
去信任化(Trustless):網絡本身允許參與者在沒有可信第三方的情況下公開或私下互動。Web 3.0通過去中心化的激勵機制保證參與者遵守規則,在交易中利用區塊鏈協議的共識機制驗證賬戶的真實性和轉賬的有效性,達成去中介化的價值轉移。
去許可化(Permissionless):任何人,包括用戶和供應商,都可以在沒有管理機構授權的情況下參與。
互聯網的演化(來源:https://hackernoon.com/web-3-0-will-be-powered-by-blockchain-technology-stack-626ce3f828c7)
動態 | Melon上線AragonOS 嘗試運行去中心化治理組織:去中心化數字資產管理協議Melon的治理組織Melon Council宣布上線 AragonOS,運行去中心化治理組織Melon Council DAO,旨在提升組織決策系統的安全和透明度。Melon官方稱,AragonOS 治理系統非常強大,理論上可滿足Melon Council制定任何決策,包括協議參數變更、ENS 子域名更新、資源支出、銷毀未使用代幣等。[2019/8/14]
Web 3.0的星辰大海里,數字世界與物理世界的邊界正在模糊。用戶海量的線上足跡和創作的線上作品,如果沒有一個穩定可靠的數據存儲網絡在背后默默地記錄下,當我們興致勃勃地回望Web 3.0世界里所發生的一切,那時可能只剩下一片模糊的碎片。
3.?2 去中心化存儲與元宇宙
2021年隨著Roblox上市“元宇宙/Metaverse”概念忽然席卷了互聯網、VR/AR和金融投資界等各大行業,借著微型計算機、VR設備和以5G為代表的高速網絡技術的興起,人們來到了元宇宙紀元的門口。正如我們上一篇爆款研究報告《Metaverse全景透視:從過去看向未來》所說:元宇宙世界的點睛之筆正是其經濟系統。其一,基于區塊鏈的開放式支付和清算系統,可以滿足用戶在元宇宙世界的實時、公平、透明、快速的P2P支付需求;將元宇宙中用戶的虛擬物品或創新成果貨幣化,不僅賦予了用戶與真實物理世界近似的權益保障,更能極大地促進元宇宙資產的流通、交易并鼓勵用戶通過持續創新來獲得財富積累。而這背后,在元宇宙輝宏的世界里,龐大的用戶信息交互及創作的虛擬物品信息如若失去可信任的區塊鏈鏈上存儲的保護,一旦其對應的元數據和媒體數據失效或被篡改,那么用戶手上的 NFT 所有權憑證將會變成一張沒有承兌方的無價值支票。
The Sandbox游戲內虛擬資產,數據源:The Sandbox
3.?3 主要的去中心化存儲解決方案
3.3.1 Bittorren
最早期的去中心化傳輸方案為Bittorrent,即BT下載,由軟件工程師Bram Cohen于2003年提出,通過P2P下載的方式克服了傳統下載方式的局限性——不需要資源發布者擁有高性能服務器來傳輸資源,且下載同一文件的人越多下載該文件的速度越快,加上其免費使用這一收費模式,吸引了眾多的網民使用。然而Bittorrent下載必須使用種子文件,即下載內容的所有地址放到這個種子文件中才能下載,且客戶端只能下載種子文件內的內容。但種子文件可能隨著時間推移而減少甚至消失,這也意味著存儲的內容可能會在傳播中消失。Bittorrent 的另一個明顯的問題是缺乏激勵機制,缺失激勵用戶無償共享文件的動力。在適當的經濟激勵缺席下,只有那些廣受流行且不斷有人下載的內容才能幸存下來,而某些未能引起大眾注意的精華則可能消失在歷史的長河中,只留下一抹模糊的剪影。
CSDN孟巖:去中心化的主要優點是安全:CSDN副總裁孟巖在“3點鐘無眠區塊鏈”群中分享道,去中心化的優點主要還是安全,要說效率高,肯定是一個正義的中心效率最高,但是中心容易異化,在中心的人會傾向于人為提高交易成本,為自己謀取私利,所以要么對中心進行有效的監督和審計,使之保持正義,要么就去中心化,以較低的效率換取較低的人為交易成本。
但現在有些去中心化系統的設計本身就試圖在中心化和去中心化之間尋找平衡點,比如 DPOS,我覺得基本上就是中心化記賬,分布式監督,孟巖認為有必要觀察一下 EOS 今年會如何發展。[2018/2/19]
3.3.2 IPFS/ Filecoin
IFPS(InterPlanetary File System)是2015年提出的另一去中心化存儲方案,克服了bittorrent的不足——可存儲內容的多個版本、可預下載內容,進而實現去中心化、快速、高效率、可靠性、安全的內容存儲。值得注意的是,IPFS又開創性地引入了激勵層Filecoin,通過通證激勵機制以確保文件在約定期限內的可靠存儲。
Filecoin允許任何個體利用空閑的硬盤空間和帶寬在公開市場上提供數據存儲和檢索服務,將未用硬盤容量貨幣化,并通過PoRep(復制證明)和 Post(時空證明)來保證礦工真實存儲文件的情況,防止女巫、生成、外包等虛假存儲數據的攻擊。簡單來說RoRep是證明礦工真實存儲了數據,而Post則是證明礦工一直將該數據存儲在自己的硬盤中。運作原理如下圖:用戶通過發布訂單尋找合適的存儲礦工,數據加密并分割后發送至礦工,礦工將該信息添加至存儲區塊進行存儲并持續證明其工作以獲得獎勵。
IPFS工作原理圖,圖片來源:https://www.8btc.com/article/613165
當然,filecoin的這種模式并不意味著它就是完美無缺的。IPFS挖礦需要專業設備—GPU礦機而使挖礦成本較高,行業進入壁壘的提高導致普通個體可能無法直接參與存儲挖礦,進而全網總存儲將向少數存儲供應商或大規模礦池集中。這從某種程度上來說,IPFS所構想的完全去中心化在執行過程中又變成了少數供應商壟斷的“中心化”存儲。
Filecoin主網于2020年10月上線,目前已有3,175個活躍節點,主要遍布于北美、歐洲、中國、韓國等。截止21年10月14日,Filecoin全網提供了12.393 EiB 有效算力,當前基礎費率為0.1052 nanoFIL,封裝32G存儲花費4.958 Fil/TiB。
Filecoin節點分布圖,圖片來源:filscan.io/statistics/map
Filecoin基線與算力走勢圖,圖片來源:filscan.io/statistics/map
伴隨著filecoin底層網絡和基礎設施的完善,其網絡效應發展的前期紅利吸引了更多的應用來布局。截至目前,filecoin已建立起一個涵蓋“消費者存儲應用、數據市場、數檢索、NFT、Defi、可驗證存儲和隱私”等領域的生態環境,如Fileswan、NFT Stororage、Opera、Livepeer等項目。
Filecoin生態圖,圖片來源:https://github.com/filecoin-project/community/discussions/194
3.3.3 Arweave
與Filecoin將數據存儲在鏈下不同,另一存儲方案Arweave將數據內容直接存儲在區塊網中,是主打永久存儲 + 鏈上存儲的去中心化存儲方案。如下圖所示,Arweave方案分為兩層架構:底層的區塊網絡 Blockweave和上層基于 HTTP 構建的 Permaweb。Arweave項目的技術亮點正是其底層Blockweave網絡:
Blockweave:
項目采用了全新的區塊鏈網Blockweave——基于共識機制和特定的出塊模式,即將之前所有區塊的哈希值做成一個哈希列表并將系統中所有活躍錢包做成一個列表,礦工通過檢索哈希列表和錢包列表來完成驗證工作,而無需像BTC、ETH等節點一樣去驗證整個節點,這種方式減少了能源消耗并提高了節點工作效率。
激勵算法Wildfire:
與Filecoin需要持續性地收取存儲費用不同,Arweave只在數據寫入時收取一次性的永久存儲費用,之后用戶讀取數據都是免費的,為了鼓勵節點對數據讀取請求作出響應,Arweave引入了激勵算法widfire。簡單來說,Wildfire就是一個節點評分系統,根據節點發送新交易和區塊的次數以及響應請求的速度來讓每個節點對其他節點排名。從相鄰節點得到的可靠數據越多則給對方的評分就越高,相應地出塊概率就越大。
智能網SmartWeave:
Smart Weave將智能合約執行的計算負擔從節點轉移到了用戶,即Arweave網絡中只存儲了應用程序的所有數據,這些數據將以代碼的形式提供給瀏覽器或其他客戶端應用程序,因而使得Arweave能支持需要大量計算的Dapp。
Arweave 架構
雖然Arweave存儲方案將數據保存在鏈上,能保證數據的不可篡改、“永久存儲”和所有人公開訪問;然而這種模式也具有一定的弊端。其一,數據的不可篡改導致任何改動都只能通過上傳新數據,這將造成一定的迭代成本。其二,為了保證數據的永久存儲,Arweave需要不斷吸引新的節點加入同時確保節點的邊際收益大于邊際成本,然而Arweave節點數一直在減少,目前僅有146個節點,較2020年5月的490個節點減少了70%。
Arweave節點分布圖,來源:https://viewblock.io/arweave/stats
Arweave主網于2019年1月29日上線,并于2020年5月推出具有捆綁交易存儲功能的Arweave 2.0版本,鏈上交易量在2021年開始發力并于今年9月達到頂峰(9月日均交易量超8萬筆)。Solana 上Metaplex Candy Machine的推出以及 ipfs2arweave 跨鏈橋的推出等造就了Arweave的亮麗表現。
Arweave交易量統計,來源:https://viewblock.io/arweave/stat/txCountHistory
縱觀 Arweave 生態項目,目前較為活躍的是 NFT、DeFi 及基礎設施賽道,如Koii、Limestone等項目,目前生態還處于建設的早期階段。
Arweave 生態一覽(圖片來源:鏈聞)???????
展望
站在Web 3.0與元宇宙的交匯處,對數據安全性和用戶數據所有權的重視,去中心化存儲的重要性將愈發凸顯。去中心化存儲與中心化存儲在存儲空間來源、帶寬來源、安全性、使用方式等多個維度的差異,導致現時去中心化存儲的規模和性能遠遠不如中心化存儲系統。雖然IPFS、Arweave等項目通過不同的“非中心化”設計方式彌補了其不同的缺陷,并引入通證激勵使全網存儲總規模擴大,但是項目方與用戶的利益不一致、費用結構的等因素阻礙了項目的快速拓展,其生態構建尚處于早期階段,未來需要在費用、節點量、用戶量之間找到平衡,實現規模與性能的兼顧。
去中心化存儲方案的對比
我們期待隨著元宇宙和Web 3.0紀元的開啟,網絡的“飛輪效應”使去中心化存儲能迎來應用爆發的浪潮,期待存儲技術的改進和經濟激勵模式的優化,去中心化存儲這一賽道能有長足穩定的發展。
參考文獻
Cloud Storage Market (2021), Sneha Korad Rachita Rake , Vineet Kumar, https://www.alliedmarketresearch.com/cloud-storage-market
分布式存儲——千億存儲市場的藍海大戰,https://www.8btc.com/article/613165
2020分布式存儲產業鏈研究報告(2020),焦仕可 https://www.jinse.com/news/blockchain/835473.html
A 'more revolutionary' Web(2006), Victoria Shannon,https://www.nytimes.com/2006/05/23/technology/23iht-web.html
What Is Web 3.0 & Why It Matters (2020), Fabric Venture,https://medium.com/fabric-ventures/what-is-web-3-0-why-it-matters-934eb07f3d2b
IPFS and Friends: A Qualitative Comparison of Next Generation Peer-to-Peer Data Networks (2021), Erik Daniel and Florian Tshorsch
出品:LD Capital Research
作者:Betty、YY
研究員:James Kuo、Noise Zhou、Lightmanben
10月11日,比特幣站上57000美元/枚,為5月12日以來首次。 據CoinGecko數據顯示,當前加密貨幣市場總市值為2.43萬億美元,比特幣市場占有率為44.0%.
1900/1/1 0:00:00澳大利亞內政部長安德魯斯表示:“這項強硬的計劃旨在阻止國際黑客針對澳大利亞本土企業的攻擊。”今日,澳大利亞聯邦政府發布一項針對勒索軟件攻擊的計劃,要求年收入在1000萬澳元及以上的企業在遭受勒索.
1900/1/1 0:00:00譯注:在過去這一年, NFT作為新興的商品形式,頻頻出現公眾視野,而與NFT聯系最密切的一個企業,OpenSea,已默默發展了幾年.
1900/1/1 0:00:00首次紅包發放的參與人數、金額 在試點城市位居前列 首次舉辦主題為公共交通出行的 數字人民幣試點互動 首次將數字人民幣 應用于產業政策兌現領域 …… 半年前,成都數字人民幣開始試點半年過去.
1900/1/1 0:00:00七國集團(G7)本周一直在討論央行數字貨幣(CBDC),認為它們應“不帶來損害”,并符合嚴格的標準.
1900/1/1 0:00:00在 Litecoin 10 周年之際,創造者 Charlie Lee 通過 Twitter 線程向我們口述了“歷史”.
1900/1/1 0:00:00