Foresight Ventures: Crypto-Native索引協議與Keeper網絡

原文作者:ForesightVentures

0.中間件安全性問題

現有的Indexing協議和Keeper網絡都不是完全trustless的,而是trusted,或者看似trustless的.開發者和用戶需要以“Trust,NotVerify”的方式來信任這些產品不會作惡.

它們都是上一代的基礎設施,在當時可能確實沒有太好的解決方案,所以用了Fisherman機制或者DAO治理(SocialConsensus…),來保證數據的可信和協議的安全運行.

在當前,各個zk方案已經進入性能優化的收尾階段,這些前朝的劍,就不能再來斬本朝的官了.通過zk,可以實現Web3中間件的所有革新,確保安全性,去中心化,和性能被同時滿足,就如同OptimisticRollup在未來很可能會被zkRollup搶走Layer2的主導地位一樣.

1.Web3Indexing

a)Web3索引

我們首先需要了解為什么需要Web3特制的索引協議:

Web3是地址模型,智能合約數據以交易形式存在,需要索引來讓數據結構更加易用;Web2的數據結構開發者自己處理.

Web3的很多數據都是交易相關數據;Web2被索引的數據很大一部分都是搜索引擎索引的網頁或者圖片等數據.

Web3需要通用索引協議來發揮可組合性;Web2開發者自己根據自己的中心化應用搭建索引服務.

對于這幾點,如果你在DApp的開發中,硬是要自己來進行索引,那么每當去提取合約中的特定數據,需要非常大的前端代碼量,以下是一個例子,真的要建立一套服務的話需要無數個不同的函數:

于是在我們之前的DApp架構圖中,前端要使用和獲取智能合約的數據時,就必備一個通用的Indexing協議作為中間層,來讓智能合約的數據能被前端所輕松使用.

Lifeform自營商城30日NFT成交易額超350萬美金:5月21日消息，Lifeform自營商城30日NFT成交易額超350萬美金，在BNB Chain所有NFT交易市場中占據35.59%的份額，僅落后于OpenSea，目前Lifeform Marketplace支持交易的NFT合集僅有Lifeform生態及孵化項目，包括Lifeform Avatar，Lifeform Cartoon，Lifeform POAP，HALO Avatar，HALO WORLD Item， Lifeform Item，HALO World Original Citizens。[2023/5/21 15:17:06]

b)GraphQL索引

我們需要一個Indexing協議作為中間層,那么這個協議該如何選型呢(TheGraph19年有講過Web3為什么要用GraphQL,但是感覺說得不太清楚)?我們有四個潛在選擇.

首先,排除SOAP.因為它的采用率非常少,學習曲線也非常陡峭.甚至有人說“RESTisking,andSOAPistrash”.

其次,排除RPC.RPC是客戶端對區塊鏈,或者Web2服務與服務之間的常用調用規范,以操作(動詞)為核心,接口的更新更加麻煩一些,適合客戶端與區塊鏈網絡的通信.但對于我們的智能合約開發場景來說,太重,不是最適合,性能也因為請求數量多,和需要依賴正在運行的程序,而導致不太好.

接著,排除REST.REST風格算是以資源(名詞)為核心來操作的規范.但是Web3應用中,對任何資源進行更新操作的動作都需要用戶或者其他方授權觸發,我們在索引協議中的請求全部是GET請求,那就沒必要REST了.

最后,選擇了GraphQL:

GraphQL協議本身的構建工作量相比其他標準更小,更不需要變化,更容易搭建通用的協議.

NFT游戲協議Aavegotchi新提案AGIP 61通過，擬進行“Forge”升級改善可穿戴裝備市場:金色財經報道，Aavegotchi DAO 的社區成員本周一（2月13日）已完成投票，宣布推出“Aavegotchi Forge”，這是對該加密藏品游戲的最新升級，旨在改善Aavegotchi的可穿戴裝備市場。作為一種“開源、社區擁有的 NFT 游戲協議” ，Aavegotchis 鏈上藏品 NFT具有三個屬性（質押、特征和可穿戴裝備）并尤其決定NFT價值和稀有性。本次提案提案集中在可穿戴裝備上，這是 Aavegotchi 協議的一項基礎資產，為每個NFT提供了時尚裝束，并能在游戲中表現更好。（雅虎財經）[2023/2/14 12:04:54]

GraphQL的交互形式給了前端更多的自由度,由前端定義結果,符合DApp結構中的無后端思想.

GraphQL非常適合區塊鏈中完全開放且不易變,同時有非常多樹狀結構數據的智能合約場景,性能上也會因此更好.

GraphQL在區塊鏈中已經有TheGraph針對單個智能合約的索引制定了成熟標準,也早就有對整條鏈的GraphQL接口(ethql,Clear),成熟度高,開發者生態也被培養得很好.

除此之外,我并不認為我們需要花非常多的時間去開發新的存儲網絡的GraphQL協議和Query協議(當然這些索引的聚合是有意義的):

存儲網絡大多都自帶可用的索引協議,如Arweave的GraphQL服務,開發新的協議是在重復造輪子.

存儲網絡上的數據相對于合約數據或者Web2數據量都非常小,同時所承載的價值也相對來說更小.

Web2已經有更加成熟的協議和方案來進行這些數據的索引,開發新的協議依然類似是重復造輪子.

當我們討論索引協議的時候,默認的都是從前端直接獲取區塊鏈智能合約的數據,這是因為我們在前文中就闡述過,消除后端服務器對Web3Crypto-native可信DApp的意義.

元宇宙游戲開發商Bison已推出Forgottent Runiverse的首個可玩演示:金色財經消息，元宇宙游戲開發商和發行商 Bison 已推出其大型多人在線角色扮演游戲 Forgottent Runiverse 的首個可玩演示，玩家將能夠探索游戲的不同區域，并在 Runiverse 中尋找青蛙，這些青蛙將授予游戲內的道具，并在即將到來的土地出售的允許列表中獲得改進的位置。

Forgottent Runiverse 是一款基于 NFT 系列 Forgottent Runes Wizard's Cult 的大型多人在線角色扮演游戲（MMORPG），Bison 自去年年底以來一直在與區塊鏈工作室 Machine Magic 合作開發，希望在 2023 年初發布 V1.0 版本。[2022/6/21 4:41:51]

硬要加上針對智能合約鏈的后端的話反而徒增架構復雜度和暴露更多的不可信因素(目前有zk-sql等項目在專注于相關問題,但無法完全解決;也有Sqlidity這樣有趣的鏈上SQLite方案),當然對于基于存儲協議的DApp來說,SQL化的語句對開發熟悉度和流程來說是有必要的.

索引協議需要關注的結構應該是前端能直接使用的GraphQL結構.

c)現有Web3GraphQL索引協議問題

現有的IndexingProtocol的龍頭必然是去中心化的TheGraph和PocketNetwork和中心化的Alchemy.無論是中心化還是去中心化,它們都各有各的問題:

中心化IndexingProtocol問題:

無法抗審查

無法保證服務高可用性

現有去中心化IndexingProtocol問題:

信任模型和安全性依舊差(攻擊Subgraph的成本非常低,機制和Chainlink2.0一樣,是靠“更可信”的Fisherman來舉報)

Bondly與TheForce.Trade達成最新合作關系:據官方消息，Bondly與TheForce.Trade達成最新合作關系，Bondly的Binance智能鏈（BSC）啟動板合作是與TheForce.Trade進行，在BSC錢包中擁有超過10,000個BONDLY的代幣持有者，在所有剩余卡片供其他參與者購買之前，將有一小時的先到先得的機會。

據悉，TheForce.Trade是一個數據聚合平臺，利用可定制的智能合約來簡化所有級別的DeFi和NFT用戶的投資過程。

Bondly是一個可操作、透明的、可移植交換協議，旨在改變傳統的托管方法，賦予下一代NFT創造者權力。Bondly的目標是使用基于藝術、游戲、動漫、音樂和品牌的NFT，為非加密貨幣受眾加入加密貨幣世界搭建橋梁，同時提供去中心化的金融。[2021/4/26 21:00:55]

性能無法滿足需求

對于安全性的問題,Fisherman機制在OptimisticRollup中的體現與IndexingProtocol所不同,OptimisticRollup的數據是鏈上的,更大的群體可以通過執行輕松驗證,而Indexing的過程是鏈下的,如果并非Subgraph的indexer的話,很難去對錯誤數據進行挑戰.這就導致信任模型更不穩固.

這幾個缺陷結合在一起,就導致了大的DeFi應用因為性能和安全性而很少使用這些索引協議,這個市場有著巨大的空缺.

d)ZK解決智能合約索引協議問題

ZK其實是個非常好的解決方案,任何的Optimistic機制的問題都可以通過轉為ZK來解決,比如Rollup這個最顯著的領域.

ZK化之后的索引協議兼具了中心化和去中心化協議的所有優點,包括高可用性和抗審查(多個節點保證uptime),性能極佳(因為ZK的存在所以可以選用中心化高性能節點),安全性(ZK的數學密碼學很好地保證安全性)

dForce白皮書：代幣DF總量10億枚，團隊持有20%分三年解鎖:去中心化協議Dforce 7月3日在Github上發布白皮書，代幣DF總量為10億枚，合約地址已部署在以太坊網絡上。根據白皮書顯示，DF代幣分配及解鎖期如下：

20%分配給投資人、項目顧問和早期支持者，兩年逐步解鎖。

20%通過期權的方式分配給團隊和員工，從2019年第四季度開始，三年逐步解鎖。

25%將進入引力池。引力池的用途廣泛，包括流動性挖礦、權益質押獎勵和其它多種社區參與獎勵。團隊將根據每個方案的金額、時間、期限和解鎖期逐一進行評估。

參與，此外還有各種不同的衡量指標。一旦引力池的代幣被消耗光，將會從生態系統和基金會的池子里撥入更多的代幣。

10%分配給生態系統，從2020年第二季度起，分三年逐步解鎖，這部分代幣是用來支持生態項目的開 發和啟動，激勵合作、為社區項目提供資金支持，同時也可以用作募資，并在引力池耗盡時提供額外 的資助。Better Future的空投份額來源于生態系統池。

25%分配給基金會，從2020年第三季度起，分三年逐步解鎖，用于為dForce網絡提供一般性支持，包 括并不限于為項目的發展提供資金支持、生態網絡支持、長期激勵，并在引力池耗盡時提供額外的資助。代幣于2019年Q4季度開始解鎖，截至2020年Q2季度（2020年6月底）已有11.88%的代幣完成解鎖。到2020年Q3季度將會解鎖75%的DF代幣。[2020/7/3]

對于一個索引協議來說,ZK的方案:

不需要EVM兼容性.

注重整體性能,需要保證VerifiableQuery的速率.

TheGraph自己也意識到了自己的機制安全性的不足,正在琢磨Shellproof.

但是我認為TheGraph目前的研究和開發進度還是慢,不知道Shellproofs是否能支持全部subgraph的運行.而且TheGraph已經在現有的機制上花了這么多功夫,去替換這個機制的難度甚至比重新建立一套還要高.

一個真正實現了zk化的TheGraph的應用可以構建出新的應用與開發范式:

任何DeFi應用都可以信任這個索引協議的數據,大大簡化了開發流程.

多鏈應用可以同時可信使用多鏈和多協議的數據,用戶體驗上會得到巨大提升(StandardizedSubgraph).

通過這樣的思路,我們可以理解zk化的TheGraph實際上是一個去中心化RPC,這遠比TheGraph的敘事宏大,而是真正能實現Infura所在追求的去中心化.

2.Web3KeeperNetwork

在之前Crypto-Native應用架構的文章中,我們提到過Keeper.

它本質上就是,一個鏈下定時器到了特定時間就觸發智能合約的某個功能,類似:

Linux里的CronJob

WebAPI(不是JS)里的setTimeout和setInterval

它的用處具體包括:

鏈上預言機價格更新(之前提到的UniswapV2TWAP)

交易,投票,清算機器人

自動化挖提賣

然而,和我們之前提到的TheGraph類似,它的安全性機制是很落后的,甚至還不是TheGraph這樣的鏈上治理,而是鏈下通過DAO和SocialConsensus的舉報機制人工檢舉揭發非法節點.比如下圖中,Gelato的架構圖,整體功能很清晰,但每個組件都沒有體現出有任何安全性的保證.

以兩個典型的KeeperNetwork為例,它們的安全性機制是:

Gelato:目前的Keeper服務執行節點不是Permissionless的,而是在白名單上的節點才可以參與.Gelato預計在未來去中心化之后,通過StakeandSlash機制和DAO來保證網絡安全性.但是去通過DAO來懲罰一個非法節點需要一周,這樣緩慢的決策對一個需要高頻運轉的服務來說,我認為是完全沒法接受的.

Keep3rNetwork:和Gelato類似,也是Watcher監督,發現非法行為則舉報給DAO.但機制闡述得更加詳細,雖然依舊是很差的機制,需要大量的人工交流和漫長的步驟.

就像我們剛才提到的Indexing協議一樣,Keeper也完全可以通過zk化來解決安全性的問題,同時甚至可以Gelato的off-chainresolver也是用GraphQL定義的一個subgraph,但和TheGraph沒有安全性保證.這兩個問題就可以被一起解決了.

這樣一個帶可信off-chainresolver的zk化Keeper可以解鎖無數新的應用場景:

復雜策略的交易機器人

跨Cluster/跨鏈/跨區塊/跨DEX的套利/做市機器人

ProgrammableLiquidity(調整區間,JIT,復投,Rebalance)

3.Crypto-NativeZKInfra

在zkEVM和通用zkVM的最底層infra成熟的過程中,我們已經可以嘗試去基于和使用它們來建立開發者可以直接使用的infra,包括我們構想中的這些zk化中間件.

ZK作為一個典型方案,是像AMM一樣的創新驅動重要因素.ZK和AMM分別解鎖了比Optimistic和OrderBook機制更自動化和更可信的應用運轉,讓安全性在鏈上完全透明公開可驗證,同時也分別解鎖了證明外包和Swap聚合器的額外賽道,解鎖了無數新的應用.

除了擴容/跨鏈輕節點/隱私/機器學習以外,ZK作為完全適合區塊鏈場景(網絡全體做驗證,極其自動化,甚至比網絡共識更強的安全性)的密碼學方案,在Indexing協議與Keeper網絡這些中間件賽道中也大有可為.我們也將持續關注ZK在更多領域中的應用.

關于ForesightVentures

ForesightVentures押注加密貨幣未來幾十年的創新歷程，旗下管理多支基金：VC基金、二級主動管理基金、多策略FOF、特殊目的S基金「ForesightSecondaryFundl」,總資產管理規模超過4億美元。ForesightVentures堅持“Unique,Independent,Aggressive,Long-term”的理念，通過強大的生態力量為項目提供廣泛的支持。其團隊來自包括紅杉中國，中金公司，谷歌，比特大陸等頂級金融和技術公司的資深人士。

Website:?https://www.foresightventures.com/

Twitter:?https://twitter.com/ForesightVen

Medium:https://medium.com/@foresightventures-zh

Substack:https://foresightventures.substack.com

Discord:https://discord.com/invite/maEG3hRdE3

Linktree:https://linktr.ee/foresightventures

RelatedLinks

1a:

https://youtu.be/L2Cb_BljErY?t=20215

https://github.com/timoth-y/zk-SQL

1b:

https://levelup.gitconnected.com/comparing-api-architectural-styles-soap-vs-rest-vs-graphql-vs-rpc-84a3720adefa

https://medium.com/graphprotocol/graphql-will-power-the-decentralized-web-d7443a69c69a

https://www.youtube.com/watch?v=NFw0HznpLlM

https://twitter.com/graphprotocol/status/1580218576933253121/photo/1

https://github.com/ConsenSys/ethql

https://medium.com/dsys/ethereum-meet-graphql-c28f3402fe8f

https://github.com/hananbeer/sqlidity

https://www.youtube.com/watch?v=dh-Dj7otGy0

1c:

https://ercwl.medium.com/whats-wrong-with-the-chainlink-2-0-whitepaper-for-simpletons-d50f27049464

1d:

https://www.youtube.com/watch?v=B2X7D-hxVtQ

Tags：GraphAPHGRAPRAPCryptographic Ultra MoneyGraphLinq Protocolethnographyethnographyofspeaking

FIL