AFK:彩虹橋上的棱鏡塔：Web3 與中間件 — Kafka

來源：ConfluentKaiWahner?編譯：Masterdai

一：背景和展望

早在2016年InfoQ的國際會議上，KaiWahner?發表了一場演講名為《區塊鏈——中間件的下一件大事》。他在當時提出了一種新穎的基于區塊鏈數據和中間件的參考架構，這一套架構現如今被大量的技術集成商和供應商所采用。

然而，他并沒有加入任何一家加密初創公司。而是在2017年加入了Confluent，因為他認為“通過事務和分析型工作負載來處理任何規模的動態數據是更加重要的范式轉變。”對于加入Confluent?這個決策Kai認為他是正確的，正如同Kai在博客中寫道，“現如今大部分的企業都利用Kafka作為MQ、ETL和ESB工具的替代中間件，或者使用無服務Kafka實現云原生iPaaS。”

故事并沒有在這里戛然而止，區塊鏈、加密技術和NFT的出現和規模化采用激增了對中間件等開源基礎軟件的需求。出于充分的理由，有許多的加密市場網站、區塊鏈監控基礎設施和托管銀行建立在Kafka之上。這些客戶成功的關鍵就在于將區塊鏈、加密貨幣與企業服務軟件、數據庫和數據湖進行了集成。

如果我們把Chainlink這類預言機比作一道連接鏈上網絡和鏈下世界的彩虹橋，而像Kafka、Flink?這樣的中間件就是用來折射虹光的棱鏡塔。

二：什么是中間件

中間件是位于操作系統和在其上運行的應用程序之間的軟件，其支持分布式應用程序之間的通信和數據管理。它有時候也被稱為管道，因為將兩個應用程序連接在一起，因此數據和數據庫可以輕松地在“管道”之間傳遞。常見的中間件包括數據庫中間件、應用服務器中間件、面向消息中間件等等。換句話說，它實現了一組\一個應用程序與另一個\一組應用之間的對話和通信，就像是一個跨國派對中的中間介紹人加翻譯。而Kafka就是消息中間件的一種。

Near彩虹橋因異常活動已暫停使用，官方正在調查:5月1日消息，Aurora CEO Alex Shevchenko發推特稱，彩虹橋發生了一些奇怪的活動，此刻跨鏈操作已停止。并稱，請等待更新，目前還沒有發現大量資金變動。 此前有用戶反饋，彩虹橋暫時無法取款。[2022/5/1 2:43:59]

ApacheKafka

Kafka?是一個開源分布式事件流處理平臺，最初由2011年在LinkedIn創建并且開源。

Kafka?通過三個關鍵功能使得用戶可以搭建一個實現端到端解決方案的事件流

發布和訂閱事件流，包括從其他系統持續導入或導出數據。

持久并且可靠的存儲事件流。

處理瞬時發生或者回顧發生的事件流。

事件流：以流式事件的形式將數據從各個數據源進行抓取；為后續的檢索進行持久的存儲；以實時和可追溯的方式操縱處理和響應事件流；并且根據需要將事件傳遞到不同目標的技術。事件流確保了數據的連續流動和表達，從而使正確的信息在正確的時間出現在正確的位置。

ApacheKafka?的用例

消息傳遞：Kafka可替代傳統的消息代理。消息代理常被適用于數據存儲和處理的解耦，緩沖未處理響應的消息等等。

網站活動跟蹤：將跟蹤用戶活動的管道重建為一組實時的發布—訂閱源。將用戶在站點的活動發布到中心主題，每一個活動類型都有一個主題。這些訂閱源可以用于訂閱一系列用例，包括實時處理、監控以及加載到Haadop或者離線數倉系統進行處理和報告。

日志聚合：使用Kafka作為日志聚合方案的替代品。日志聚合通常從服務器收集日志文件，并將它們放在一個中心位置進行處理。Kafka抽象出文件的細節，并將日志或事件數據抽取為更清晰的數據流，這使其在多個數據源和分布式數據庫情況下擁有更低延遲的數據處理。

Near與以太坊跨鏈彩虹橋已正式上線，支持任何ERC20代幣:4月6日消息，公鏈項目NEAR宣布，NEAR-以太坊跨鏈工具彩虹橋已正式上線，所有ERC-20系列通證可以在NEAR和以太坊之間實現無縫轉移。彩虹橋是一種無需信任的、無需許可的通用性協議，可以用來連接多個區塊鏈，不局限于以太坊。彩虹橋協議無需信任任何人，只需相信它所連接各個鏈的共識是安全的。通過使用彩虹橋工具，開發者能夠通過NEAR和以太坊中任意一條鏈訪問另一條鏈應用狀態，最終這一范圍將擴展至任意一條區塊鏈。通過彩虹橋將同質化通證轉移至NEAR用戶，可以利用NEAR所能提供的1~2秒交易時間、低交易費（通常低于1美分）和較低跨鏈轉賬費用優勢。[2021/4/6 19:51:42]

三：kafka和web3的關系

下圖是一個非常經典的Dapp技術實現原理，但他卻給了很多人一個錯覺。似乎只需要一個前端來向以太坊網絡請求數據，就能夠實現鏈上和鏈下行為的交互了。在實際的開發過程中，往往會更加復雜，并且會在區塊鏈后端和前端之間增加一層結構。

在這樣的一層結構中我們可以實現：

Kafka?以側鏈或者鏈下的方式來進行大規模實時數據計算；區塊鏈技術與企業其他軟件部分的集成，包括CRM、大數據分析、和任何其他自定義的業務應用程序。即Kafka作為區塊鏈集成的中間件。

在加密企業架構中更加普遍的用例是利用Kafka作為區塊鏈與企業應用程序之間的可擴展實時數據中心。下面是一些例子，并且探討一些Kafka可以提供幫助的技術用例

3.1.Kafka作為元宇宙的數據中樞

Near Protocol 發布以太坊彩虹橋升級和治理方案:3月4日消息，開放性網絡平臺NearProtocol發布以太坊彩虹橋升級和治理方案，并計劃在3月16日結束討論，形成對可升級性計劃的最終決定。

Near團隊建議以太坊彩虹橋合約的可升級性使用分階段的方法：早期階段將會有簡單的可升級性模型，治理模式將更為中心化，之后會發展為更為去中心化的方法，總共將分為4個階段推進。[2021/3/4 18:15:52]

零售商家和用戶之間的交流必定是實時的，無論你是想要賣實體的衣服、手機、或者在NFT交易市集之中和虛擬人商家進行討價還價。而以下架構通過編排各種加密和非加密應用程序之間的信息流來實時支持任何規模的虛擬世界架構。

3.2.Kafka在加密交易、市場中作為數據中樞的角色

用戶在移動錢包執行比特幣交易。實時應用程序監控鏈下數據、關聯數據、在儀表盤中顯示并發送推送通知。另外一個完全獨立的部門在批處理的過程中回放來自Kafka日志的歷史事件，以使用專用分析工具進行合規性檢查。

Kafka?生態系統中提供了許多功能，可以將來自區塊鏈和加密世界的數據與來自傳統IT的數據一起使用。

四：Kafka可以提供的技術用例

監控區塊鏈基礎設施、加密貨幣和Dapp的健康狀況，以避免停機，保護基礎設施并使得區塊鏈數據可訪問。——基礎設施維護

通過KafkaStream或ksqlDB進行流處理可以在Defi、NFT等相關交易市場進行實時數據處理。——鏈上數據分析

Kafka作為預言機的集成通道：例如從Chainlink傳遞到Kafka再到IT基礎設施。

聲音 | 中南財大教授陳彩虹：區塊鏈并不是人類技術模式的終結:11月21日，在“金貔貅?第二屆中國數字金融服務與合作發展高峰會”上，《金融理財》雜志社社長、易趣財經傳媒總裁石東表示，數字金融已成為我國經濟社會發展的關鍵動能，數字經濟是軀體，數字金融是血液。它不再是虛無縹緲東西，也不僅僅是服務與產品或者是工具，是嶄新的體系，全新價值方式，將重構金融機構的運行模式、服務模式，乃至整個金融生態圈。中南財經政法大學特聘教授、原建行董事會秘書陳彩虹表示，區塊鏈并不是人類技術模式的終結。區塊鏈是一個很先進的技術，未來發展空間巨大，而且在社會制度功能之間，要尋找平衡。（中國金融新聞網）[2019/11/22]

通過Kafka?主干上的節流和隨機數管理來處理背壓，并將事務流式傳輸到鏈上。——Gamefi和Socialfi?

同時處理多個鏈：并行監控和關連以太坊、solana、Bsc區塊鏈上的交易。——跨鏈相關

我們可以看到，未來隨著新一代gamefi、defi、socialfi、移動端Dapp的增長，過去僅僅是將鏈上數據攝取到數據庫和數據湖的方法已經不能滿足現有新應用的需求了。在架構設計中充分地利用消息中間件的特性，可以滿足大部分用戶對于實時性、可靠性的需求。

五：加密和Defi世界中Kafka的真實案例

TokenAnalyst:?加密市場的可視化

EthVM：區塊鏈瀏覽器和分析引擎

Kaleido：用于區塊鏈和智能合約的RESTAPI?網關

Chainlink：用于將智能合約從區塊鏈連接到現實世界的Oracle?網絡

聲音 | 趙余：“彩虹表攻擊”可以簡單理解為“字典攻擊”:EOS LaoMao 的趙余在《寧話區塊鏈》之全球EOS節點答疑的節目中稱 “前兩天發生的’彩虹表攻擊’，是由于有些開發者通過設計的自定義助記詞功能不完善。既沒有過濾空字符串，也沒有強制用戶設置足夠長的助記詞。導致黑客可以通過簡單的窮舉，就能拿到部分賬戶的私鑰。EOS 彩虹表攻擊始末：EOS 官方庫 eosjs-ecc(https://github.com/EOSIO/eosjs-ecc) 提供了一個自定義助記詞生成密鑰的接口。有些開發者使用這個接口，做了一個用戶可以自定義助記詞的密鑰生成工具。但是由于產品設計問題，具體問題是下面兩個：1. 沒有過濾空字符串；2. 沒有強制要求用戶自己填寫的助記詞的長度必須達到足夠安全的長度（比如 12 個獨立的單詞作為助記詞，就可以認為安全性很高了）。導致部分用戶，使用了簡單的字母或單詞作為助記詞生成了自己的私鑰。比如 a, b, c, hello, world 等等。這就導致黑客可以輕而易舉地“窮舉”常見的單詞，字母，以及單詞組合，進而拿到用戶私鑰，最終轉移用戶資產。這個“窮舉”的方法，一般也被稱為“彩虹表”攻擊。對于使用自定義助記詞功能生成私鑰的用戶，建議自查助記詞長度，確保助記詞長度不少于 12 個單詞。”[2018/7/17]

5.1.TokenAnalyst?–?加密市場的可視化

TokenAnalyst?是一個鏈上數據分析工具，用于可視化和提供企業級API服務。該項目于2020年5月宣布停止運營，其團隊大部分成員加入Coinbase。不過他的案例仍然值得借鑒——其利用Kafka堆棧將來自比特幣和以太坊的區塊鏈數據與其分析工具集成在一起。

“訪問鏈上數據需要節點，而這并不如人們想象中斷那么容易。此外，另一個挑戰是使他們與網絡保持同步。為了實現零停機，并且確保最高標準的數據質量和可靠性，我們決定使用Kafka?和Confluent?平臺。”

TokenAnalyst?開發了一個名為Ethsync的內部解決方案。每個節點加上?Ethsync?都將數據推送到其對應的?Kafka?主題。如同下圖所示，其需要運行多個節點以實現冗余。推送到主題的塊更新并且客戶端接受為新的有效塊的塊。但是，由于區塊鏈的性質，可能會發生區塊鏈的分叉。因此，以前有效的塊可能會變得無效。

基于KafkaStreams的區塊確認器：為了防止在下游聚合計算中使用無效塊，TokenAnalyst開發了一個基于?Scala?中的KafkaStreams?的塊確認器組件。它通過臨時保留塊來解決重組場景，并且僅在達到一定數量的確認塊時才傳播它們。

確認器不僅解決了驗證規范鏈的問題，并且能夠通過確認丟棄和已經注冊的塊，來輸出具有有效一次性語義的確認塊。通過該組件可以使其充分利用容錯恢復機制，適用于零停機環境的滾動部署。

5.2.EthVM?–?區塊鏈瀏覽器和分析引擎

比特幣和以太坊等公共去中心化區塊鏈的美妙之處在于其透明度，防篡改日志使得區塊鏈瀏覽器能夠監控和分析所有的交易。

EthVM?是一個開源的以太坊區塊鏈數據處理和分析引擎，由?ApacheKafka?提供支持。該工具支持區塊鏈審計和決策。EthVM?驗證交易和智能合約的執行，檢查余額并監控gas?價格。該基礎設施是使用KafkaConnect、KafkaStreams?和?SchemaRegistry?構建的。還包括一個客戶端可視化塊資源管理器。

EthVM使用Kafka的契機來源于BoergeSvingen?在Confluent博客上發表的一篇名為《在紐約時報上使用ApacheKafka?發布》的文章，其描述了標志性的紐約時報如何從混雜的API、服務、生產者和消費者轉變為用Kafka驅動的基于日志的架構。

而區塊鏈本質上就是一個不斷增長的記錄列表，合并成塊并且用密碼學來鏈接——用程序員的話說就是鏈表。在Kafka的術語中，以太坊客戶端就是生產者——負責創建日志的新條目。

5.3.Kaleido?–?用于加密和智能合約的?Kafka?原生網關

Kaleido?提供企業級區塊鏈?API?來部署和管理智能合約、發送以太坊交易和查詢區塊鏈數據。它隱藏了以太坊交易提交、Web3客戶端庫、nonce管理、RLP?編碼、交易簽名和智能合約管理的區塊鏈復雜性。

Kaleido?為鏈上邏輯和數據提供?RESTAPI。它由完全托管的高吞吐量ApacheKafka?基礎架構提供支持。

在基于區塊鏈的分布式事務系統中，對事件的檢測和反應是不可避免的要求。沒有一個參與者或應用程序可以控制狀態變化，鏈上的智能合約邏輯不可能直接與鏈下系統通信——否則邏輯的確定性就會受到損害。

事件是編程模型的核心部分，使用豐富的類型系統很容易發出。

這些事件不僅可以用來觸發邏輯，還可以作為數據流從鏈中流出。

用于在web端和移動端的高效數據檢索

實時分析引擎和數據湖

無服務或傳統計算來觸發應用程序和業務流程

Kaleido?提供了兩種內置功能來處理這些事件，無需直接使用復雜的原始?JSON/RPC?接口、處理檢查點重啟/恢復或RLP?解碼和類型映射。

事件流：使用與RESTAPI?網關集成的RESTAPI?進行訂閱，并通過簡單的Webhook?將事件傳遞到任何HTTP?接口，或者通過ApacheKafka?支持的加密App2AppMessaging?層。

5.4.Chainlink?–?用于將智能合約從區塊鏈連接到現實世界的?Oracle?網絡

Chainlink?是用于將智能合約連接到現實世界的行業標準預言機網絡。“借助?Chainlink，開發人員可以構建混合智能合約，將鏈上代碼與由去中心化?Oracle?網絡提供支持的大量安全鏈下服務相結合。由數十萬人組成的全球去中心化社區管理，Chainlink?引入了更公平的合約模型。它的網絡目前為去中心化金融?(DeFi)、保險和游戲生態系統等領域的智能合約提供數十億美元的價值。Chainlink網絡的完整愿景可以在Chainlink2.0白皮書中找到。”

Chainlink并沒有在任何公開的博客文章和會議中討論其設計架構。我們只能從其招聘人員的工作棧要求中窺見其設計——Chainlink正在從傳統的基于時間序列的監控過渡到事件驅動的架構。

六：小結

在這些節點設施服務商出來之前，普通人想要獲取鏈上的數據信息是非常困難的。而現在，任何一個能夠上網的人都可以通過區塊鏈瀏覽器或者鏈上數據分析工具看見相對實時的區塊數據。

然而，能夠看見數據和大規模的使用數據是完全不同的概念。

“神祇們不會攀爬世界之樹。他們用彩虹橋穿行于幾大世界之間。只有神才能用彩虹橋。如果冰霜巨人或者別的巨人試圖通過彩虹橋爬上阿斯加德，他們的腳就會被燒傷。”

盡管我們現在有了節點托管、Web3API等服務的幫助，鏈上和鏈下之間進行高效實時溝通的成本依然很大。如同北歐神話中的彩虹橋，它依然是某些神祇們的專屬通道。原因就在于鏈上數據和鏈下業務之間存在大量的空白環節。Kafka僅僅只是消息傳遞的一個環節，在此之間還有數據的實時抓取、清洗和存儲。而過去服務于傳統IT業務的中間件、數據庫等并不一定完全適用于現有的Web3IT架構。隨著越來越多的企業和業務邁入加密領域，未來也可能會出現一種全新的基于區塊鏈網絡的開源中間件和數據分析架構。

我希望有一天，人人都能擁有開啟彩虹橋的能力。我們將自由的穿梭在世界之樹所締造的九界之間，與眾生靈交流。

Tags：AFKKAF區塊鏈以太坊afk幣上港交所PolkaFoundry有人拉你做區塊鏈以太坊幣最新價格行情

MANA