區塊鏈:探究 | 區塊鏈底層平臺的流控分析及實踐

原標題：《HoldtheDoor！區塊鏈底層平臺流控分析》

導讀

流量控制是為了解決在面對不確定的和不穩定的流量沖擊下，依舊能夠保障系統的穩定運行。如果不對系統實施過載保護，大量流量沖擊可能影響系統穩定性，甚至引起“雪崩效應”，導致系統崩潰，停止服務。

當無法預測和控制入口流量時，則系統需要進行流量控制。要想達到系統流控的效果，系統流控策略需要從系統整體架構出發，站在系統流量來源、系統總體架構、系統模塊資源分配等角度進行分析，從而制定出符合系統的流控策略。

流控緯度分析

▲?流量來源角度

區塊鏈節點的入口流量大體分為兩種，一種為客戶端發送過來的請求，請求可能為區塊鏈數據查詢、發送新交易、合約操作等。節點接收到客戶端請求后，首先需要從網絡IO流中讀取到請求的字節內容，然后反序列化字節內容為結構化內容，最后根據結構化請求體調用對應的API邏輯；另一種為其他區塊鏈節點發過來的網絡消息，區塊鏈系統底層是由多個共識節點組成的共識網絡，節點間通過計算機網絡進行信息傳輸。節點接收到對端節點發送過來的網絡消息后，根據消息類型，拋給對應的模塊去處理。

Paradigm支持的Utopia Labs為企業推出USDC銀行轉賬:金色財經報道，Paradigm支持的Utopia Labs現在允許企業將USDC發送到任何美國銀行賬戶，而無需通過中心化交易所。該解決方案旨在提高法定貨幣和加密貨幣之間的互操作性，并加速加密支付的采用。[2023/7/21 15:50:43]

因此，不僅需要對客戶端請求進行流量控制，防止大量突發外部請求都往同一個節點發送，耗盡目標節點資源導致目標節點服務癱瘓。還要對節點接收到的網絡消息進行限流，防止節點在高負載下，前面的消息涉及的系統邏輯還未處理完，還源源不斷地接收和緩存后面到來的消息，甚至導致節點內存溢出。總結起來，即區塊鏈節點入口流量有兩種，一種為客戶端請求，另一種為節點間網絡消息，需要分別對這兩類流量進行限流。

▲?總體架構角度

同一個節點或分區內的不同模塊，存在資源競爭問題。以趣鏈區塊鏈底層平臺為例，存在網絡資源競爭的模塊主要包括：

共識模塊區塊數據同步模塊NVP模塊文件上傳下載模塊其中，共識模塊是決定系統服務質量的關鍵模塊。因此，為了保證系統的高可用，需要保證關鍵模塊的流量得到優先處理，限制非關鍵模塊可使用的流量，避免非關鍵模塊搶占了所有系統資源。

拜登：硅谷銀行和Signature Bank管理層會被解雇:金色財經報道，美國總統拜登表示，如果一家銀行（例如硅谷銀行或Signature Bank）被美國聯邦存款保險公司接管，那么經營銀行的人就不應該再在那里工作了，這些銀行的管理層將被解雇。此外，拜登還表示這些銀行的投資者“不會受到保護”， 投資者在知情的情況下承擔了風險，并且因為風險沒有得到回報而損失了資金。（theguardian）[2023/3/13 13:01:39]

▲?多分區架構角度

如下圖所示，多分區的區塊鏈系統架構下，每個分區都有一條單獨的鏈，雖然同一個節點不同分區間共識、執行和存儲完全解耦，但是不同分區共享同一個計算機資源，因此，多分區本質上也存在資源競爭問題。

當多分區架構被應用于業務分區而治場景時，不同分區上運行著不同的業務，如果不對分區流量進行控制，可能存在分區1業務負載極大情況下，分區2雖然空閑，但由于此刻沒有空閑計算機資源可用，發往分區2的請求可能需要很久才有響應，甚至出現拒絕服務。因此，多分區架構下，不同分區存在資源競爭，需要對各分區流量進行限流。

日本國稅廳發布對區塊鏈游戲等NFT交易征稅的指導方針，涵蓋所得稅、消費稅等情況:1月16日消息，日本國稅廳今日發布了有關NFT的稅務上的一般處理文件，指南除了列舉爭對NFT征收所得稅的案例外，也發布了征收消費稅等情況的案例。因游戲內代幣的取得和使用情況非常頻繁，難以評估，因此將在年末統一進行計算。

指南指出，如果個人創建NFT并將其出售給第三方（一次分配），或者如果購買NFT的人將其轉售給另一個人（二次分配），則利潤是“所得稅”，需繳納稅款。如果你把NFT免費送給熟人，贈送的一方可能不征稅，但贈與的一方可能征稅。某人制作NFT并通過市場銷售給日本消費者從中獲得報酬時，該NFT制作者將被征收消費稅。另外，作為二次流通，將購入的NFT賣給他人時，如果是通過日本經營者進行對價出售的，則對該經營者征收消費稅。

通過區塊鏈游戲獲得的報酬原則上被劃分為“雜項收入”，是所得稅的征稅對象。但作為報酬獲得的游戲內代幣，如果只能在游戲內使用，則不被視為所得稅征稅對象。另外，對于此前不明確的“因不正當訪問導致NFT被盜、消失的情況”等，也明確了稅法上的原則性處理。但是，FAQ只是關于一般處理的回答，需要注意具體問題將具體對待，因此確定申報時的詳細計算方法需要向專家和國稅廳確認。（Coinpost）[2023/1/16 11:14:19]

▲?有限帶寬角度

Silvergate CEO：看到比特幣的一線生機“總是有買家的”:金色財經報道，Silvergate 首席執行官 Alan Lane 表示，即使在加密市場持續動蕩的情況下，比特幣仍能從其他數字貨幣中脫穎而出。“我確實認為比特幣與所有事物都是分開的，這從價格保持得有多好以及我們仍然有一個活躍的 SEN 杠桿賬簿這一事實中可以看出，我們在其中以比特幣為抵押進行借貸，”萊恩在中期會議中表示。季度更新。

Lane表示，在FTX崩潰之后，市場仍呈下降趨勢，Silvergate旨在承受這種波動，以便客戶可以全天候使用美元轉賬。他補充說，“無論存款是增加還是減少，我們都有流動性和資本比率來支持波動。”Silvergate聲稱對FTX的敞口有限，沒有未償還貸款，交易所的存款不到119億美元客戶數字資產存款的10%。（Theblock）[2022/11/18 13:20:11]

有時候，我們不希望節點的運行搶占了所有的網絡帶寬，導致其他程序無法提供服務，這時就希望機房里分配給節點服務器或者分給某個進程有限的帶寬。由于帶寬有限，這就要求提高節點帶寬利用率，并且保證關鍵流量被優先傳輸，優先保證系統穩定性和可用性。

常見流量控制算法

印度理工學院推出關于NFT及Web3技術的課程:9月16日消息，印度理工學院與電子學習平臺TimesPro合作，宣布創建以 Web 3技術為中心的教育項目。課程內容包括分布式賬本、NFT、元宇宙和數字資產的基礎知識，印度區塊鏈聯盟(IBA)和iHub Divyasampark是有關課程的合作伙伴。課程結束時，學員將獲得印度理工學院頒發的證書。（coingeek）[2022/9/16 7:00:45]

在分析完不同角度的流控后，我們需要選擇出適用的限流算法。目前常見的限流算法，主要有以下兩種：

漏桶算法令牌桶算法▲?漏桶算法

漏桶算法的原理可以類比為往一個固定大小的桶里盛水，同時，水從桶底漏洞以固定速度流出，如果加水過快，則直接溢出，如下圖所示。它可以應用于網絡傳輸限流，計算機每發送一個數據包，如果桶內未滿，則把數據包放入桶里，如果桶內已滿，則丟棄數據包，與此同時，以固定速度從桶內取出數據包，發送到網絡，從而達到強行限制數據平均傳輸速率的目的。

圖片來源于網絡

漏桶算法常用于將突發或不穩定流量整形為以固定速度在網絡中傳輸的流量。

▲?令牌桶算法

對于要求允許某種程度的突發傳輸，漏桶算法顯然無法滿足需求，而令牌桶可以做到這一點。令牌桶算法同樣定義了一個固定大小的桶，桶里最多可容納b個令牌，每當有數據包需要發送時，要從桶里取出對應數量的令牌才能發送，如果桶里沒有足夠令牌，則無法發送。與此同時，以固定速度r往桶里添加新令牌，當桶里令牌數已經達到b個時，丟棄新令牌。

圖片來源于網絡

令牌桶算法非常適合于針對系統外部請求的限流，當桶內有足夠多令牌時，系統在某一時刻可以同時接收并處理多個請求，充分利用到系統資源。

總結來說，令牌桶限流允許突發流量，對于請求的限流、網絡帶寬限流，更能充分利用系統資源和網絡資源，是適用于區塊鏈底層平臺系統流控的一種限流方法。

流控實踐

最終，我們采用交易攔截器限流+消息分發器限流+網絡帶寬限流組成三道限流閥門，來應對不同業務場景的壓力，保證系統具備較高處理能力的同時又能穩定運行，持續可用。

▲?交易攔截器限流

主要用來限制客戶端到節點的流量。具體指在系統達到交易最大處理能力時，接口服務層及早對新交易進行攔截并拒絕，阻止新交易滲透到主流程花費不必要的系統開銷，一定程度上讓出更多的系統資源去處理未完成的交易。

交易攔截器通過定義攔截規則，來達到限流的目的，最終效果包括：

限制請求速率：通過令牌桶限流算法控制請求速率，并限制節點最多可同時接收并處理的HTTP請求數。節點高負載下拒絕新交易：當節點交易池已滿或者處于異常、異常恢復狀態無法進行正常三階段共識時，拒絕來自HTTP客戶端發送過來的新交易，避免交易解析、交易驗簽帶來的CPU消耗。▲?帶權消息分發器限流

主要用來限制非關鍵模塊的流量，防止帶寬、CPU和內存都被非關鍵模塊給占用。具體做法是為各個需要進行網絡通信的模塊分配帶緩存空間的讀、寫管道，根據模塊在系統中所占權重為其管道分配不同的緩存大小。

消息分發器收到一條來自底層P2P網絡的網絡消息，根據消息類型將消息分發給對應模塊進行處理。這條消息首先分發給模塊對應的R管道，模塊再從R管道按照FIFO原則取出消息，執行相關邏輯，如果R管道消費速度慢于生產速度，導致分發消息時R管道已滿，則說明模塊內部已處于高負載，丟棄這條消息。為了保證達到系統限流目的，模塊從R管道取出消息并處理消息的過程必須是串行的，而模塊間的消息并行處理，互不干擾。

舉個例子，當非關鍵模塊處于高負載處理能力變慢時，其R管道雖然占滿，但是不會影響共識模塊消息的處理速度，同時又由于不同模塊根據權重R管道大小不同，一定程度上防止節點一直處理非關鍵模塊消息占用過多系統資源而導致共識模塊消息無法得到及時處理。

帶權消息分發一定程度上降低了各模塊由于處理能力差異而相互干擾，提高系統網絡消息并行處理能力，保證核心網絡消息不被非核心網絡消息占去全部系統資源，同時，系統高負載下自動丟棄新接收到的網絡消息，防止系統負載過高而崩潰。

▲?網絡帶寬限流

本文所提的網絡帶寬限流特指限制節點間通信的最大出口帶寬流量，該實現基于GuavaRateLimiter限流。開啟出口帶寬的限制一定程度上會比關閉帶寬限制帶來一定TPS的損失，前期經過測試，我們發現，TPS大幅下降主要原因在于開啟帶寬限制后，我們沒有對節點處理能力進行“降級”，導致節點有限的帶寬都被用于交易轉發而無法在規定時間內發送或處理相關共識消息而極易進入異常狀態，而異常狀態下節點拒絕新交易，最終導致系統整體交易吞吐量大幅下降。

因此，經過適當修改后，當開啟節點出口帶寬限流時，根據設置的帶寬上限值自動計算交易轉發速率，通過控制交易轉發速率，使得出口帶寬可以被共識關鍵網絡消息充分利用。這種網絡帶寬限流方法，相比直接使用TC限流，一定程度上，可以提高有限帶寬下節點運行的穩定性，并且使得TPS下降在預期可接受范圍內。

▲?分區間限流

每個分區通過交易攔截器+帶權消息分發來達到限流的目的，從而均衡分配各個分區使用的系統資源。這里不再闡述。

總結

本文通過從多個角度對區塊鏈系統流控進行分析，并得出適用于系統的流控策略，有效解決了節點在各壓力測試場景下系統不穩定、容易崩潰的問題，同時保證節點高性能和高穩定性。除了上文的實踐以外，后續我們還將進行多種優化，包括但不限于讀/寫請求并發的限流、限流權重動態調整等等。

作者簡介

馬曉敏來自趣鏈科技基礎平臺部，區塊鏈底層網絡研究小組

參考文獻

?Leakybucket-Wikipedia

?bucketToken-Wikipedia

?超詳細的GuavaRateLimiter限流原理解析

Tags：區塊鏈NFTGATESILV區塊鏈存證ANFTgate.io手機版下載Silva Token

AAVE