原文標題:《Using On-Chain Data for Policy Research: Part 1》
原文作者:Brendan Malone,Paradigm
原文編譯:Kxp,BlockBeats
I. 引言
Crypto 政策在制定時很少會用到真實且細化的數據,原因主要有以下三點:
1. 新興技術領域的相關政策大多還停留在理論及定性分析層面,早期階段很少會使用到數據。
2. 盡管鏈上數據全部開放透明,但要想訪問這些數據人們需要在短期內完成大量工作(即直接從區塊鏈提取原始數據),即便對于 Crypto 原生從業者來說也是如此。
3. 區塊鏈「取證」公司和數據供應商有少量的數據產品,但它們都不具備靈活性/可定制性,也不能滿足經濟/金融研究人員的需求。
許多現代經濟學和金融學研究人員錯過了將工具應用于 Crypto 數據分析的機會。從設計上講,Crypto 可以向任何人提供細化數據,但大部分政策在制定時仍依賴于 CoinMarketCap 等外部預聚合時間序列數據源,而不是直接從數據源獲取數據,這又是什么原因導致的呢?
正如政策制定者可以查詢美國每家主要銀行的資產負債表,并逐秒觀察消費者存款的變化一樣,他們也可以毫不費力地查看整個 Ethereum 生態系統的 Stablecoin 發行情況,但大多數分析 Stablecoin 的政策文件卻采取了一種探討假設事件的分析方法。
ParaSpace:Azuki持有者現可申領Elementals空投:7月5日消息,ParaSpace發推稱,Azuki持有者現在可以通過ParaSpace Flash Claim功能申領Elementals空投,無需贖回Azuki。如果用戶有資格申領,將在借貸頁面頂部看到一個相關banner。
昨日消息,ParaSpace發推稱,由于Azuki價格波動劇烈,暫停Azuki礦池,包括充值、提取、清算等功能。[2023/7/5 22:18:39]
我將在本篇中具體闡釋以下幾點內容,希望可以對想要使用鏈上數據的政策研究人員有所幫助:
· 鏈上數據的獲取方法
· 鏈上數據所采用的結構
· 提取和使用鏈上數據的幾個基本工具
在隨后的文章中,我將探討如何使用這里收集的數據來判斷 Crypto 市場的走勢。同時,我將在結尾發布可供免費使用的數據和代碼。通過闡明如何在區塊鏈中查詢數據,我希望向大家展示 Crypto 的開放性可以為數據決策開辟的新方法。
如果您就職于一家監管機構或研究機構,并在獲取 Crypto 數據時遇到了困難,歡迎與我們取得聯系分享你的想法,了解 Paradigm 可以為您提供哪些幫助。
II. 鏈上數據獲取方法
一般來講,數據收集工作應集中在一個區塊鏈(Ethereum)及特定項目的子集上,這些項目主要是以美元計價、法幣支持的 Stablecoin,具體包括 USDC、Tether、Binance USD、Pax Dollar 和 Gemini Dollar。該方法廣泛適用于鏈上數據,即便你想創建一個不同的數據集。
福布斯:紅杉資本、淡馬錫和Paradigm將是FTX內爆中損失最大的三家投資機構:金色財經報道,據《福布斯》獨家消息,根據他們獲得的一份股東名單顯示,紅杉資本、淡馬錫和 Paradigm 將是 FTX 內爆中損失最大的三家投資機構。《福布斯》指出,紅杉資本當前 FTX 的持股比例為 1.1%,估算投資金額約為 2 億美元,淡馬錫持股比例 1%,估算投資金額 2.05 億美元,Paradigm 持股比例 1%,估算投資金額為 2.15 億美元,如果這些機構投資者在一個月內無法“兌現”,他們最終很可能一無所有。報道稱,相關分析數據不包括 FTX 的美國業務 FTX.US。[2022/11/11 12:50:01]
Etherscan 這類區塊瀏覽器非常適用于查看交易快照以及收集特定智能合約的信息,但根據我的經驗,它們卻不太能用于生成大型數據集。在收集和處理原始數據時,你基本上有兩個選擇:(1)在本地運行一個完整的節點,或(2)查詢已經從鏈上直接寫入原始數據的數據庫。第一種方法對于專業技能和計算資源的要求比較高,而第二種方法則只需要基本的 SQL 和 Python 技能就可以實現,所以這里我們將采用第二種方法。
Dune 和谷歌云平臺(GCP)的 BigQuery 有最新的鏈上數據,這些數據都以表格的形式存儲在數據庫中,研究人員可使用 SQL 命令對其進行查詢。Dune 還提供免費的數據庫,不過其速度較慢,而且還有些局限性,但它非常適合于 A/B 測試的數據查詢,也有助于你熟悉數據庫的運行模式,尤其是對于那些不善于使用 SQL 查詢關聯數據庫的人。BigQuery 雖然更加靈活快捷,但谷歌會對計算資源收費,所以其價格也相對昂貴。我在第一次處理數據時,為了節省費用,我會先在 Dune 中測試查詢語句,然后再將其輸入 GCP 中運行。在大多數情況下,這種方法都能起到很好的效果(還有一點值得注意的是,Dune 的 Crypto 表格數量至少是 GCP 的 100 倍,包括一些用戶生成、預先清理過的高質量 Crypto 表格。相比之下,GCP 中的數據大多是原始區塊或交易。Dune 也有一些非常方便的內置數據可視化工具,值得單獨購買。)
ParaFi Capital 在 MakerDAO社區發起MIP6提案:DeFi風投ParaFiCapital在MakerDAO社區提出一項MIP6抵押資產引入提案,希望新增bBadger作為MakerDAO抵押資產,目前該提案正在該社區征求回饋意見。[2021/3/21 19:04:37]
III. 鏈上數據結構
要回答這個問題,你首先需要搞清楚自己處理數據的目的。對于這個測試案例,我決定為主要的法定支持 Stablecoin 建立一個大型的時間序列數據集,并觀察一些特定的行為: 鑄幣(即發行 Stablecoin),燒毀 (即停止流通 Stablecoin) 和轉移。我之所以選擇以這種方式進行研究,是因為政策制定者和學者目前最為關注法定支持的 Stablecoin,所以這些數據在短期內可能相當有用。
以美元計價的幾大 Stablecoin 都采用了 ERC-20Token 標準。顧名思義,ERC-20 是一種在 Ethereum 上使用智能合約創建 Token 的標準化方式。如果你把區塊鏈理解為一個巨大的去中心化 Excel 表格,那么智能合約就類似于 Excel 函數。在函數中輸入參數之后,它將使用其內置邏輯產生一個特定的輸出結果(例如,MAX 函數就是用來輸出所輸入參數中的最大值)。
我們可以使用智能合約的 Ethereum 地址來對它們進行定位,這些地址是區塊鏈數據結構中的唯一標識符:
動態 | Parity計劃將其以太坊客戶端工作過渡到DAO結構:金色財經報道,Parity Technologies周一表示,將通過新的分散式自治組織(DAO)來開放客戶端的維護。有關此舉的細節仍待提出,且其尚未與生態系統利益相關者進行對話,包括以太坊基金會、Gnosis、POA網絡和ETC Labs。Parity表示,Parity以太坊的代碼庫和維護將過渡到DAO所有權和維護者模型。DAO將依靠“利益加權代幣系統”來促進DAO最終決策過程中股權的公平、透明的初始分配。該公司表示,他們在維護代碼庫上花費了大量時間,并寫道,越來越無法致力于該項目即使是簡單維護所需的資源水平。[2019/12/17]
· USDC
· Tether USD
· Binance USD
· Pax Dollar
· Gemini Dollar
與 API 類似,智能合約也是可以重復使用的程序。每次智能合約獲得互動指令時,都會產生該互動的記錄,并由 Ethereum 協議以日志的形式記錄在區塊鏈上,而這些日志則構成了智能合約活動的可靠信息來源。
當智能合同執行一個特定函數時,例如燒毀 ERC-20 Stablecoin 以將其從流通中移除,該函數及其參數將作為交易日志記錄在區塊鏈上。
在下面的交易中,USDC Stablecoin 的發行商 Circle 燒毀了價值 1056.92 美元的 USDC。
動態 | CryptoCompare:監管更嚴格的司法管轄區的加密交易平臺表現更好:據cointelegraph報道,加密貨幣數據和索引提供商CryptoCompare的新研究評估了加密貨幣交易所的表現。CryptoCompare分析了5月1日至5月30日期間收集的數據,并考慮了一系列關鍵因素。結果顯示,表現最好的加密貨幣交易所位于美國、韓國和日本,而馬耳他的常駐加密貨幣交易所表現不佳。 CryptoCompare在報告中指出,在具有更嚴格監管的司法管轄區的交易平臺往往表現更好。根據上述指標,在十大領先的交易所中,Coinbase排名第一,其次是Poloniex和Bitstamp。幣安的調整后交易量排名第8。該報告進一步指出,只有六個加密交易所獲得了“AA”級別,即Coinbase、Poloniex、Bitstamp、BitFlyer、Liquid和itBit。此外,只有5.6%的總交易量來自許可交易所,7%的交易量來自注冊為貨幣服務業務(MSB)的交易所。[2019/6/15]
如果你切換到「日志」標簽,你就可以查看交易事件日志,相應的字段為
· 地址:智能合約的合約地址。USDC Stablecoin 的合約地址是0xa0b86991c6218b36c1d19d4a2e9eb0ce3606eb48。
· 名稱:智能合約執行的函數,以及該函數中的參數。在這里,智能合約正在調用燒毀函數,該函數接收的參數指定了所燒毀幣的發送地點(例如燃燒池,必須是 Ethereum 地址)和燒毀幣的數量(其金額必須是小于 256 位的無符號整數)。
Etherscan 的輸出結果還會顯示主題和數據字段,這些字段包含了我們在分析交易時需要解析的大部分相關信息。
· Topic0 是函數簽名的哈希值。從本質上講,它會將函數及其參數經由單向算法得到一個唯一的函數哈希值。Ethereum 使用的是 Keccak-256 哈希函數,當你通過 Keccak-256 算法輸入函數簽名時,它總是會產生相同的哈希值,所以任何時候該哈希值出現在日志中,你都能確信是調用了同一個函數。
· Topic1 是燒毀函數的一個索引參數。在這里,Topic1 是燒毀的 Token 被發往的地址。(注意:如果燒毀函數有更多的參數,這些參數將作為額外的主題出現)
· 這里的數據字段表示所燒毀 Token 的數量。
既然我們已經了解了鏈上數據的基本結構,就可以開始從 Dune 和 GCP 中提取數據了。
IV. 提取并處理鏈上數據的基本工具
如前所述,在這個例子中,我選擇從現有數據庫中提取鏈上數據,而不是訪問 Ethereum 網絡上的活動節點。為了便于理解,我使用 SQL 從 GCP 提取了大量原始數據表格,然后在 Python 中使用 pandas 庫對其進行清理。
當我們從 GCP 提取表格時,我們將使用 BigQuery,它儲存有很多 Ethereum 的數據表,如下圖左邊一欄所示。當你點擊一個表格時,相應的數據庫模式就會出現,就如下圖中的 ethereum.logs 表。與此同時,其中涉及的地址、數據和主題都會記錄到日志數據中去。
下圖中的查詢語句將用于提取日志表中涉及與 USDC、Tether USD、Binance USD、Pax Dollar 或 Gemini Dollar 合約互動的所有記錄。除了 ethereum.logs 中的信息外,一些額外的信息也很有用,所以我還合并了 ethereum.block 表中的數據,其中涵蓋了 Gas 費等信息。
得到的表格可以直接由 Python 讀取,并借助 pandas 數據框架細分為以下字段:
· log_index
· transaction_hash
· transaction_index
· address
· data
· topics
· block_timestamp
· block_number
· block_hash
· number
· miner
· size
· gas_limit
· gas_used
· base_fee_per_gas
這些字段中的大多數都可以直接使用,不過第三節中討論的主題字段需要用 Python 進行一些額外的清理,以便將其分成多列。
V. 結語
這篇文章使用的是 Ethereum 的日志數據,同樣的方法也可以用來訪問鏈上的各種數據。Python 和 SQL 是大多數經濟學家和政策制定者所熟悉的工具,它們可以發揮很大作用。與傳統金融相比,Crypto 更具透明度。這樣一來,研究人員就可以利用實時數據來闡明金融體系的運作方式,并及時控制住可能出現的風險。
區塊律動BlockBeats
媒體專欄
閱讀更多
金色早8點
金色財經
1435Crypto
吳說區塊鏈
blockin
比推 Bitpush News
Block unicorn
Foresight News
Odaily星球日報
Bankless
DeFi之道
Tags:PARTHEETHETHERsparta幣最新消息ethereum網絡ETHF價格YEARN ETHEREUM YIELD
上個月,中國高端智庫中國(深圳)綜合開發研究院與英國智庫 Z/Yen 集團聯合發布第 32 期全球金融中心指數報告(GFCI 32),新加坡超越香港成為亞洲第一金融中心.
1900/1/1 0:00:00作者:Sal.xyz 編譯:若華,MarsBit圖片來源:由無界版圖 AI工具生成我閱讀了400多頁關于電子游戲經濟設計的書籍、學術論文和博客,所以你就不必這樣做了!其中一些發現會讓你吃驚.
1900/1/1 0:00:00隨著香港金融科技周、新加坡金融科技周的結束,Web 3領域的相關話題也被徹底引爆,從香港和新加坡當地政府的態度來看,東南亞已然成為了Web 3從業者的天堂.
1900/1/1 0:00:00原文作者:摩根大通 Blockchain Launch 主管 Ty Lobban原文編譯:0x214,BlockBeats10 月 19 日.
1900/1/1 0:00:00又到了每月安全盤點時刻!根據區塊鏈安全審計公司Beosin旗下Beosin EagleEye 安全風險監控、預警與阻斷平臺監測顯示,2022年10月,各類安全事件數量和涉及金額較9月大幅上升.
1900/1/1 0:00:00來源:ForeChain 作者:袁滿自“央數藏”在9月16日正式上線,國內央媒幾乎全員入局數字藏品市場,這對于國內數藏市場的發展來說無疑是個大動作.
1900/1/1 0:00:00