YTH:python爬取區塊鏈瀏覽器上的交易列表數據

2022年6月3日 端午節安康。

今天主要分享如何利用爬蟲爬取區塊鏈瀏覽器上的交易列表數據。

dune上沒有bsc鏈上的轉賬明細數據表。Footprint Analytics上現有的bsc_transactions表transfer_type粒度不夠。

python 3.7

數據存儲：mysql 5.7

緩存：redis 6.2.6

開發工具：pycharm

（1）所有協議、合約、swap地址轉賬信息全爬不太實際，對存儲要求比較高。所以針對需要分析的協議，專門去爬取對應智能合約轉賬是個不錯的選擇。

（2）區塊鏈瀏覽器肯定是有反爬機制的。所以在代理選擇上，要選擇國外的代理。國內的代理都訪問不到，具體原因你懂的。本文中不涉及代理部分，因為國外的代理廠家之前沒有了解過。不過即使是上代理，對代碼層面改動也比較小

ChilizX與Pyth達成合作，成為Pyth Network數據發布者:11月21日消息，據官方消息，代幣化運動交易所ChilizX宣布以數據發布者身份正式加入Pyth network。

Chiliz此前開發Socios.com，為體育品牌提供其官方粉絲代幣銷售和購買服務，其中包括巴塞羅那、尤文圖斯、巴黎圣日耳曼、AS羅馬、加拉塔薩雷、馬德里競技、OG、阿根廷獨立競技以及UFC等，并使用CHZ作為平臺原生代幣。[2022/11/22 7:53:50]

（3）采用了urllib同步請求 + 范圍內隨機時長程序休眠。減少了被風控的概率。但是也降低了爬蟲的效率。

后面再研究用scrapy或異步請求

同步：請求發送后，需要接受到返回的消息后，才進行下一次發送。異步：不需要等接收到返回的消息。

Pyth宣布正式上線Ethereum及Optimism主網:據官方消息，Pyth Network宣布其喂價數據已正式上線Ethereum及Optimism主網。

在Ethereum及Optimism的10個頭部應用和協議以發布伙伴身份與Pyth達成合作，將逐步使用Pyth喂價數據，包括Synthetix、Ribbon Finance、Lido、Hashflow、Euler、MANTRA、Flexa、AMP、Infinity Exchange及SOMA.finance。

Pyth Network通過創新的預言機網絡設計和Wormhole跨鏈傳輸協議進行鏈上聚合和跨鏈傳輸，未來Pyth數據將在所有主流區塊鏈上逐步上線，為所有區塊鏈的開發者帶來高質量的金融市場數據。

在不到一年的時間里，Pythnetwork已經保障超過20億美元的總價值，支持超過300億美元的總交易量（僅本月就達40億美元），從希望使用Pyth數據的開發人員那里獲得超過60萬次的客戶端下載量。

Pyth目前支持加密貨幣、股票、外匯和貴金屬等資產的100+喂價數據產品，更新頻率為400ms。即將發布的喂價數據產品還包括DOW30和ERC生態系統代幣。[2022/11/2 12:08:06]

找到需要爬取合約的具體地址：

Pyth Network提供的BTC價格曾有數分鐘低于市場均價，團隊正調查原因:Solana生態跨鏈預言機項目Pyth Network在推特上表示，今日12:21至12:23（UTC時間）之間Pyth BTCUSD聚合價格低于4萬美元（多個市場價格顯示比特幣今日未跌破4萬美元），是因為其中一個來源提供的價格為5402美元，置信區間為21623美元（資產報告價格的4倍），低于市場價格。Pyth表示工程師正在繼續調查事件原因，之后將發布完整的報告。[2021/9/21 23:40:28]

第一頁

http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8第二頁

美國全國性證券交易所IEX Group旗下部門向預言機解決方案Pyth Network提供股票市場數據:美國全國性證券交易所IEX Group旗下云金融數據平臺IEX Cloud向Solana生態預言機解決方案PythNetwork提供股票市場數據。IEX Cloud提供來自交易所所謂中間點定價信息，而不是其訂單簿的全部信息。（pythnetwork）[2021/7/23 1:10:39]

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=2第三頁

https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=3....

可以知道 p = ？就代表頁數。

然后F12 點擊“網絡”，刷新界面，查看網絡請求信息。

主要查看，網頁上顯示的數據，是哪個文件響應的。以什么方式響應的，請求方法是什么

如何驗證呢，就是找一個txn_hash在響應的數據里面按ctrl + f去搜索，搜索到了說明肯定是這個文件返回的。

查看響應的數據，是html的格式。在python里面，處理html數據，個人常用的是xpath（當然，如果更擅長BeautifulSoup也可以）

在python里面安裝相關的依賴

pip install lxml ‐i https://pypi.douban.com/simple同時在瀏覽器上安裝xpath插件，它能更好的幫助我們獲到網頁中元素的位置

XPath Helper - Chrome 網上應用店 (google.com)

然后就可以通過插件去定位了，返回的結果是list

**注：**瀏覽器看到的網頁都是瀏覽器幫我們渲染好的。存在在瀏覽器中能定位到數據，但是代碼中取不到值的情況，這時候可以通過鼠標右鍵-查看網頁源碼，然后搜索實現

然后就是利用redis，對txn_hash去重，去重的原因是防止一條數據被爬到了多次

最后一個需要考慮的問題：交易是在增量了，也就是說，當前第二頁的數據，很可能過會就到第三頁去了。對此我的策略是不管頁數的變動。一直往下爬。全量爬完了，再從第一頁爬新增加的交易。直到遇到第一次全量爬取的txn_hash

最后就是存入到數據庫了。這個沒啥好說的。

以上就可以拿到轉賬列表中的txn_hash，后面還要寫一個爬蟲深入列表里面，通過txn_hash去爬取詳情頁面的信息。這個就下個文章再說，代碼還沒寫完。

今天就寫到這里。拜拜ヾ(?ω?`)o

來源：Bress

作者：撒酒狂歌

Tags：YTHWORTWOORKZYTHWormhole FinanceFintruX NetworkGalaxy Network Coin

Coinw