前言
2022年6月3日端午节安康。
今天主要分享如何利用爬虫爬取区块链浏览器上的交易列表数据。
原因
dune上没有bsc链上的转账明细数据表。FootprintAnalytics上现有的bsc_transactions表transfer_type粒度不够。
环境
python3.7
数据存储：mysql5.7
缓存：redis6.2.6
开发工具：pycharm
思路
所有协议、合约、swap地址转账信息全爬不太实际，对存储要求比较高。所以针对需要分析的协议，专门去爬取对应智能合约转账是个不错的选择。
区块链浏览器肯定是有反爬机制的。所以在代理选择上，要选择国外的代理。国内的代理都访问不到，具体原因你懂的。本文中不涉及代理部分，因为国外的代理厂家之前没有了解过。不过即使是上代理，对代码层面改动也比较小
采用了urllib同步请求+范围内随机时长程序休眠。减少了被风控的概率。但是也降低了爬虫的效率。
后面再研究用scrapy或异步请求
同步：请求发送后，需要接受到返回的消息后，才进行下一次发送。异步：不需要等接收到返回的消息。
实现
找到需要爬取合约的具体地址：
借贷协议Hover与Pyth Network建立合作，为其借贷市场提供预言机支持:据官方消息，Kava原生借贷协议Hover宣布与Pyth Network建立合作伙伴关系，Hover将在其流动性市场使用Pyth提供链上预言机定价。
Hover核心贡献者Aileen Dauz表示，“对于Hover来说，获得可靠的数据源对于管理稳定的市场至关重要。Pyth团队提供的实时、按需市场数据来自可信的来源，使他们成为我们首选的Oracle解决方案。我们对此次合作以及它为Hover和整个Kava生态系统带来的影响感到非常兴奋。”Pyth的贡献者之一Marc Tillement表示，“Pyth已准备好全力支持Hover，为其提供250多种不同的价格喂价。”[2023/7/20 11:06:46]
第一页
http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8
第二页
https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=2
第三页
https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=3
....
ChilizX与Pyth达成合作，成为Pyth Network数据发布者:11月21日消息，据官方消息，代币化运动交易所ChilizX宣布以数据发布者身份正式加入Pyth network。
Chiliz此前开发Socios.com，为体育品牌提供其官方粉丝代币销售和购买服务，其中包括巴塞罗那、尤文图斯、巴黎圣日耳曼、AS罗马、加拉塔萨雷、马德里竞技、OG、阿根廷独立竞技以及UFC等，并使用CHZ作为平台原生代币。[2022/11/22 7:53:50]
可以知道p=？就代表页数。
然后F12点击“网络”，刷新界面，查看网络请求信息。
主要查看，网页上显示的数据，是哪个文件响应的。以什么方式响应的，请求方法是什么
如何验证呢，就是找一个txn_hash在响应的数据里面按ctrl+f去搜索，搜索到了说明肯定是这个文件返回的。
Pyth宣布正式上线Ethereum及Optimism主网:据官方消息，Pyth Network宣布其喂价数据已正式上线Ethereum及Optimism主网。
在Ethereum及Optimism的10个头部应用和协议以发布伙伴身份与Pyth达成合作，将逐步使用Pyth喂价数据，包括Synthetix、Ribbon Finance、Lido、Hashflow、Euler、MANTRA、Flexa、AMP、Infinity Exchange及SOMA.finance。
Pyth Network通过创新的预言机网络设计和Wormhole跨链传输协议进行链上聚合和跨链传输，未来Pyth数据将在所有主流区块链上逐步上线，为所有区块链的开发者带来高质量的金融市场数据。
在不到一年的时间里，Pythnetwork已经保障超过20亿美元的总价值，支持超过300亿美元的总交易量（仅本月就达40亿美元），从希望使用Pyth数据的开发人员那里获得超过60万次的客户端下载量。
Pyth目前支持加密货币、股票、外汇和贵金属等资产的100+喂价数据产品，更新频率为400ms。即将发布的喂价数据产品还包括DOW30和ERC生态系统代币。[2022/11/2 12:08:06]
查看响应的数据，是html的格式。在python里面，处理html数据，个人常用的是xpath
在python里面安装相关的依赖
pip?install?lxml?‐i?https://pypi.douban.com/simple
Akuna Capital将向Pyth Network提供加密资产市场数据:主营期权做市的高频交易做市商Akuna Capital宣布加入Solana生态预言机解决方案Pyth Network网络，最初将向Pyth Network提供其加密资产市场数据，之后将扩展到其他期权产品的基础资产。
Akuna Capital成立于2011年，总部位于芝加哥，是一家主营期权做市的金融自营交易公司，交易的金融产品包括期权、期货和加密资产等。（businesswire）[2021/7/20 1:05:52]
同时在浏览器上安装xpath插件，它能更好的帮助我们获到网页中元素的位置
XPathHelper-Chrome网上应用店(google.com)
然后就可以通过插件去定位了，返回的结果是list
**注：**浏览器看到的网页都是浏览器帮我们渲染好的。存在在浏览器中能定位到数据，但是代码中取不到值的情况，这时候可以通过鼠标右键-查看网页源码，然后搜索实现
Virtu Financial将向PythNetwork提供股票、外汇、期货和加密货币市场数据:大型高频交易做市商VirtuFinancial将向Solana生态预言机解决方案PythNetwork提供股票、外汇、期货和加密货币市场数据。[2021/6/25 0:05:12]
#?请求和xpath定位具体实现代码：
def?start_spider(page_number):
????url_base?=?'http://bscscan.com
/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&'
????#?请求头
????headers?=?{
????????'User-Agent':?'Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/92.0.4515.159?Safari/537.36',
????????'referer':?'https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8'
????}
????#?需要传入的参数
????data?=?{
????????'p':?page_number
????}
????#?将参数转为Unicode编码格式
????unicode_data?=?urllib.parse.urlencode(data)
????#?拼接网址
????#?http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8
????url?=?url_base?+?unicode_data
????#?自定义request对象
????request?=?urllib.request.Request(url=url,?headers=headers)
????#?模拟浏览器发送请求
????response?=?urllib.request.urlopen(request)
????#?将返回的数据利用lxml转为
????tree?=?etree.HTML(response.read().decode('utf‐8'))
????#?//div//tbody//td//span/a/text()
????txn_hash_list?=?tree.xpath("//div//tbody//td//span/a/text()")
????#?//div//tbody//td//span/text()
????method_list?=?tree.xpath(
????????"//div//tbody//td//span/text()")
????#?//div//tbody//td//text()
????block_list?=?tree.xpath("//div//tbody//td//text()")
????#?//div//tbody//td/span//img/20230515175712426316/5.jpg "/>
最后就是存入到数据库了。这个没啥好说的。
以上就可以拿到转账列表中的txn_hash，后面还要写一个爬虫深入列表里面，通过txn_hash去爬取详情页面的信息。这个就下个文章再说，代码还没写完。
今天就写到这里。拜拜ヾ(?ω?`)o
来源：Bress
作者：撒酒狂歌
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。