前言
2022年6月3日端午节安康。
今天主要分享如何利用爬虫爬取区块链浏览器上的交易列表数据。
原因
dune上没有bsc链上的转账明细数据表。FootprintAnalytics上现有的bsc_transactions表transfer_type粒度不够。
环境
python3.7
数据存储：mysql5.7
缓存：redis6.2.6
开发工具：pycharm
思路
所有协议、合约、swap地址转账信息全爬不太实际，对存储要求比较高。所以针对需要分析的协议，专门去爬取对应智能合约转账是个不错的选择。
区块链浏览器肯定是有反爬机制的。所以在代理选择上，要选择国外的代理。国内的代理都访问不到，具体原因你懂的。本文中不涉及代理部分，因为国外的代理厂家之前没有了解过。不过即使是上代理，对代码层面改动也比较小
采用了urllib同步请求+范围内随机时长程序休眠。减少了被风控的概率。但是也降低了爬虫的效率。
后面再研究用scrapy或异步请求
同步：请求发送后，需要接受到返回的消息后，才进行下一次发送。异步：不需要等接收到返回的消息。
实现
找到需要爬取合约的具体地址：
Stader Labs推出漏洞赏金计划，最高奖金100万美元:7月10日消息，流动性质押协议Stader Labs在Immunefi上推出漏洞赏金计划，赏金按照漏洞严重程度从 2 万美元至 100 万美元不等，主要面向协议智能合约方面。[2023/7/10 10:46:06]
第一页
http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8
第二页
https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=2
第三页
https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=3
....
可以知道p=？就代表页数。
然后F12点击“网络”，刷新界面，查看网络请求信息。
主要查看，网页上显示的数据，是哪个文件响应的。以什么方式响应的，请求方法是什么
Figure在Provenance公共区块链上发行ABS:金色财经报道，Figure 宣布其最新的基于房屋抵押债券 (ABS) 发行，这些贷款都记录在由 Figure 创立的 Provenance 公共区块链上。这是首次获得评级的 Figure ABS 发行。DBRS Morningstar 给予 A 类票据 AAA 评级和 B 类票据 A（低）评级。ABS 由 Jefferies、JP Morgan 和 Goldman Sachs 承销。[2023/4/25 14:26:24]
如何验证呢，就是找一个txn_hash在响应的数据里面按ctrl+f去搜索，搜索到了说明肯定是这个文件返回的。
查看响应的数据，是html的格式。在python里面，处理html数据，个人常用的是xpath
在python里面安装相关的依赖
pip?install?lxml?‐i?https://pypi.douban.com/simple
珠宝巨头TOUS提交涉及NFT的商标申请:金色财经报道，据美国专利商标局官方披露信息显示，珠宝巨头TOUS已提交了一份涉及NFT的商标申请，其中提到该公司计划在虚拟环境中提供的在线零售店服务，包括实物商品和虚拟商品，即服装、鞋类、头饰、时尚配饰、眼镜、化妆品、珠宝和手袋，同时还将为数字服装、鞋类、头饰、时尚配饰、眼镜、化妆品、珠宝和手提包的买家和卖家提供一个在线市场，并通过NFT进行认证。[2023/3/16 13:07:35]
同时在浏览器上安装xpath插件，它能更好的帮助我们获到网页中元素的位置
XPathHelper-Chrome网上应用店(google.com)
然后就可以通过插件去定位了，返回的结果是list
**注：**浏览器看到的网页都是浏览器帮我们渲染好的。存在在浏览器中能定位到数据，但是代码中取不到值的情况，这时候可以通过鼠标右键-查看网页源码，然后搜索实现
#?请求和xpath定位具体实现代码：
美众议员：加密货币应该受SEC监管:9月4日消息，美国众议员兼投资者保护小组委员会主席Brad Sherman在接受采访时表示，国会不会很快出台加密禁令，因为加密行业提供了很多竞选和游说捐款，背后存在太多的权力纠葛。他认为，在没有禁令的情况下，加密货币应该由美国证券交易委员会（SEC）进行监管。“由于SEC的规模、专业知识、积极的执法行动以及加密货币与股票或证券的相似性，加密货币应该受到SEC的监管。”（泰晤士报）[2022/9/4 13:08:00]
def?start_spider(page_number):
????url_base?=?'http://bscscan.com
/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&'
????#?请求头
????headers?=?{
????????'User-Agent':?'Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/92.0.4515.159?Safari/537.36',
????????'referer':?'https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8'
去中心化稳定币协议Bluejay Finance完成290万美元融资，Zee Prime Capital等参投:7月20日消息，去中心化稳定币协议Bluejay Finance完成290万美元融资， Zee Prime Capital、C2 Ventures、Stake Capital Group、RNR Capital、Daedalus Angels、Moonlanding Ventures、Oval Ventures等参投。（Crypto Daily）[2022/7/21 2:27:03]
????}
????#?需要传入的参数
????data?=?{
????????'p':?page_number
????}
????#?将参数转为Unicode编码格式
????unicode_data?=?urllib.parse.urlencode(data)
????#?拼接网址
????#?http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8
????url?=?url_base?+?unicode_data
????#?自定义request对象
????request?=?urllib.request.Request(url=url,?headers=headers)
????#?模拟浏览器发送请求
????response?=?urllib.request.urlopen(request)
????#?将返回的数据利用lxml转为
????tree?=?etree.HTML(response.read().decode('utf‐8'))
????#?//div//tbody//td//span/a/text()
????txn_hash_list?=?tree.xpath("//div//tbody//td//span/a/text()")
????#?//div//tbody//td//span/text()
????method_list?=?tree.xpath(
????????"//div//tbody//td//span/text()")
????#?//div//tbody//td//text()
????block_list?=?tree.xpath("//div//tbody//td//text()")
????#?//div//tbody//td/span//img/20230519064427201048/5.jpg "/>
最后就是存入到数据库了。这个没啥好说的。
以上就可以拿到转账列表中的txn_hash，后面还要写一个爬虫深入列表里面，通过txn_hash去爬取详情页面的信息。这个就下个文章再说，代码还没写完。
今天就写到这里。拜拜ヾ(?ω?`)o
来源：Bress
作者：撒酒狂歌
来源：金色财经
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。