几年前研究大文件的下载分发,注意到了libtorrent这个非常完善的BT下载库,因此对BT相关协议也有了粗浅的了解。于是我用这个库提供的接口,实现了一个DHT的蜘蛛。
我把这个蜘蛛放到美国的不限制UDP和BT协议的虚拟机上,每天大概可以采集3000-9000个BT种子的相关信息。
之所以选择做BT蜘蛛,是因为当时淘宝上出售的各种DHT蜘蛛,都是带网页病毒的,会感染HTML文件,所以就干脆自己动手了,更安全些。
大概介绍一下原理: BT种子被制作出来之后,会具有一个HASH值,这个HASH值,就可以对应出一个磁力链链接,比如:magnet:?xt=urn:btih:F5615DFB80AC995787C1B2219A75DF7805278DEA(这个F5615DFB80AC995787C1B2219A75DF7805278DEA就是HASH),只要文件内容相同,那么HASH就是固定的。
BT软件启动时,一般会自动连接到一个DHT网络,这是一个分布式的UDP网络,每台机器维护着若干跟自己相邻的其他BT下载者的IP(以下简称节点)。
当BT软件拿到磁力链HASH之后,就会向周围的节点发布消息,询问“你有这个HASH的文件吗?”如果被询问的节点没有这个文件,那么这些节点就会再向外层继续广播询问,直到找到这个种子为止(为避免广播风暴,这个广播的最大层级会有限制)
当找到有一个节点X有这个种子后,当前机器的BT软件就会与节点X连接,请求节点X把种子发过来,磁力链转种子的工作至此完成。
当其他节点进行磁力链下载时,也会把HASH广播给你,这样你拿到了HASH,也就能顺手把这个HASH转化为种子。
这样,全网流行的BT种子,基本你都可以拿到了。
实在看不懂原理的可以先看看这个视频,大概了解下BT工作机制:https://www.bilibili.com/video/av57748098/
我把BT磁力链蜘蛛源码传到了GitHub,如果觉得对你有用,请不吝赐予我一个星星。 源码地址:
https://github.com/Jobcrazy/BitTorrent-DHT-Spider
源码是基于Linux的,相关编译环境和方法,也有比较详细的说明。
简单讲讲main函数的代码: 初始化libtorrent,并连接到了DHT网络,之后添加了一个虚假的磁力链任务,促使libtorrent去跟其他的DHT节点联系,来获取其他节点正在下载的HASH信息; 监听DHT通知,当收到新的HASH信息时,把HASH添加成BT任务,向其他节点请求种子信息; 监听DHT通知,当收到种子信息时,把种子存到mysql数据库里,数据库的结构也在github里了。
以上就是本篇文章【基于DHT网络的BT磁力链蜘蛛源码】的全部内容了,欢迎阅览 ! 文章地址:http://lanlanwork.gawce.com/news/9605.html 资讯 企业新闻 行情 企业黄页 同类资讯 首页 网站地图 返回首页 阁恬下移动站 http://lanlanwork.gawce.com/mobile/ , 查看更多