南京人论坛 做南京人的网上家园  - 南京金友网

 找回密码
 立即注册

QQ登录

只需一步,快速开始

微信登录

微信扫一扫,快速登录

查看: 4937|回复: 0
收起左侧

成人网站PornHub爬虫分享(一天可爬取500万以上的视频)

[复制链接]
累计签到:64 天
连续签到:1 天

856

主题

98

回帖

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
14426

最佳新人活跃会员热心会员推广达人宣传达人灌水之王突出贡献优秀版主荣誉管理论坛元老

发表于 2020-3-21 10:22:44 | 显示全部楼层 |阅读模式 IP:- 中国江苏

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册 微信登录

x

PornHub

PornHub

首先科普下 PornHub 是个啥东东?PornHub 是全球最大的成人网站,这个网站是07年搞起来的。在 10 年的时候被一个神秘组织 - MindGeek 收购。该组织据说收购了多个色情网站,可谓是全球最大的色情联盟。具体坐标未知。
并且 PornHub 是据我所知,成人网站中第一个上 Https 协议的,而且是全链路 Https 。还有一个牛逼的数据:Pornhub 的日访客数量达到了 7500万以上。根据 Alexa 的网站排名,Pornhub 在所有网站中排在第 38 位,紧随 eBay 之后。
同时 PornHub 也是一个极其创新的网站,从之前的联系多名歌手打造具有 PornHub 特色的音乐平台到前短时间的“熊猫事件”,各种天马行空的创新也是不少公司应该学习的地方。
以上的数据也就足以证明 PornHub 是全球最大的、安全的成人网站。
PornHubBotPornHubBot 是基于 Scrapy 框架爬取 PornHub.com 数据的项目,并将数据存储在 MongoDB。
1、项目主要是爬取全球最大成人网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接
2、项目爬的是PornHub.com,结构简单,速度飞快
3、爬取PornHub视频的速度可以达到500万/天以上。具体视个人网络情况,因为我是家庭网络,所以相对慢一点。
4、10个线程同时请求,可达到如上速度。若个人网络环境更好,可启动更多线程来请求,具体配置方法见 [启动前配置]**
具体的源代码,点击 https://github.com/xiyouMc/WebHubBot
环境、架构开发语言: Python2.7
开发环境: MacOS系统、4G内存
数据库: MongoDB
1、主要使用 scrapy 爬虫框架
2、从Cookie池和UA池中随机抽取一个加入到Spider
3、start_requests 根据 PorbHub 的分类,启动了5个Request,同时对五个分类进行爬取。
4、并支持分页爬取数据,并加入到待爬队列。
使用说明启动前配置1、安装MongoDB,并启动,不需要配置
2、安装Scrapy
3、安装Python的依赖模块:pymongo、json、requests
4、根据自己需要修改 Scrapy 中关于 间隔时间、启动Requests线程数等得配置
启动python PornHub/quickstart.py
运行截图

PornHub

PornHub


PornHub

PornHub




数据库说明数据库中保存数据的表是 PhRes。
以下是字段说明:video_title: 视频的标题,并作为唯一标识.
link_url: 视频调转到 PornHub 的链接
image_url: 视频的封面链接
video_duration: 视频的时长,以 s 为单位
quality_480p: 视频480p的 mp4 下载地址
总结“声明”,本文旨在介绍 Scrapy 爬虫框架和 MongoDB 数据库,项目简单、易懂。
切勿使用在商业、个人其他意图中。若使用不当,均由个人承担责任。


PornHub

PornHub




"小礼物走一走,来南京金友网支持我"
还没有人打赏,支持一下
走自己的路
您需要登录后才可以回帖 登录 | 立即注册 微信登录

本版积分规则

快速回复 返回顶部 返回列表