Awesome
<h2 align="center"><code>🎉Life is fantastic🥳!~</code></h2> <br> <p align="center"> <img src="https://github.com/CriseLYJ/flask-video-streaming-recorder/blob/master/img/main.jpg?raw=true" alt="Master"> </p> <br> <p align="center">"<i>Did you know all your doors were locked?</i>" - Riddick (The Chronicles of Riddick)</p> <br> <p align="center"> <a href="https://github.com/CriseLYJ/awesome-python-login-model/tree/master"> <img src="https://img.shields.io/badge/Branch-master-green.svg?longCache=true" alt="Branch"> </a> <a href="https://github.com/CriseLYJ/awesome-python-login-model/stargazers"> <img src="https://img.shields.io/github/stars/CriseLYJ/awesome-python-login-model.svg?label=Stars&style=social" alt="Stars"> </a> <a href="https://github.com/CriseLYJ/awesome-python-login-model/network/members"> <img src="https://img.shields.io/github/forks/CriseLYJ/awesome-python-login-model.svg?label=Forks&style=social" alt="Forks"> </a> <a href="http://www.gnu.org/licenses/"> <img src="https://img.shields.io/badge/License-GNU-blue.svg?longCache=true" alt="License"> </a> <a href="https://github.com/sindresorhus/awesome"> <img src="https://cdn.rawgit.com/sindresorhus/awesome/d7305f38d29fed78fa85652e3a63e154dd8e8829/media/badge.svg" alt="Awesome"> </a> </p> <br> <div align="center"> <sub>Created by <a href="https://Kr1s77.github.io/">@kris</a> </div> <br>传送门
- 4G 代理
- 异常处理回调,直接 hook 所有函数,和类 给个 🌟 再走吧...
💕Website login model
一些爬虫示例程序,以及模拟登陆程序,模拟登陆基于 selenium,有些模拟登录基于 js 逆向,持续更新,有问题可以直接提交 Issues,欢迎提交 PR, 测试通过可以直接 merge,文中所有程序都是使用 python3
编写 :-)
About
模拟登陆基本采用的是直接登录或者使用selenium+webdriver的方式,有的网站直接登录难度很大,比如qq空间,bilibili等如果采用selenium就相对轻松一些。
虽然在登录的时候采用的是selenium,为了效率,我们可以在登录过后得到的cookie维护起来,然后调用requests或者scrapy等进行数据采集,这样数据采集的速度可以得到保证。
WebDriver
Completed
- 虾米音乐
- 微博网页版
- 知乎
- QQZone
- CSDN
- 淘宝-接口修复完成-可用
- CSDN--已重构
- Baidu
- 果壳
- JingDong 模拟登录和自动申请京东试用
- 163mail
- 拉钩
- Bilibili
- 豆瓣
- 豆瓣spider
- Baidu
- 猎聘网
- 微信网页版登录并获取好友列表
- Github
- 爬取图虫相应的图片
- 网易云音乐
- 糗事百科--改为协程版
- 百度贴吧spider
- 百度翻译
catalogue
- 虾米音乐
- Facebook模拟登录
- 微博网页版模拟登录
- QQZone模拟登录
- CSDN模拟登录--已恢复
- 淘宝爬虫--重构中
- Baidu模拟登录一
- 果壳爬虫程序
- JingDong 模拟登录和自动申请京东试用
- 163mail--已恢复
- 拉钩模拟登录--已失效
- Bilibili模拟登录
- 豆瓣
- Baidu2模拟登录
- 猎聘网模拟登录
- 微信网页版登录并获取好友列表
- Github模拟登录两种解决方案都可行
- 爬取图虫想要的图片
- 网易云音乐downloader
- 糗事百科爬虫
- 淘宝登陆-访问
Test
Informations
- 为感谢你们的支持,准备写一套免费爬虫的教程,保证你学会以后可以爬取市面上大部分的网站,教程地址
tips of pull request
- 欢迎大家一起来 pull request 💗
Problems
- 关于验证码:本项目所用的方法都没有处理验证码,识别复杂验证码的难度就目前来说,还是比较大的。以我的心得来说,做爬虫最好的方式就是尽量规避验证码。
- 代码失效:由于网站策略或者样式改变,导致代码失效,请给我提issue,如果你已经解决,可以提PR,谢谢!
- 正在对部分代码进行优化。。。
- 如果该repo对大家有帮助,记得 star 哦。
Acknowledgments
@deepforce | @cclauss | ksoeasyxiaosi | JasonJunJun | MediocrityXT
- 感谢以上开发者的支持和贡献。
联系我
- 欢迎反馈!
- Email : criselyj@163.com
注意:
- 本项目仅用于学习和交流
欢迎任何人参与和完善:一个人可以走的很快,但是一群人却可以走的更远