Home

Awesome

notabug平台代码仓库下载

写在前边:本人计算机小白,只了解一点点基本的爬虫知识和python用法。代码写的可能不规范也不太完善,求各位佬轻喷。

notabug简述

平台地址与基本情况

https://notabug.org/

NotABug.org is a free-software code collaboration platform for freely licensed projects. We exist to help projects that distribute under any free license.(来源自其官网介绍

截至2023年10月24日,其共有仓库17936个。

爬取难度

notabug基本没有反爬措施,爬取难度较低,且其访问与下载不需要登录及cookie。

通过以下url即可提取得到其每页的仓库名

https://notabug.org/explore/repos?page=2&q=

通过以下url可提取得到单个仓库的.zip及.tar.gz的下载链接

https://notabug.org+仓库名

直接运行wget命令即可下载相应仓库。

所以,整体流程难度不高。

代码说明

所有代码都在.ipynb文件中,依次运行每个单元格即可。

其中,

01get_repo_name.ipynb 为获取仓库名的代码

02get_zip_url.ipynb 为获取各仓库下载链接的代码

03download_files.ipynb 为下载各仓库的代码

由于网络问题,可能部分片段需要不止执行一次,尤其是下载部分。