本文主要是介绍使用bandersnatch搭建pypi 本地镜像源(20211026),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
需求背景:公司内网不能联网,同时开发工作需要各种python的模块,因此需要搭建一个pypi的本地镜像源。
参考网上的方法,总结了大致有下面几种方式搭建pypi本地源:
- devpi: 企业内网利用devpi搭建pypi私服 - 简书
- pip2pi: https://yangfannie.com/1439.html
- pypiserver: https://zhongneng.github.io/2019/02/16/creat-pip/
- bandersnatch: 基于bandersnatch搭建pip本地源_永不消逝的记忆-CSDN博客
最终选择了bandersnatch,主要理由是前面几种基本采用的是缓存机制,安装或者下载模块后缓存在本地,在没有网络的环境下一旦部署很容易出现需要的模块没有被缓存,重新添加比较麻烦,当然前面几种的好处就是比较节省硬盘空间。
准备工作
pypi 全部资源量非常巨大,截至目前已经达到9.4T(20211026),我准备了11T的硬盘空间,
查询所需要的空间: Statistics · PyPI
安装
根据官方的文档:bandersnatch · PyPI
安装的方式有多种,我采用的是docker 的部署方式。
docker pull pypa/bandersnatch
配置和部署:
- 启动docker 镜像
$ sudo docker run -it -v /srv/pypi:/srv/pypi pypa/bandersnatch:latest bash #我本地硬盘mount到了/srv/pypi
- 第一次执行bandersnatch mirror会生成/etc/bandersnatch.conf
root@97a753fce661:/bandersnatch# bandersnatch mirror
2021-10-26 13:12:53,502 WARNING: Config file '/etc/bandersnatch.conf' missing, creating default config. (main.py:200)
2021-10-26 13:12:53,502 WARNING: Please review the config file, then run 'bandersnatch' again. (main.py:201)
- 编辑 /etc/bandersnatch.conf文件,主要是修改一下存放文件的路径
directory = /srv/pypi
- 再次执行bandersnatch mirror,开始mirror。(国内从官网下载文件,速度较慢且不稳定,如果网速能接受等待全部下载完即可)
- 如果发现从官网下载速度或者稳定性欠佳,可修改成国内源下载文件。
首先还是需要执行bandersnatch mirror直到开始下载文件,此时会生成todo文件(必须需要有该文件),按ctrl+c取消mirror.
root@97a753fce661:/bandersnatch# ls -l /srv/pypi/
total 7220
-rw------- 1 root root 1 Oct 26 11:56 generation
-rw------- 1 root root 7381714 Oct 26 12:16 todo
drwxr-xr-x 5 root root 4096 Oct 26 11:56 web
修改/etc/bandersnatch.conf中的下面内容,为何不一开始就替换为国内源呢?是因为常用的国内源似乎暂不支持xmlrpc服务,导致无法获取到文件元数据信息,只好先从官网获取元数据信息,获取到以后再换成国内源进行下载。
download-mirror = https://pypi.doubanio.com/
download-mirror-no-fallback = False
同时我在该文件中增加了过滤,去除超大文件的下载,过滤选项可参考:Mirror filtering — bandersnatch 5.0.0 documentation
[plugins]
enabled =size_project_metadata
[size_project_metadata]max_package_size = 10G
- 修改完成后执行bandersnatch mirror,就会发现使用豆瓣源下载文件了,速度有了大幅提升。
- 经过漫长的下载(一周的时间),终于下载完成了,下载了5T多,因为设置了10G以上不下载,部分常用的没有下载下来,例如numpy,panda等,可以在/etc/bandersnatch.conf设置白名单,例如:
[plugins] enabled =allowlist_project[allowlist] packages =numpy
因为我剩余空间还比较多,我将过滤package大小设置成了100G,且只下载最新的20次版本,当然我们也可以一开始就可以设置要下载的版本数量,全部下载似乎的确没必要且占空间
[plugins] enabled =size_project_metadatalatest_release [latest_release] keep = 20 [size_project_metadata] max_package_size = 100G
-
安装apache,提供http服务
apt-get install -y apache2 cd /var/www/html/ rm -rf index.html ln -s /srv/pypi/web pypi
使用内部源
- pip install <package> -i http://xx.xx.xx.xx/pypi/simple/ --trusted-host xx.xx.xx.xx
-
或者配置~/.pip/pip.conf文件
root@743d3aff75df:~/.pip
# cat ~/.pip/pip.conf
[global]
index-url = http://
xx.xx.xx.xx/pypi/simple
[
install
]
trusted-host=
xx.xx.xx.xx
这篇关于使用bandersnatch搭建pypi 本地镜像源(20211026)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!