Nexus搭建npm私库（角色管理、上传脚本）

2023-12-10 11:30
文章标签 搭建 管理 npm 角色 脚本 上传 nexus 私库

本文主要是介绍Nexus搭建npm私库（角色管理、上传脚本），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

安装Nexus

官网下载

https://www.sonatype.com/products/sonatype-nexus-oss-download

进入官网下载，最新下载方式需要输入个人信息才能下载了

image-20231206140429489

选择对应的系统进行下载

  • Windows 推荐也下载 UNIX 版本（Windows 版本配置比较难改）

image-20231206135901989

如果没有下载，点一下 click here 重新下载，下载还是很快的

image-20231206140624901

Windows安装

linux 安装步骤与启动方式跟 windows 是一样的，解压后如下图

image-20231206141655045

$ tar -zxvf nexus-3.63.0-01-unix.tar.gz
$ cd nexus-3.63.0-01/bin
$ ./nexus /run

注意：nexus 必须使用 Java1.8，我现在用的是 Java17，提示信息让咱们配置 INSTALL4J_JAVA_HOME

image-20231206145305323

$ vim nexus
INSTALL4J_JAVA_HOME_OVERRIDE=/d/Develop/Java/jdk1.8.0_161

image-20231206150123385

显示这个之后访问：http://localhost:8081/，点击 Sign In

  • 账号为 admin，密码粘贴 sonatype-work/nexus3/admin.password 里面的密码，登录成功会提示你改密码

image-20231206150205067

如果想更改启动端口，可以修改 etc/nexus-default.properties 文件

image-20231206150804664

docker安装nexus

nexus3 安装参考：

  • docker-nexus3 GitHub

镜像说明：

  • sonatype/nexus 是 nexus2 版本
  • sonatype/nexus3 是 nexus3 版本
$ docker pull sonatype/nexus3
$ docker run -d -p 8081:8081 --name nexus sonatype/nexus# 查看 nexus 日志
$ docker logs -f nexus

注意：已经有的容器，直接 docker start 即可

  • -d：在 docker 守护线程运行这个镜像
  • -p：绑定端口，前面的端口表示宿主机端口，后面的表示容器端口
  • --restart=always：指定 docker 重启启动容器，当服务器或者 docker 进程重启之后，nexus 容器会在 docker 守护进程启动后由 docker 守护进程启动容器
  • --name <container-name>：这里是指定了容器建立后的名称
  • sonatype/nexus3 是镜像名

查看是否启动成功

docker ps

报内存不够的话输入这个

Memory: 4k page, physical 1006968k(877280k free), swap 0k(0k free)$ docker run -d -p 8081:8081 --name nexus3 --restart=always --platform linux/amd64 -e INSTALL4J_ADD_VM_PARAMS="-Xms256M -Xmx256M -XX:MaxDirectMemorySize=2048M" sonatype/nexus3

用户权限不够的话输入如下内容，之后即可启动成功

WARNING: ************************************************************
WARNING: Detected execution as "root" user.  This is NOT recommended!
WARNING: ************************************************************
$ cd /opt/sonatype/nexus/bin
$ vi nexus.rc
run_as_user=root
$ vi /etc/profile
export RUN_AS_USER=root
$ vi nexus
run_as_root=true -> run_as_root=false

创建仓库

仓库管理

Nexus 仓库类型分为如下几种

  1. hosted：本地仓库，通常我们会部署自己的构件到这一类型的仓库，如公司的第二方库
  2. proxy：代理仓库，它们被用来代理远程的公共仓库，如 Maven 中央仓库
  3. group：仓库组，用来合并多个 hosted/proxy 仓库，当你的项目希望在多个 repository 使用资源时就不需要多次引用了，只需要引用一个 group 即可

在创建 repository 之前，最好再创建 Blob Stores 便于统一管理，默认的是 default

image-20231206151333577

选择 File，名字填写为 npm

image-20231206151428449

创建仓库

之后即可创建仓库

image-20231206151933100

一会儿会创建 npm(group)、npm(hosted)、npm(proxy) 这几个仓库

image-20231206151758355

创建npm(hosted)

hosted 宿主仓库：主要用于部署无法从公共仓库获取的构件以及自己或第三方的项目构件

  • 如果是内网情况（无法访问互联网）即可当 npm 总仓库
  • 是否允许重复推送可以根据自己项目情况来考虑

image-20231206153443838

创建npm(proxy)

proxy 代理仓库：代理公共的远程仓库

image-20231206152954330

创建npm(group)

group 仓库组：通过仓库组统一管理多个仓库，这样我们在项目中直接请求仓库组即可请求到仓库组管理的多个仓库

  • hosted 和 proxy 这两个都弄好了之后，在通过 group 聚合提供统一的访问地址

image-20231206153604374

测试

指定 npm 的 registry 为自己的 group 地址，安装 express 依赖

image-20231206155638015

proxy 地址由于没有对应依赖会去镜像源地址下载，之后 proxy 仓库就有对应依赖了

image-20231206155807939

创建推送包角色

添加角色用户

点击 Roles，添加角色权限，搜索 npm- 之后点击 Transfer All 把所有权限都附上即可

  • 可以根据对应需求赋对应权限，比如只让上传不让修改只赋 edit 即可

image-20231206161750869

之后创建对应用户，并设置对应权限

image-20231206161935295

点击 Realms，添加 npm Bearer Token Realm，不然 npm publish 会报 401

image-20231206164136875

添加推送账号

https://blog.sonatype.com/using-sonatype-nexus-repository-3-part-2-npm-packages

添加推送账号，常用如下两种方法

npm adduser

示例：使用 npm adduser 方法

$ npm adduser
Username: admin
Password: admin123
Email: (this IS public): any@email.com

推荐：加 --scope 限制作用域，加 --registry 限制仓库地址

$ npm adduser --registry=http://localhost:8081/repository/npm_hosted/ --scope=@mynpm
npm notice Log in on http://localhost:8081/repository/npm_hosted/
Username: npm
Email: (this IS public) ll@123.com
Logged in to scope @mynpm on http://localhost:8081/repository/npm_hosted/.

$ npm publish --scope=@mynpm

image-20231206170241797

使用.npmrc

不添加推送账号也可以使用 .npmrc，创建 .npmrc 文件，将私库地址粘贴过来

  • 如果想免密登陆推送可以加上 _auth，加密规则：user:password -> base64
registry=http://localhost:8081/repository/npm_hosted/
# 只是举例，不推荐使用 admin 用户
_auth=YWRtaW46YWRtaW4xMjM=
email=any@email.com

_auth 加密方式：

  • 可以使用浏览器自带的方法 window.btoa 或 window.atob

    image-20230613101343312

  • 还可以使用 linux base64 命令

    image-20230613101349194

registry 也可以通过配置 package.json 来实现

{"publishConfig": {"registry": "http://localhost:8081/repository/npm_hosted/"}
}

下载依赖包

python下载

  • 根据 resolved 字段进行下载
# -*-coding:utf-8-*-
import json
import os
import urllib.request
from pathlib import Pathdef node_modules(file_dir):# 通过递归遍历 node_modules 每个子包的 package.json 解析下载链接links = []for root, dirs, files in os.walk(file_dir):if 'package.json' in files:package_json_file = os.path.join(root, 'package.json')try:with open(package_json_file, 'r', encoding='UTF-8') as load_f:load_dict = json.load(load_f)if '_resolved' in load_dict.keys():links.append(load_dict['_resolved'])except Exception as e:print(package_json_file)print('Error:', e)return linksdef package_lock(package_lock_path):# 通过递归遍历 package-lock.json 解析下载链接links = []with open(package_lock_path, 'r', encoding='UTF-8') as load_f:load_dict = json.load(load_f)search(load_dict, "resolved", links)return linksdef search(json_object, key, links):# 遍历查找指定的keyfor k in json_object:if k == key:links.append(json_object[k])if isinstance(json_object[k], dict):search(json_object[k], key, links)if isinstance(json_object[k], list):for item in json_object[k]:if isinstance(item, dict):search(item, key, links)def download_file(path, store_path, flag):# 根据下载链接下载if not Path(store_path).exists():os.makedirs(store_path, int('0755'))links = []if path.endswith("package-lock.json"):links = package_lock(path)else:links = node_modules(path)print("link resolved number:" + str(len(links)))for url in links:try:filename = url.split('/')[-1]index = filename.find('?')# 去掉 ? 参数和 # 哈希if index > 0:filename = filename[:index]index = filename.find('#')if index > 0:filename = filename[:index]filepath = os.path.join(store_path, filename)if not Path(filepath).exists():print("download:" + url)# 以防以后对请求头做限制opener = urllib.request.build_opener()opener.addheaders = [('User-agent', 'Mozilla/5.0')]urllib.request.install_opener(opener)if flag:new_path = os.path.join(os.getcwd(), 'nodes')if not Path(new_path).exists():os.makedirs(new_path, int('0755'))filepath = os.path.join(new_path, filename)urllib.request.urlretrieve(url, filepath)# else:# print("file already exists:", filename)except Exception as e:print('Error Url:' + url)print('Error:', e)if __name__ == '__main__':# 通过 xxx 文件解析对应依赖树download_link = os.path.join(os.getcwd(), 'package-lock.json')# 下载文件存放的路径download_path = os.path.join(os.getcwd(), 'node')# 下载文件是否存放到一个新的路径里，默认存放到 nodes 里download_flag = Truedownload_file(download_link, download_path, download_flag)print("ok")

node下载

  • 使用 npm pack 命令，下载 .tgz 文件
const shell = require('shelljs')
const fs = require('fs')function download(fileNames = []) {shell.cd('download')let count = 0fileNames.forEach(fileName => {const fileExec = shell.exec(`npm pack ${fileName}`, { async: true, silent: true })fileExec.stdout.on('data', () => {++countshell.echo(`>>> ${fileName} 下载完成...`)if (count === fileNames.length) {shell.cd('..')shell.exit(0)}}).on('err', () => {++countshell.echo(`>>> ${fileName} 下载失败！！！...`)if (count === fileNames.length) {shell.cd('..')shell.exit(0)}})})
}function downloadByPackageJsonLockFile(depLockJsonFile = {}) {const nMap = new Map()const NotMap = new Map()// 总的nodes文件夹，方便下次避免重复下载const downloadedDir = './nodes'const downloadedArr = fs.readdirSync(downloadedDir)function getAllList(depJson) {if (depJson) {Object.keys(depJson).forEach(dep => {const depWithVersion = `${dep}@${depJson[dep].version}`let tgzFormat = `${dep}-${depJson[dep].version}.tgz`// eg: @babel/code-frame-7.14.5.tgz -> babel-code-frame-7.14.5.tgztgzFormat = dep.startsWith('@')? tgzFormat.split('/').join('-').slice(1): tgzFormatif (!nMap.has(depWithVersion) && !downloadedArr.includes(tgzFormat)) {nMap.set(depWithVersion, true)getAllList(depJson[dep].dependencies)} else if (downloadedArr.includes(tgzFormat) && !NotMap.has(tgzFormat)) {NotMap.set(tgzFormat, true)}})}}getAllList(depLockJsonFile.dependencies)shell.echo(`一共${Array.from(NotMap.keys()).length}个依赖包已在${downloadedDir}目录下存在，不需要重复下载：\n`)shell.echo(`>>> 无需下载列表： \n - ${Array.from(NotMap.keys()).join('\n - ')}...\n`)shell.echo(`一共${Array.from(nMap.keys()).length}个依赖包待下载\n`)shell.echo(`>>> 待下载列表： \n - ${Array.from(nMap.keys()).join('\n - ')}...`)download(Array.from(nMap.keys()))
}const pkgLock = require('./package-lock')
downloadByPackageJsonLockFile(pkgLock)

推送依赖包

shell单线程推送

  • 只使用一个线程推送，我比较常用，一般推送的包不会很多
#!/bin/bash
# 待publish文件夹地址
PACKAGE_PATH=./download
# 前端私库地址
REPOSITORY=http://localhost:8081/repository/npm_hosted/
npm login --registry=$REPOSITORY
for file in $PACKAGE_PATH/*.tgz; donpm publish --registry=$REPOSITORY $file
done

node多线程推送

多线程推送，上传包较多可以使用，如果包过多可能会导致电脑卡死

let fs = require('fs')
let path = require('path')
const { exec } = require('child_process')// 前端私库地址
const registry = 'http://localhost:8081/repository/npm_hosted/'
const publishPosition = `npm publish --registry=${registry}`
// 待publish文件夹地址
const filesDir = './download'fs.readdir(filesDir, (errs, files) => {files.forEach(file => {fs.stat(filesDir + file, function (err, stats) {if (stats.isFile()) {const fullFilePath = path.resolve(__dirname, filesDir + file)console.log(fullFilePath + ' publish 开始')exec(publishPosition + ' ' + fullFilePath, function (error, stdout, stderr) {if (error) {console.error(fullFilePath + ' publish 失败')} else {console.error(fullFilePath + ' publish 成功')}})}})})
})

nexus API上传

官网信息见： https://help.sonatype.com/repomanager3/rest-and-integration-api/components-api

#!/bin/bash
# 待publish文件夹地址
PACKAGE_PATH=./download
# 前端私库服务地址
PUBLISH_RESTFUL=http://localhost:8081/service/rest/v1/components?repository=npm_hostedecho ">>> 文件所在目录：$PACKAGE_PATH <<<"
dir=$(ls -l $PACKAGE_PATH | awk '/.tgz$/ {print $NF}')
cd $PACKAGE_PATHfor file in $dir
doecho ">>> $PACKAGE_PATH/$file 上传开始 \n"ret=`curl -u admin:admin123 -X POST "$PUBLISH_RESTFUL" -H "Accept: application/json" -H "Content-Type: multipart/form-data" -F "npm.asset=@$file;type=application/x-compressed"`echo $retecho ">>> $PACKAGE_PATH/$file 上传完成 \n"
done

问题

内网上传问题

  1. 分析依赖锁时，有些包命名重复，导致下载错误

    比如：下载 parse-json@4.0.0 链接，既有可能下载的是 @types/parse-json 也有可能下载就是 parse-json，如果按文件名进行覆盖则会导致少传包

  2. 上传包时，有些包的 package.json 里面配置 publishConfig

    image-20230823160618665

    • 比如：archiver-5.0.0 里面配置了如上 publishConfig。在内网情况下，使用 npm i --registry=xx，是会报错的，内网无法访问到 https://registry.npmjs.org/
      • 目前我想到的解决方案是：把 archiver-5.0.0.tgz 解压，之后解压 archiver-5.0.0.tar，修改 package.json 里面的 publishConfig，之后执行 npm publish
    • 比如：builtins@1.0.3 里面也配置了 publishConfig
    • 比如：ahooks@3.7.8、ahooks-v3-count-1.0.0、hoist-non-react-statics@3.3.2（react-redux@8 的依赖）

    特殊

    • 比如：simple-update-notifier@2.0.0 也是里面配置了 publishConfig，这个包里 scripts 命令里还会有 prepare 钩子，需要先把它去掉
    • 比如：@ant-design/icons@4.8.1 这个比较有特殊性，它依赖了 @ant-design/icons-svg@4.3.1，这两个包都配置了 publishConfig，所以需要单独推送，但是这个包里 scripts 命令里配置了 prepublishOnly 钩子，需要先把它去掉
    • 比如：antd@5.8.4、antd@4.24.13 同时配置了 prepare、prepublishOnly、postpublish 钩子，需要先把它们去掉

  3. 分析依赖锁时，包下载不下来，这个就只能用笨方法（缺什么依赖，npm i 之后把对应包 tgz 包下载下来）

    比如：

    • @vue/cli 需要 @types/inquirer@8.1.3、@types/accepts@1.3.5 、body-parser@1.19.2、qs@6.9.7、@vitejs/plugin-react@4.0.3、@types/html-minifier-terser@6.0.0、serve-index@1.9.1
    • 其实这个是和第一个原因是一样的都是名重复了，导致下载不下来

其他问题

E400

仓库不允许重复推送会报 400，改为 allow redeploy

image-20231206165353153

E401

没有权限涉及情况较多：

  1. 账号密码不对
  2. 检查对应角色是否有对应权限
  3. 比如 npm 推送以什么方式校验，npm Bearer Token Realm
  4. token 是否过期，去根目录修改 .npmrc 文件，将过期 token 删除

image-20231206162906061

E403

禁止上传，group 仓库禁止上传，上传到 hosted 即可

image-20231206164947825

E503

仓库离线，改为在线即可

image-20231206165252356

这篇关于Nexus搭建npm私库（角色管理、上传脚本）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/476980。

相关文章

Python脚本实现自动删除C盘临时文件夹

Python脚本实现自动删除C盘临时文件夹

《Python脚本实现自动删除C盘临时文件夹》在日常使用电脑的过程中,临时文件夹往往会积累大量的无用数据,占用宝贵的磁盘空间,下面我们就来看看Python如何通过脚本实现自动删除C盘临时文件夹吧... 目录一、准备工作二、python脚本编写三、脚本解析四、运行脚本五、案例演示六、注意事项七、总结在日常使用
阅读更多...
java脚本使用不同版本jdk的说明介绍

java脚本使用不同版本jdk的说明介绍

《java脚本使用不同版本jdk的说明介绍》本文介绍了在Java中执行JavaScript脚本的几种方式,包括使用ScriptEngine、Nashorn和GraalVM,ScriptEngine适用... 目录Java脚本使用不同版本jdk的说明1.使用ScriptEngine执行javascript2.
阅读更多...
高效管理你的Linux系统: Debian操作系统常用命令指南

高效管理你的Linux系统: Debian操作系统常用命令指南

《高效管理你的Linux系统:Debian操作系统常用命令指南》在Debian操作系统中，了解和掌握常用命令对于提高工作效率和系统管理至关重要，本文将详细介绍Debian的常用命令，帮助读者更好地使... Debian是一个流行的linux发行版，它以其稳定性、强大的软件包管理和丰富的社区资源而闻名。在使用
阅读更多...
解决Cron定时任务中Pytest脚本无法发送邮件的问题

解决Cron定时任务中Pytest脚本无法发送邮件的问题

《解决Cron定时任务中Pytest脚本无法发送邮件的问题》文章探讨解决在Cron定时任务中运行Pytest脚本时邮件发送失败的问题,先优化环境变量,再检查Pytest邮件配置,接着配置文件确保SMT... 目录引言1. 环境变量优化：确保Cron任务可以正确执行解决方案：1.1. 创建一个脚本1.2. 修
阅读更多...
python写个唤醒睡眠电脑的脚本

python写个唤醒睡眠电脑的脚本

《python写个唤醒睡眠电脑的脚本》这篇文章主要为大家详细介绍了如何使用python写个唤醒睡眠电脑的脚本,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 环境：win10python3.12问题描述：怎么用python写个唤醒睡眠电脑的脚本？解决方案：1.唤醒处于睡眠状
阅读更多...
Java文件上传的多种实现方式

Java文件上传的多种实现方式

《Java文件上传的多种实现方式》文章主要介绍了文件上传接收接口的使用方法,包括获取文件信息、创建文件夹、保存文件到本地的两种方法,以及如何使用Postman进行接口调用... 目录Java文件上传的多方式1.文件上传接收文件接口2.接口主要内容部分3.postman接口调用总结Java文件上传的多方式1
阅读更多...
多模块的springboot项目发布指定模块的脚本方式

多模块的springboot项目发布指定模块的脚本方式

《多模块的springboot项目发布指定模块的脚本方式》该文章主要介绍了如何在多模块的SpringBoot项目中发布指定模块的脚本,作者原先的脚本会清理并编译所有模块,导致发布时间过长,通过简化脚本... 目录多模块的springboot项目发布指定模块的脚本1、不计成本地全部发布2、指定模块发布总结多模
阅读更多...
shell脚本快速检查192.168.1网段ip是否在用的方法

shell脚本快速检查192.168.1网段ip是否在用的方法

《shell脚本快速检查192.168.1网段ip是否在用的方法》该Shell脚本通过并发ping命令检查192.168.1网段中哪些IP地址正在使用,脚本定义了网络段、超时时间和并行扫描数量,并使用... 目录脚本：检查 192.168.1 网段 IP 是否在用脚本说明使用方法示例输出优化建议总结检查 1
阅读更多...
使用Python实现大文件切片上传及断点续传的方法

使用Python实现大文件切片上传及断点续传的方法

《使用Python实现大文件切片上传及断点续传的方法》本文介绍了使用Python实现大文件切片上传及断点续传的方法,包括功能模块划分（获取上传文件接口状态、临时文件夹状态信息、切片上传、切片合并）、整... 目录概要整体架构流程技术细节获取上传文件状态接口获取临时文件夹状态信息接口切片上传功能文件合并功能小
阅读更多...
Mycat搭建分库分表方式

Mycat搭建分库分表方式

《Mycat搭建分库分表方式》文章介绍了如何使用分库分表架构来解决单表数据量过大带来的性能和存储容量限制的问题,通过在一对主从复制节点上配置数据源,并使用分片算法将数据分配到不同的数据库表中,可以有效... 目录分库分表解决的问题分库分表架构添加数据验证结果 总结分库分表解决的问题单表数据量过大带来的性能
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2