在Docker中部署JupyterNotebook/JupyterHub

2023-11-11 10:59

本文主要是介绍在Docker中部署JupyterNotebook/JupyterHub,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

发现自己已经大半年没有更新博客了,主要还是忙,我觉得还是要把博客捡起来,不论是做环境搭建的整理还是技术点的记录都是好的,这个时间还是得花。不然时间一场就都忘了。

目录

  • 写在前面
  • JupyterNotebook的搭建
    • 镜像的选择
    • 启动容器
      • 容器参数配置——密码登录
      • 容器参数配置——文件夹映射
      • 容器参数配置——Jupyer后台运行
      • 容器参数配置——SSL证书配置与反向代理
  • JupyterHub的搭建
    • 什么是JupyerHub
    • 搭建JupyerHub

写在前面

从题目中可以猜到,本篇博文会分成两个部分:

  • JupyterNotebook的搭建
  • JupyterHub的搭建

当然本次的搭建都是在Docker中完成的,在Docker中搭建环境个人认为与本地搭建有以下优势:

  • DockerHub上有全球开发者提供的现成镜像,包括一些软件开发商提供的官方镜像,可以节省我们搭建环境的时间,因为有一些莫名其妙的BUG会困扰我们数小时甚至数天。
  • 已经搭建好的镜像可以很方便地进行迁移,也就是说,如果我们到了一个新环境,不需要再重复造轮子搭建环境了。
  • 最重要的:正因为Docker搭建环境的便携性,我们可以把更多的精力花在技术本身,而不是各种个样的环境构建上。

这里简单介绍以下JupyterNotebook,我习惯性的叫它为朱比特,对应的就是爱情之神丘比特,主要还是谐音的关系。以Python为例,Jupyter是一个可交互式的编程平台,它基于iPython ,类似IDLE,但是有比原生IDLE更强大的功能,例如可以支持MarkdownLatex等语法,同时,Matplotlib等绘图库也可以inline展示,这对数据分析、机器学习、人工神经网络的调参,编程语言教学等具有重大意义。可以发现,国内外的一些Python库的教学视频,很多都是基于Jupyter的。由于我本人是从事大数据的,因此也打算在进行数据分析时,从原来的PyCharm切换到Jupyter。

JupyterNotebook的搭建

在Docker中搭建JupyterNotebook的过程很简单,一共分为两步

  • 选取并拉取镜像
  • 容器参数设置与启动容器

镜像的选择

在官方的Docker镜像选择文档中,提供了一系列镜像,它们分别对应于不同的需求。

  • jupyter/base-notebook
  • jupyter/minimal-notebook
  • jupyter/r-notebook
  • jupyter/scipy-notebook
  • jupyter/tensorflow-notebook
  • jupyter/datascience-notebook
  • jupyter/pyspark-notebook
  • jupyter/all-spark-notebook

其中jupyter/base-notebook是所有镜像的基础。
根据需求选择好镜像后,就可以pull镜像了,例如选择了jupyter/datascience-notebook,则在终端中执行以下命令:

$ docker pull jupyter/datascience-notebook

启动容器

你可以直接使用docker run来启动容器,即按照官方文档中最简单的启动方法

docker run -p 8888:8888 jupyter/scipy-notebook:latest

利用这种方式启动容器时,Jupyter会运行在8888端口上,同时,所有的操作都是一次性的,也就是说,不会持久化到磁盘,在容器被关闭后,都会被删除。

这里介绍一些常用的参数配置

  • 密码登录
  • 文件夹映射
  • Jupyer后台运行
  • SSL证书配置与反向代理

容器参数配置——密码登录

默认情况下,Jupyter是不需要密码的,自己用还行,要是想在云服务器上搭建,就会产生安全问题。

Juyter使用的是sha1加密算法,虽然都是sha1,但是我们不能将明文用python自带的hashlib库进行加密后直接使用,要使用Jupyer自带的命令进行生成。

具体可以参考如下做法:

1、 使用最朴素的方式启动一个临时Jupyer容器
2、从网页打开Jupyer,并新建一个笔记本。或者以交互模式进入容器,打开Python的原生交互界面。这里以后者为例。
3、依次运行以下代码:

from notebook.auth import passwd
passwd()

输入密码和确认密码后,你会得到一个以sha1开头的字符串,类似

sha1:67c9e60bb8bxxxxxxaed

将整个字符串复制,包括``sha1`这个前缀。

然后,运行容器时,加上--NotebookApp.password参数即可。

$ docker run -d -p 8888:8888 jupyter/base-notebook start-notebook.sh --NotebookApp.password='sha1:74ba40f8xxxxxe'

启动服务后,在浏览器端会显示这样的效果:
在这里插入图片描述

容器参数配置——文件夹映射

前面我们所有的操作都是临时的,在容器被关闭后,所有的数据都会丢失,因此,在一般情况下,有必要将数据持久化。Docker自带这样的功能,也就是才启动容器时,增加参数-v。在Jupyer中,我们要将外部文件夹映射到/home/jovyan/work

以下是命令示例:

$ docker run -p 10000:8888 -v /your/local/folder:/home/jovyan/work jupyter/r-notebook

容器参数配置——Jupyer后台运行

直接在容器启动时加参数`-d``即可。
以下是命令时例:

docker run -d -p 8888:8888 jupyter/scipy-notebook:latest

容器参数配置——SSL证书配置与反向代理

默认情况下,Jupyer使用http,但是现在主流是https,Jupyer官方也建议使用https。这对本地来说无关紧要,对于部署在外网环境的,还是建议使用https。
JupyerNotebook Docker官方镜像也提供了设置https的方法。
我们从运营商申请到SSL证书时候,会有多种格式,这里我们选择Apache的就可以了。
在部署时,我们值需要.key.crt文件,并且将原文件重命名为notebook.keynotebook.crt。首先要先将证书所在的文件夹映射至容器中,这里是/etc/ssl/notebook

⚠️:Docker可以支持多个文件夹的映射,即多个-v参数,所以这里的映射与之前持久化的映射并不冲突。

然后运行以下命令:

docker run -d -p 8888:8888 \-v /some/host/folder:/etc/ssl/notebook \jupyter/base-notebook start-notebook.sh \--NotebookApp.keyfile=/etc/ssl/notebook/notebook.key--NotebookApp.certfile=/etc/ssl/notebook/notebook.crt

容器成功运行后,8888端口就不再提供http服务,而是https服务。

最后,简单说一下反向代理问题,现在主流的服务器,例如Apache、Nginx都有反向代理功能,Apache的可以参考我的博客:

  • Apache设置https反向代理
  • 使用Apache的虚拟主机以及代理搞定多个网站的子域名(包括跨域情况)解析问题->其实这就是http反向代理

如果不是Apache,Jupyer官方也提供了相关指南
设置好网站的反向代理后,需要注意的是Jupyter是用Socket来与Kernel进行通信的,所以还要开启服务器软件的Socket反向代理功能。 在这里,http情况下对应的是ws,https对应的是wss。这些在上面提及的官方指南中也有说明。

JupyterHub的搭建

本节,首先介绍一下什么是JupyterHub,以及它与JupyterNotebook的关系,然后简单介绍一下搭建过程。

什么是JupyerHub

JupyerHub是一个多用户的JupyerNotebook管理器。默认情况下,JupyerNotebook是不支持多用户使用的。而JupyterHub刚好弥补了这一缺点。在Docker中,JupyterHub更像一个守卫,首先,你要通过身份验证,然后,通过一个叫Spawn的机制为每一个通过验证的用户生成一个新的Docker容器,这样就可以多用户使用JupyterNotebook了。

同时,JupyerHub还支持文件夹共享,这个对于多用户协作来说是刚需,而这是普通JupyerNotebook做不到的。

搭建JupyerHub

这里推荐一篇文章,讲得很仔细,我参照他说的做,一次成功,也推荐给大家。我就不赘述了,避免重复造轮子。
使用Docker安装多用户版的JupyterHub

这篇关于在Docker中部署JupyterNotebook/JupyterHub的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/389573

相关文章

tomcat多实例部署的项目实践

《tomcat多实例部署的项目实践》Tomcat多实例是指在一台设备上运行多个Tomcat服务,这些Tomcat相互独立,本文主要介绍了tomcat多实例部署的项目实践,具有一定的参考价值,感兴趣的可... 目录1.创建项目目录,测试文China编程件2js.创建实例的安装目录3.准备实例的配置文件4.编辑实例的

SpringBoot配置Ollama实现本地部署DeepSeek

《SpringBoot配置Ollama实现本地部署DeepSeek》本文主要介绍了在本地环境中使用Ollama配置DeepSeek模型,并在IntelliJIDEA中创建一个Sprin... 目录前言详细步骤一、本地配置DeepSeek二、SpringBoot项目调用本地DeepSeek前言随着人工智能技

Docker镜像pull失败两种解决办法小结

《Docker镜像pull失败两种解决办法小结》有时候我们在拉取Docker镜像的过程中会遇到一些问题,:本文主要介绍Docker镜像pull失败两种解决办法的相关资料,文中通过代码介绍的非常详细... 目录docker 镜像 pull 失败解决办法1DrQwWCocker 镜像 pull 失败解决方法2总

通过Docker Compose部署MySQL的详细教程

《通过DockerCompose部署MySQL的详细教程》DockerCompose作为Docker官方的容器编排工具,为MySQL数据库部署带来了显著优势,下面小编就来为大家详细介绍一... 目录一、docker Compose 部署 mysql 的优势二、环境准备与基础配置2.1 项目目录结构2.2 基

CentOS 7部署主域名服务器 DNS的方法

《CentOS7部署主域名服务器DNS的方法》文章详细介绍了在CentOS7上部署主域名服务器DNS的步骤,包括安装BIND服务、配置DNS服务、添加域名区域、创建区域文件、配置反向解析、检查配置... 目录1. 安装 BIND 服务和工具2.  配置 BIND 服务3 . 添加你的域名区域配置4.创建区域

关于Docker Desktop的WSL报错问题解决办法

《关于DockerDesktop的WSL报错问题解决办法》:本文主要介绍关于DockerDesktop的WSL报错问题解决办法的相关资料,排查发现是因清理%temp%文件夹误删关键WSL文件,... 目录发现问题排查过程:解决方法其实很简单:重装之后再看就能够查到了:最后分享几个排查这类问题的小www.cp

OpenManus本地部署实战亲测有效完全免费(最新推荐)

《OpenManus本地部署实战亲测有效完全免费(最新推荐)》文章介绍了如何在本地部署OpenManus大语言模型,包括环境搭建、LLM编程接口配置和测试步骤,本文给大家讲解的非常详细,感兴趣的朋友一... 目录1.概况2.环境搭建2.1安装miniconda或者anaconda2.2 LLM编程接口配置2

大数据spark3.5安装部署之local模式详解

《大数据spark3.5安装部署之local模式详解》本文介绍了如何在本地模式下安装和配置Spark,并展示了如何使用SparkShell进行基本的数据处理操作,同时,还介绍了如何通过Spark-su... 目录下载上传解压配置jdk解压配置环境变量启动查看交互操作命令行提交应用spark,一个数据处理框架

如何使用Docker部署FTP和Nginx并通过HTTP访问FTP里的文件

《如何使用Docker部署FTP和Nginx并通过HTTP访问FTP里的文件》本文介绍了如何使用Docker部署FTP服务器和Nginx,并通过HTTP访问FTP中的文件,通过将FTP数据目录挂载到N... 目录docker部署FTP和Nginx并通过HTTP访问FTP里的文件1. 部署 FTP 服务器 (

解读docker运行时-itd参数是什么意思

《解读docker运行时-itd参数是什么意思》在Docker中,-itd参数组合用于在后台运行一个交互式容器,同时保持标准输入和分配伪终端,这种方式适合需要在后台运行容器并保持交互能力的场景... 目录docker运行时-itd参数是什么意思1. -i(或 --interactive)2. -t(或 --