《Docker 简易速速上手小册》第9章 Docker 与持续集成（2024 最新版）

2024-02-25 23:20
文章标签 docker 2024 最新版 集成 持续 简易 小册 速速

本文主要是介绍《Docker 简易速速上手小册》第9章 Docker 与持续集成（2024 最新版），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在这里插入图片描述

文章目录

  • 9.1 持续集成的基本概念
    • 9.1.1 重点基础知识
    • 9.1.2 重点案例：Python Web 应用的 CI 流程
    • 9.1.3 拓展案例 1：Python 数据分析项目的 CI
    • 9.1.4 拓展案例 2：Python 微服务的 CI/CD
  • 9.2 Docker 在 CI/CD 中的应用
    • 9.2.1 重点基础知识
    • 9.2.2 重点案例：Python 应用的 Docker CI/CD 流程
    • 9.2.3 拓展案例 1：Python 微服务的 Docker CI/CD
    • 9.2.4 拓展案例 2：Python 数据科学项目的 Docker CI/CD
  • 9.3 构建自动化测试环境
    • 9.3.1 重点基础知识
    • 9.3.2 重点案例：Python Web 应用的自动化测试
    • 9.3.3 拓展案例 1：Python 数据分析的自动化测试
    • 9.3.4 拓展案例 2：Python 微服务架构的集成测试

9.1 持续集成的基本概念

欢迎来到持续集成（CI）的世界，这是一种既神秘又实用的开发实践，用于提高软件质量和开发速度。让我们一起跳入这个世界，看看如何用 Python 和 Docker 来玩转 CI！

9.1.1 重点基础知识

当然，让我们深入探讨持续集成（CI）的核心概念，并理解 Docker 如何在这一过程中发挥关键作用。

持续集成（CI）的核心概念

  1. 代码仓库：所有代码和资源都存储在版本控制系统（如 Git）中。它允许团队成员协作，同时保持代码的一致性和历史记录。

  2. 频繁集成：持续集成鼓励开发人员频繁地将代码更改合并到主分支。这减少了集成冲突，使问题更易于发现和解决。

  3. 自动化构建：每次代码提交时，CI 系统会自动运行构建过程，这可能包括编译代码、打包应用等。

  4. 自动化测试：构建过程中包含自动化测试的运行，如单元测试、集成测试等，以确保新更改不会破坏现有功能。

  5. 快速反馈：如果构建或测试失败，CI 系统会立即通知开发团队，允许快速响应。

  6. 持续交付和部署：CI 是持续交付（CD）的基础。在持续交付中，每次成功的构建都准备好了部署到生产环境。

Docker 在 CI 中的角色

  1. 一致的环境：Docker 保证开发、测试和生产环境的一致性，解决了“在我机器上运行”的问题。

  2. 快速启动和可扩展性：Docker 容器的轻量级特性意味着它们可以快速启动和销毁，非常适合 CI 系统中的短暂任务。

  3. 可重复的构建：Docker 通过 Dockerfile 提供了一种声明式方法来定义构建过程，使之可重复且易于维护。

  4. 隔离和安全：Docker 容器在运行时是相互隔离的，这提供了安全性优势，特别是在多租户的 CI 系统中。

通过理解这些基础知识，我们可以更好地把握如何在现实生产环境中应用持续集成，并利用 Docker 的优势来提升开发流程的效率和可靠性。在接下来的案例中，我们将看到这些概念如何在具体的 Python 项目中得到应用。

9.1.2 重点案例：Python Web 应用的 CI 流程

让我们通过一个实际的例子来展示如何为一个使用 Flask 编写的 Python Web 应用实施 CI 流程。我们将使用 Docker 来创建一致的构建环境，并结合一个流行的 CI 工具（例如 Jenkins 或 Travis CI）来自动化构建和测试过程。

案例概述

我们的 Python Web 应用将包括基本的 Flask 功能和一些单元测试。我们将使用 Docker 容器化应用，并设置自动化构建和测试。

第一步：准备 Flask 应用

  1. 创建 Flask 应用

    • app.py:

      from flask import Flaskapp = Flask(__name__)@app.route('/')
def hello():return 'Hello, Docker CI!'if __name__ == '__main__':app.run(host='0.0.0.0', port=5000)

    • requirements.txt:

      Flask==1.1.2

  2. 添加单元测试

    • test_app.py:

      import pytest
from app import app@pytest.fixture
def client():with app.test_client() as client:yield clientdef test_hello(client):rv = client.get('/')assert b'Hello, Docker CI!' in rv.data

第二步：创建 Dockerfile

  1. 编写 Dockerfile

    • Dockerfile:

      FROM python:3.8-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install -r requirements.txt
COPY . .
CMD ["python", "app.py"]

第三步：设置 CI 配置文件

  1. CI 配置文件：对于不同的 CI 工具，配置文件可能有所不同。以下是 Travis CI 的一个示例：

    • .travis.yml:

      language: python
python:- "3.8"
services:- docker
script:- docker build -t python-web-app .- docker run -d -p 5000:5000 python-web-app- pytest

    这个配置告诉 Travis CI 如何构建 Docker 镜像，并运行容器和测试。

第四步：提交代码并观察 CI 流程

  1. 提交代码：将代码提交到版本控制系统（如 Git）。

  2. 观察 CI 流程：一旦代码被提交，CI 工具（如 Travis CI）将自动开始构建过程，运行 Docker 容器，并执行测试。

  3. 查看结果：在 CI 工具的控制面板上查看构建和测试的结果。

结论

通过这个案例，我们展示了如何为一个 Flask Web 应用设置 Docker 和 CI 流程。使用 Docker 保证了环境的一致性，而 CI 工具自动化了构建和测试的过程，从而提高了开发效率和代码质量。这种集成方法对于现代软件开发团队来说是非常有价值的，它确保了快速反馈和持续的质量改进。

9.1.3 拓展案例 1：Python 数据分析项目的 CI

让我们通过一个具体的例子来展示如何为一个使用 Python 进行数据分析的项目实施 CI 流程。这个项目将使用像 Pandas 这样的数据分析库，并通过自动化测试来保证数据处理的准确性。

案例概述

我们的数据分析项目将包含一些 Python 脚本，用于数据处理和分析。我们将使用 Docker 容器化环境，并结合 CI 工具自动化测试。

第一步：准备数据分析项目

  1. 创建数据处理脚本

    • data_analysis.py:

      import pandas as pddef data_analysis():# 示例数据分析过程data = pd.read_csv('data.csv')processed_data = data.describe()return processed_data

    • data.csv：一个示例 CSV 数据文件。

  2. 添加单元测试

    • test_data_analysis.py:

      import pytest
from data_analysis import data_analysisdef test_data_analysis():result = data_analysis()assert not result.empty

    • requirements.txt:

      pandas==1.1.3
pytest==6.1.1

第二步：创建 Dockerfile

  1. 编写 Dockerfile

    • Dockerfile:

      FROM python:3.8-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install -r requirements.txt
COPY . .
CMD ["pytest", "test_data_analysis.py"]

第三步：设置 CI 配置文件

  1. CI 配置文件：以下是一个适用于 Travis CI 的配置示例：

    • .travis.yml:

      language: python
python:- "3.8"
services:- docker
script:- docker build -t python-data-analysis .- docker run python-data-analysis

    这个配置指导 Travis CI 如何构建 Docker 镜像，并运行包含数据分析测试的容器。

第四步：提交代码并观察 CI 流程

  1. 提交代码：将代码和配置文件提交到版本控制系统。

  2. 观察 CI 流程：提交后，CI 工具自动开始构建和测试过程。

  3. 查看结果：在 CI 工具的控制面板上查看构建和测试的结果。

结论

这个案例演示了如何为数据分析项目设置 Docker 和 CI 流程。这种方法不仅保证了环境的一致性，还通过自动化测试确保了数据处理逻辑的准确性。对于依赖数据准确性的项目来说，这种集成 CI 的方法极大提高了代码质量和项目的可靠性。

9.1.4 拓展案例 2：Python 微服务的 CI/CD

在这个案例中，我们将展示如何为基于微服务架构的 Python 应用实现 CI/CD 流程。我们假设应用由多个独立的微服务组成，每个服务都有自己的代码库、Dockerfile 和 CI/CD 流程。

案例概述

我们的应用包含两个微服务：

  1. 订单服务：处理订单逻辑的 Flask 应用。
  2. 支付服务：处理支付逻辑的 Flask 应用。

第一步：准备微服务

  1. 创建订单服务 (Flask 应用)

    • order_service/app.py:

      from flask import Flask, jsonifyapp = Flask(__name__)@app.route('/orders')
def get_orders():# 示例订单数据return jsonify([{"id": 1, "total": 100}, {"id": 2, "total": 150}])if __name__ == '__main__':app.run(host='0.0.0.0', port=5000)

    • order_service/Dockerfile:

      FROM python:3.8-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install flask
COPY . .
CMD ["python", "app.py"]

  2. 创建支付服务

    • payment_service/app.py:

      from flask import Flask, jsonifyapp = Flask(__name__)@app.route('/payments')
def get_payments():# 示例支付数据return jsonify([{"id": 1, "amount": 100}, {"id": 2, "amount": 150}])if __name__ == '__main__':app.run(host='0.0.0.0', port=5001)

    • payment_service/Dockerfile:

      FROM python:3.8-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install flask
COPY . .
CMD ["python", "app.py"]

第二步：设置 CI/CD 配置文件

  1. CI/CD 配置：每个服务都有自己的 CI/CD 配置，例如使用 GitHub Actions 或 Travis CI。

    • order_service/.github/workflows/main.yml (GitHub Actions 示例):

      name: Order Service CI/CDon:push:branches: [ main ]paths:- 'order_service/**'jobs:build-and-deploy:runs-on: ubuntu-lateststeps:- uses: actions/checkout@v2- name: Build Docker imagerun: docker build -t order-service ./order_service# 添加更多步骤以进行测试和部署

    同样的设置也适用于支付服务，确保路径和服务名称相对应。

第三步：自动化构建、测试和部署

  1. 自动化构建：每次提交代码到服务的代码库时，CI/CD 工具自动构建服务的 Docker 镜像。

  2. 自动化测试：在构建过程中，运行单元测试和集成测试以确保代码更改不会破坏现有功能。

  3. 自动化部署：成功构建和测试后，CI/CD 工具自动将服务部署到指定的环境中。

结论

通过这个案例，我们展示了如何为基于微服务的 Python 应用设置独立的 CI/CD 流程。每个服务都可以独立地更新和部署，提高了整个应用的灵活性和可维护性。这种方法是现代云原生应用的标志，它使得团队能够快速迭代和部署新功能，同时保持高水平的代码质量和应用稳定性。

通过这些案例，我们可以看到 Docker 和 CI 如何联手提高软件开发的效率和质量。不论是简单的 Web 应用，复杂的数据分析项目，还是构建有多个微服务的大型系统，Docker 都能够提供快速、一致和可靠的构建和测试环境。

9.2 Docker 在 CI/CD 中的应用

在这一节中，我们将深入探讨 Docker 如何革新传统的 CI/CD 流程，使之更加高效和一致。Docker 不仅仅是一个工具，它是实现快速、可靠和可扩展的自动化流程的关键。

9.2.1 重点基础知识

当然，让我们更深入地探索 Docker 在 CI/CD 流程中的作用和重要性，并详细了解相关的基础知识。

Docker 与 CI/CD 的结合

  1. 环境标准化：Docker 允许你创建一个标准化的环境，这个环境可以在整个软件开发生命周期中使用，包括开发、测试和生产。这样做的好处是消除了环境不一致带来的“在我机器上运行”的问题。

  2. 构建的可重复性：Docker 镜像确保了构建的一致性和可重复性。无论何时构建镜像，你都会得到相同的环境和应用状态。

  3. 测试隔离：在 Docker 容器中运行测试可以提供一个隔离的环境，这意味着你可以同时运行多个测试实例而不会相互影响。

  4. 快速部署和回滚：Docker 容器可以迅速启动和停止，这使得部署和回滚变得更加高效。通过简单地切换到新的容器镜像，你可以快速部署新版本或在必要时回滚到旧版本。

  5. 简化配置管理：Docker 可以通过 Dockerfile 和环境变量管理应用配置，这减少了传统配置管理的复杂性。

Docker 镜像的自动化构建

  1. 自动化构建流程：在 CI 流程中，每次代码提交都会触发 Docker 镜像的自动化构建。这包括从代码库获取最新代码，构建新的镜像，并将镜像推送到镜像仓库。

  2. 缓存和层重用：Docker 利用缓存来加速构建过程。如果构建过程中的某些步骤未更改，则 Docker 会重用上一次构建的层，这显著减少了构建时间。

Docker 容器中的测试

  1. 一致的测试环境：Docker 容器提供了与生产环境几乎相同的测试环境。这意味着你可以在一个环境中开发和测试应用，然后将其部署到完全相同的生产环境中。

  2. 并行测试执行：Docker 容器的轻量级特性允许在相同的宿主机上同时运行多个容器。这使得并行执行多个测试套件成为可能，从而加快了测试过程。

通过理解这些基础知识，开发团队可以更有效地利用 Docker 来改进他们的 CI/CD 流程，实现更快的迭代和更可靠的应用交付。接下来的案例将展示这些概念在实际应用中的应用。

9.2.2 重点案例：Python 应用的 Docker CI/CD 流程

让我们通过一个实际的例子来展示如何为一个使用 Flask 编写的 Python 应用实施 Docker CI/CD 流程。我们将结合使用 Docker 和一个流行的 CI/CD 工具（如 Jenkins、GitHub Actions 或 Travis CI）来自动化构建、测试和部署过程。

案例概述

我们的 Python 应用将是一个简单的 Flask Web 应用。我们将使用 Docker 来容器化应用，并设置自动化的构建、测试和部署流程。

第一步：准备 Flask 应用

  1. 创建 Flask 应用

    • app.py:

      from flask import Flaskapp = Flask(__name__)@app.route('/')
def index():return 'Hello, Docker CI/CD!'if __name__ == '__main__':app.run(host='0.0.0.0', port=5000)

    • requirements.txt:

      Flask==1.1.2

  2. 添加单元测试

    • test_app.py:

      import pytest
from app import app@pytest.fixture
def client():with app.test_client() as client:yield clientdef test_index(client):response = client.get('/')assert response.data == b'Hello, Docker CI/CD!'

第二步：创建 Dockerfile

  1. 编写 Dockerfile

    • Dockerfile:

      FROM python:3.8-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install -r requirements.txt
COPY . .
CMD ["python", "app.py"]

第三步：设置 CI/CD 配置

  1. CI/CD 配置文件：根据所选的 CI/CD 工具，创建相应的配置文件。

    • 以 GitHub Actions 为例的 .github/workflows/ci-cd.yml:

      name: Python Flask Docker CI/CDon:push:branches: [ main ]jobs:build:runs-on: ubuntu-lateststeps:- uses: actions/checkout@v2- name: Build Docker imagerun: docker build -t python-flask-app .- name: Run Testsrun: docker run python-flask-app pytest# 添加部署步骤

    此配置定义了一个工作流，包括构建 Docker 镜像和运行测试的步骤。

第四步：代码提交和自动化流程

  1. 提交代码：将 Flask 应用代码、Dockerfile 和 CI/CD 配置文件提交到版本控制系统。

  2. 观察自动化流程：每次代码提交后，CI/CD 工具会自动开始构建和测试过程。

  3. 部署：在测试通过后，添加部署步骤将应用自动部署到目标环境，如云服务器或 Kubernetes 集群。

结论

这个案例展示了如何为 Flask Web 应用设置 Docker 和 CI/CD 流程。使用 Docker 保证了环境的一致性，而 CI/CD 工具自动化了构建和测试的过程，从而提高了开发效率和代码质量。这种集成方法对于现代软件开发团队来说是非常有价值的，它确保了快速反馈和持续的质量改进。

9.2.3 拓展案例 1：Python 微服务的 Docker CI/CD

在这个案例中，我们将展示如何为基于微服务架构的 Python 应用实现 Docker CI/CD 流程。我们假设应用由多个独立的微服务组成，每个服务都有自己的代码库、Dockerfile 和 CI/CD 流程。

案例概述

我们的应用包含两个微服务：

  1. 用户服务：处理用户相关逻辑的 Flask 应用。
  2. 产品服务：处理产品信息的 Flask 应用。

第一步：准备微服务

  1. 创建用户服务 (Flask 应用)

    • user_service/app.py:

      from flask import Flask, jsonifyapp = Flask(__name__)@app.route('/users')
def get_users():return jsonify([{"id": 1, "name": "John"}, {"id": 2, "name": "Jane"}])if __name__ == '__main__':app.run(host='0.0.0.0', port=5000)

    • user_service/Dockerfile:

      FROM python:3.8-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install flask
COPY . .
CMD ["python", "app.py"]

  2. 创建产品服务

    • product_service/app.py:

      from flask import Flask, jsonifyapp = Flask(__name__)@app.route('/products')
def get_products():return jsonify([{"id": 1, "name": "Product A"}, {"id": 2, "name": "Product B"}])if __name__ == '__main__':app.run(host='0.0.0.0', port=5001)

    • product_service/Dockerfile:

      FROM python:3.8-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install flask
COPY . .
CMD ["python", "app.py"]

第二步：设置 CI/CD 配置

  1. CI/CD 配置文件：为每个服务设置 CI/CD 流程，例如使用 GitHub Actions。

    • user_service/.github/workflows/ci-cd.yml:

      name: User Service CI/CDon:push:paths:- 'user_service/**'jobs:build-and-deploy:runs-on: ubuntu-lateststeps:- uses: actions/checkout@v2- name: Build Docker imagerun: docker build -t user-service ./user_service# 添加测试和部署步骤

    同样的配置适用于产品服务，确保路径和服务名称相对应。

第三步：自动化构建、测试和部署

  1. 自动化构建：提交到各个服务的代码库时，相应的 CI 工具自动构建服务的 Docker 镜像。

  2. 自动化测试：在构建过程中，运行单元测试和集成测试，确保代码更改不会破坏现有功能。

  3. 自动化部署：成功构建和测试后，CI 工具自动将服务部署到指定环境。

结论

这个案例演示了如何为基于微服务的 Python 应用设置 Docker 和 CI/CD 流程。这种方法使得每个服务可以独立地更新和部署，提高了整体应用的灵活性和可维护性。对于现代云原生应用，这种方法能够加快迭代速度，提高应用的稳定性和可靠性。

9.2.4 拓展案例 2：Python 数据科学项目的 Docker CI/CD

在这个案例中，我们将探讨如何为一个涉及数据科学的 Python 项目实现 Docker CI/CD 流程。这个项目将使用诸如 Pandas、NumPy、Scikit-learn 等库进行数据处理和机器学习。

案例概述

我们的数据科学项目包含数据处理、分析以及机器学习模型的训练和评估。我们将使用 Docker 来容器化环境，并通过 CI/CD 工具自动化测试和部署流程。

第一步：准备数据科学项目

  1. 创建数据处理和分析脚本

    • data_science_project/main.py:

      import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score# 示例数据处理和模型训练
def train_model():data = pd.read_csv('dataset.csv')X = data.drop('target', axis=1)y = data['target']X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)clf = RandomForestClassifier()clf.fit(X_train, y_train)predictions = clf.predict(X_test)print(f"Accuracy: {accuracy_score(y_test, predictions)}")if __name__ == "__main__":train_model()

    • data_science_project/requirements.txt:

      pandas
scikit-learn

  2. 添加测试脚本

    • data_science_project/test_main.py:

      from main import train_modeldef test_train_model():# 假设的测试用例train_model()assert True  # 添加适当的断言

第二步：创建 Dockerfile

  1. 编写 Dockerfile

    • data_science_project/Dockerfile:

      FROM python:3.8-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install -r requirements.txt
COPY . .
CMD ["python", "main.py"]

第三步：设置 CI/CD 配置

  1. CI/CD 配置文件：使用 GitHub Actions 或其他 CI/CD 工具。

    • data_science_project/.github/workflows/ci-cd.yml:

      name: Data Science Project CI/CDon:push:paths:- 'data_science_project/**'jobs:build-and-test:runs-on: ubuntu-lateststeps:- uses: actions/checkout@v2- name: Build Docker imagerun: docker build -t data-science-project ./data_science_project- name: Run Testsrun: docker run data-science-project pytest

    这个配置定义了构建 Docker 镜像和运行测试的工作流。

第四步：自动化构建、测试和部署

  1. 自动化构建：代码提交后，CI 工具自动构建 Docker 镜像。

  2. 自动化测试：构建过程中运行单元测试，以确保数据处理和模型训练的准确性。

  3. 自动化部署：成功测试后，自动将模型或分析结果部署到生产环境或数据仓库。

结论

这个案例展示了如何为数据科学项目设置 Docker 和 CI/CD 流程。通过容器化，我们确保了环境的一致性，而 CI/CD 流程自动化了测试和部署，提高了项目的可靠性和效率。这种方法对于数据科学项目来说非常有价值，它允许团队快速迭代并保持数据处理和分析的高标准。

通过以上案例，我们可以看到 Docker 在 CI/CD 流程中的强大作用。无论是简单的 Web 应用，复杂的微服务架构，还是数据密集型的数据科学项目，Docker 都提供了一种高效、一致且可靠的方式来实现自动化构建、测试和部署。

9.3 构建自动化测试环境

在这一节中，我们将探讨如何使用 Docker 构建一个自动化的测试环境，特别是针对使用 Python 开发的应用程序。自动化测试是确保软件质量的关键环节，Docker 可以在这方面发挥重要作用。

9.3.1 重点基础知识

  1. 测试环境与生产环境隔离：在自动化测试中，非常重要的一点是确保测试环境与生产环境相隔离。使用 Docker，你可以在与生产环境相似但完全隔离的容器中运行测试，这有助于避免测试依赖污染生产环境。

  2. 测试数据管理：自动化测试通常需要使用到测试数据。Docker 可以通过数据卷或特定的数据容器来管理测试数据，确保数据的一致性和可重用性。

  3. 服务模拟和 Mocking：在进行集成测试或单元测试时，可能需要模拟外部服务或数据库。Docker 容器可以用来模拟这些外部依赖，提供更全面的测试覆盖。

  4. 自动化测试流程：自动化测试不仅限于运行测试脚本。它还包括设置测试环境、初始化测试数据、执行测试、收集测试结果和清理测试环境等步骤。Docker 可以简化这些步骤，使得整个流程更加高效。

  5. 持续集成（CI）与测试自动化：在 CI 流程中，自动化测试是核心部分。每次代码提交都会触发自动化的构建和测试流程，Docker 在这个过程中用于创建标准化的测试环境。

通过理解这些扩展的基础知识，开发团队可以更有效地利用 Docker 来构建强大的自动化测试环境，提高软件质量和开发效率。接下来的案例将展示这些概念在具体项目中的应用。

9.3.2 重点案例：Python Web 应用的自动化测试

让我们通过一个具体的示例来展示如何为一个使用 Flask 编写的 Python Web 应用设置自动化测试环境。

案例概述

我们将创建一个简单的 Flask 应用，并编写单元测试。接着，我们使用 Docker 来容器化应用和测试环境，并通过一个 CI 工具（如 GitHub Actions）自动化测试流程。

第一步：准备 Flask 应用和测试

  1. 创建 Flask 应用

    • app.py:

      from flask import Flaskapp = Flask(__name__)@app.route('/')
def index():return 'Hello, Dockerized Tests!'if __name__ == '__main__':app.run(host='0.0.0.0', port=5000)

    • requirements.txt:

      Flask==1.1.2
pytest==6.2.2

  2. 添加单元测试

    • test_app.py:

      import pytest
from app import app@pytest.fixture
def client():with app.test_client() as client:yield clientdef test_index(client):response = client.get('/')assert b'Hello, Dockerized Tests!' in response.data

第二步：创建 Dockerfile

  1. 编写 Dockerfile

    • Dockerfile:

      FROM python:3.8-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install -r requirements.txt
COPY . .
CMD ["pytest", "test_app.py"]

第三步：配置 CI 工具

  1. CI 配置文件：这里以 GitHub Actions 为例。

    • .github/workflows/python-test.yml:

      name: Python Flask Teston: [push]jobs:build:runs-on: ubuntu-lateststeps:- uses: actions/checkout@v2- name: Build Docker imagerun: docker build -t my-python-app .- name: Run testsrun: docker run my-python-app

第四步：提交代码并观察自动化测试流程

  1. 提交代码：将 Flask 应用代码、测试代码、Dockerfile 和 GitHub Actions 配置文件提交到 Git 仓库。

  2. 观察自动化测试：每次代码提交后，GitHub Actions 会自动运行 Docker 构建和测试流程。

  3. 查看测试结果：在 GitHub 仓库的 Actions 选项卡中查看测试结果。

结论

通过这个案例，我们展示了如何为 Flask Web 应用设置 Docker 和 CI 工具来实现自动化测试。这种方法确保了测试环境的一致性和测试流程的自动化，大大提高了软件质量和开发效率。

9.3.3 拓展案例 1：Python 数据分析的自动化测试

在这个案例中，我们将展示如何为涉及数据处理和分析的 Python 项目设置自动化测试环境，使用诸如 Pandas 和 NumPy 这样的库。

案例概述

假设我们有一个 Python 项目，它使用 Pandas 进行数据处理和分析。我们将编写测试来验证数据处理逻辑的正确性，并使用 Docker 来创建一个自动化的测试环境。

第一步：准备数据处理和分析代码

  1. 创建数据处理脚本

    • data_processing.py:

      import pandas as pddef process_data():data = pd.read_csv('data.csv')processed_data = data.describe()return processed_data

    • data.csv：一个示例 CSV 数据文件。

  2. 添加单元测试

    • test_data_processing.py:

      import pytest
from data_processing import process_datadef test_process_data():result = process_data()assert not result.empty  # 确保处理后的数据不为空

    • requirements.txt:

      pandas==1.1.3
pytest==6.2.2

第二步：创建 Dockerfile

  1. 编写 Dockerfile

    • Dockerfile:

      FROM python:3.8-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install -r requirements.txt
COPY . .
CMD ["pytest", "test_data_processing.py"]

第三步：配置 CI 工具

  1. CI 配置文件：这里我们以 GitHub Actions 为例。

    • .github/workflows/python-data-test.yml:

      name: Python Data Processing Teston: [push]jobs:build:runs-on: ubuntu-lateststeps:- uses: actions/checkout@v2- name: Build Docker imagerun: docker build -t my-python-data-app .- name: Run testsrun: docker run my-python-data-app

第四步：提交代码并观察自动化测试流程

  1. 提交代码：将 Python 脚本、测试文件、Dockerfile 和 GitHub Actions 配置文件提交到 Git 仓库。

  2. 观察自动化测试：每次代码提交后，GitHub Actions 会自动运行 Docker 构建和测试流程。

  3. 查看测试结果：在 GitHub 仓库的 Actions 选项卡中查看测试结果。

结论

通过这个案例，我们展示了如何为涉及复杂数据处理的 Python 项目设置 Docker 和自动化测试。这种方法确保了测试环境的一致性，使得测试过程自动化，有助于提高数据处理逻辑的准确性和可靠性。

9.3.4 拓展案例 2：Python 微服务架构的集成测试

在这个案例中，我们将展示如何为基于微服务架构的 Python 应用设置集成测试环境。我们假设应用由多个互相交互的微服务组成，每个服务都有自己的 Docker 容器。

案例概述

假设我们的应用包含两个微服务：

  1. 订单服务：处理订单相关逻辑的 Flask 应用。
  2. 库存服务：管理库存信息的 Flask 应用。

我们将使用 Docker Compose 来编排这些服务，并设置集成测试以验证它们之间的交互。

第一步：准备微服务

  1. 创建订单服务 (Flask 应用)

    • order_service/app.py:

      from flask import Flask, jsonify, request
import requestsapp = Flask(__name__)@app.route('/create_order', methods=['POST'])
def create_order():product_id = request.json.get('product_id')# 假设库存服务运行在 http://inventory-service:5001response = requests.get(f'http://inventory-service:5001/check_stock/{product_id}')if response.json().get('in_stock'):return jsonify({"status": "Order Created"}), 201else:return jsonify({"status": "Out of Stock"}), 200if __name__ == '__main__':app.run(host='0.0.0.0', port=5000)

    • order_service/requirements.txt:

      Flask==1.1.2
requests==2.24.0

  2. 创建库存服务

    • inventory_service/app.py:

      from flask import Flask, jsonifyapp = Flask(__name__)@app.route('/check_stock/<int:product_id>')
def check_stock(product_id):# 示例库存检查逻辑in_stock = product_id % 2 == 0return jsonify({"in_stock": in_stock})if __name__ == '__main__':app.run(host='0.0.0.0', port=5001)

    • inventory_service/requirements.txt:

      Flask==1.1.2

第二步：创建 Dockerfile 和 Docker Compose 文件

  1. 为每个服务编写 Dockerfile

    • Dockerfile 类似于之前的 Flask 应用 Dockerfile。

  2. 编写 Docker Compose 文件

    • docker-compose.yml:

      version: '3'
services:order-service:build: ./order_serviceports:- "5000:5000"inventory-service:build: ./inventory_serviceports:- "5001:5001"

第三步：编写集成测试

  1. 创建集成测试

    • integration_test.py:

      import requestsdef test_order_creation():response = requests.post('http://localhost:5000/create_order', json={"product_id": 2})assert response.status_code == 201assert response.json().get('status') == 'Order Created'

第四步：配置 CI 工具进行集成测试

  1. CI 配置文件：使用 GitHub Actions 或其他 CI 工具。

    • .github/workflows/integration-test.yml:

      name: Integration Teston: [push]jobs:build:runs-on: ubuntu-lateststeps:- uses: actions/checkout@v2- name: Build and Start Servicesrun: docker-compose up --build -d- name: Run Integration Testsrun: python integration_test.py

第五步：提交代码并观察自动化测试流程

  1. 提交代码：将微服务代码、Dockerfile、Docker Compose 文件、集成测试和 GitHub Actions 配置文件提交到 Git 仓库。

  2. 观察自动化测试：每次代码提交后，GitHub Actions 会自动运行集成测试。

结论

这个案例展示了如何为基于微服务架构的 Python 应用设置集成测试环境。使用 Docker Compose 编排微服务，并通过 CI 工具自动运行集成测试，我们可以确保不同服务之间的交互按预期工作。这种方法对于复杂应用的质量保证至关重要。

通过这些案例，我们看到 Docker 在构建自动化测试环境中的强大作用。无论是单元测试、集成测试还是其他类型的测试，Docker 都提供了一种快速、一致且可靠的方式来实现自动化测试。这对于确保软件质量和加快开发周期至关重要。

这篇关于《Docker 简易速速上手小册》第9章 Docker 与持续集成（2024 最新版）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/747011。

相关文章

如何用Docker运行Django项目

如何用Docker运行Django项目

本章教程，介绍如何用Docker创建一个Django，并运行能够访问。 一、拉取镜像 这里我们使用python3.11版本的docker镜像 docker pull python:3.11 二、运行容器 这里我们将容器内部的8080端口，映射到宿主机的80端口上。 docker run -itd --name python311 -p
阅读更多...
2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题

2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题

题库来源：安全生产模拟考试一点通公众号小程序 2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题是由安全生产模拟考试一点通提供，流动式起重机司机证模拟考试题库是根据流动式起重机司机最新版教材，流动式起重机司机大纲整理而成（含2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题参考答案和部分工种参考解析），掌握本资料和学校方法，考试容易。流动式起重机司机考试技
阅读更多...
【专题】2024飞行汽车技术全景报告合集PDF分享（附原数据表）

【专题】2024飞行汽车技术全景报告合集PDF分享（附原数据表）

原文链接： https://tecdat.cn/?p=37628 6月16日，小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞，这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示，公司准备量产，并计划今年四季度开启预售小鹏汇天分体式飞行汽车，探索分体式飞行汽车城际通勤。阅读原文，获取专题报告合集全文，解锁文末271份飞行汽车相关行业研究报告。 据悉，业内人士对飞行汽车行业
阅读更多...
高效录音转文字：2024年四大工具精选！

高效录音转文字：2024年四大工具精选！

在快节奏的工作生活中，能够快速将录音转换成文字是一项非常实用的能力。特别是在需要记录会议纪要、讲座内容或者是采访素材的时候，一款优秀的在线录音转文字工具能派上大用场。以下推荐几个好用的录音转文字工具！ 365在线转文字 直达链接：https://www.pdf365.cn/ 365在线转文字是一款提供在线录音转文字服务的工具，它以其高效、便捷的特点受到用户的青睐。用户无需下载安装任何软件，只
阅读更多...
【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展，越来越多的企业开始将其应用于实际业务中。然而，区块链技术的专业性使得其集成开发成为一项挑战。针对此，广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术，提供一套全面的区块链开发工具和开发环境，支持开发者快速开发和部署区块链应用。此外，该平台还可以提供一套全面的区块链开发教程和文档，帮助开发者快速上手区块链开发。
阅读更多...
2024网安周今日开幕，亚信安全亮相30城

2024网安周今日开幕，亚信安全亮相30城

2024年国家网络安全宣传周今天在广州拉开帷幕。今年网安周继续以“网络安全为人民，网络安全靠人民”为主题。2024年国家网络安全宣传周涵盖了1场开幕式、1场高峰论坛、5个重要活动、15场分论坛/座谈会/闭门会、6个主题日活动和网络安全“六进”活动。亚信安全出席2024年国家网络安全宣传周开幕式和主论坛,并将通过线下宣讲、创意科普、成果展示等多种形式，让广大民众看得懂、记得住安全知识，同时还
阅读更多...
2024/9/8 c++ smart

2024/9/8 c++ smart

1.通过自己编写的class来实现unique_ptr指针的功能 #include <iostream> using namespace std; template<class T> class unique_ptr { public:         //无参构造函数         unique_ptr();         //有参构造函数         unique_ptr(
阅读更多...
论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染：一项综述 文章目录 大规模语言模型的基准数据污染：一项综述摘要1 引言 摘要 大规模语言模型（LLMs），如GPT-4、Claude-3和Gemini的快
阅读更多...
免费也能高质量！2024年免费录屏软件深度对比评测

免费也能高质量！2024年免费录屏软件深度对比评测

我公司因为客户覆盖面广的原因经常会开远程会议，有时候说的内容比较广需要引用多份的数据，我记录起来有一定难度，所以一般都用录屏工具来记录会议内容。这次我们来一起探索有什么免费录屏工具可以提高我们的工作效率吧。 1.福晰录屏大师 链接直达：https://www.foxitsoftware.cn/REC/  录屏软件录屏功能就是本职，这款录屏工具在录屏模式上提供了多种选项，可以选择屏幕录制、窗口
阅读更多...
【Shiro】Shiro 的学习教程（三）之 SpringBoot 集成 Shiro

【Shiro】Shiro 的学习教程（三）之 SpringBoot 集成 Shiro

目录 1、环境准备2、引入 Shiro3、实现认证、退出3.1、使用死数据实现3.2、引入数据库，添加注册功能后端代码前端代码 3.3、MD5、Salt 的认证流程 4.、实现授权4.1、基于角色授权4.2、基于资源授权 5、引入缓存5.1、EhCache 实现缓存5.2、集成 Redis 实现 Shiro 缓存 1、环境准备 新建一个 SpringBoot 工程，引入依赖：
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2