docker安装_使用Docker,Chef和Amazon OpsWorks进行集群范围的Java / Scala应用程序部署...

本文主要是介绍docker安装_使用Docker,Chef和Amazon OpsWorks进行集群范围的Java / Scala应用程序部署...,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

docker安装

docker安装

Docker非常适合在单个节点上运行隔离的容器。 但是,大多数软件系统都在多个节点上运行,因此,除了Docker之外,我们还需要某种方法来指定哪些容器应在哪些节点上运行。

MQPerf-deployment-blog-logos-1-300x216

我要解决的特定问题如下:我有两个Scala守护程序,我想在多个节点上运行(取决于配置,每个节点可以运行一个或两个守护程序)。 我想要一种在集群中部署修改后的二进制文件的快速方法。 我也不想花费太多时间来设置服务器。 (我的Gentoo日子已经过去了。)

我到达的最终解决方案涉及Docker , OpsWorks , Chef和Vagrant 。 但是,一步一步来。

顺便说一句-您将如何解决上述问题? 请评论。

打包Java / Scala应用程序

首先,我需要能够打包和上传二进制文件。 在这里,Docker非常完美。 我写了一个简单的Dockerfile ,其中:

  • 基于受信任的ubuntu + java7映像–无需在服务器上安装Java!
  • 将胖子从我的磁盘复制到映像
  • 指定使用复制的jar运行Java的入口点

完整的Dockerfile可以在这里找到: https ://gist.github.com/adamw/166b82ec04c9c0f67453。

有了这样的映像,我可以将其推送到(公共或私有) Docker注册表中,群集中的节点可以将其下载。

如果需要,我还可以安装我的应用程序需要的任何其他操作系统级别的依赖项,而不必担心版本冲突并在实际服务器上进行设置。

如果看一下Dockerfile,您可能会注意到有两个jar。 这样做是为了最小化每次代码更改后必须上传的Docker映像的大小。 第一个jar仅包含依赖项(Scala库,日志记录库,框架等)。 第二个jar包含已编译的应用程序代码。 从Dockerfile构建Docker映像时,将创建一系列中间映像,每个步骤之后一个。 对于涉及相同文件的相同命令,不会创建新映像,但会从Docker缓存中重新使用映像。

依赖关系很少改变,因此通常dep-jar保持不变,因此缓存的版本会被重用(并且中间映像会被上传一次)。 另一方面,应用程序代码始终会更改。 重要的是,首先将依赖项jar添加到映像中,以便中间映像包含deps,但不包含应用程序代码(更改后的代码)。 最后,通常只需要上传2-3MB。

不过,这里要注意一件事。 在确定是否可以在ADD命令(该命令将文件从本地磁盘复制到该映像)之后重新使用该映像时,Docker仅检查该文件的最后修改时间戳。 这将导致依赖项fat-jar在每次重新构建时都被重新添加,即使它们是相同的。 因此,我创建了一个简单的bash脚本,仅当其md5校验和发生更改时,该脚本才会复制dockerfile旁边的fat-jar(作为Docker上下文的一部分从该文件上传): https : //gist.github.com/adamw/ ba5d8b79ff553fba83fd 。

如何使用SBT创建这样两个单独的jar? 非常简单。 只需使用SBT Assembly插件并更改其设置即可:

assemblyOption in assembly ~= { _.copy(includeBin = true, includeScala = false, includeDependency = false) }

然后, assemblyPackageDependency目标将创建仅依赖项的jar,而assembly将创建仅应用程序的jar。

设置服务器

随着包含我们应用程序的Docker映像在云中(在Docker集线器上)等待,现在是时候设置服务器了,Docker守护程序将在其中运行容器。

为了配置服务器,我选择了Amazon OpsWorks的Chef,这有两个原因:可以使用Stacks和Layers清楚地分离和组织EC2实例,这些服务器与Chef具有现成的集成,并且使用自定义厨师食谱非常容易。 完全不需要手动实例设置!

以下步骤部分是摘要,部分是ShopIgniter博客上描述的内容的扩展。

Chef安装程序(由OpsWorks运行)将是最少的,并且仅包括运行Docker所需的内容。

首先,我们需要创建一个具有更新内核的基于Ubuntu 12.04的AMI(14.04尚不适用于OpsWorks)–有关详细信息,请参阅ShopIgniter的博客。

其次,我们将使用自定义的厨师食谱; 为此,您需要创建一个专用的存储库(例如在GitHub上)。 食谱非常基本和简单: https : //gist.github.com/adamw/792f8c22abb09699b6d5 。

总结一下:

  • docker::setup安装Docker
  • docker::kill_containers杀死并删除所有正在运行的容器
  • docker::myapp从Docker注册表中提取myapp映像并运行一个容器,该容器具有例如Chef-JSON配置文件的每个应用程序部分中指定的命令行参数和环境变量(此处我们的应用程序使用单个命令-line参数,并且需要环境中的AWS凭证):
{"myapp": {"image": "adamw/myapp:latest","cmdline": [ "com.softwaremill.myapp.Main", "10" ],"env": {"AWS_ACCESS_KEY_ID": “...","AWS_SECRET_ACCESS_KEY": “..."}}
}

配置OpsWorks

要配置OpsWorks,我们需要使用自定义Chef食谱和自定义配置JSON创建一个Stack,例如上面的示例(对于要运行的每个应用程序/类型的容器,我们需要在配置JSON中有一个部分)。 其次,对于我们要部署的每个应用程序(容器),我们需要创建一个图层。 由于这些层将仅运行Docker,因此我们不使用任何预配置的层,而使用“自定义”层。

该层将包含我们的自定义配方:在Setup阶段,我们需要使用docker::setup配方,在Deploy阶段,我们需要使用docker::kill_containersdocker::kill_containers docker::myapp配方。

现在,每次在该层上运行Deploy阶段时,Docker都会提取映像并运行指定的容器! 通过创建具有适当配方的图层,我们可以在任何节点上启动容器的任何组合。

opsworks1-300x233

运行部署阶段

要一次单击即可实际运行“ Deploy阶段,我们需要创建一个虚拟的OpsWorks应用程序:只需选择“类型:其他”和“存储库类型:其他”。 现在,每次要在服务器上部署应用程序(运行更新的Docker容器)时,只需将此虚拟应用程序部署在所需的实例或层上即可。

这也可以通过API调用来完成(就像AWS上的一切一样)! 因此,构建应用程序,创建Docker映像,推送该映像以及在OpsWorks上运行部署的整个过程可以非常容易地实现自动化-例如在成功构建之后。

一切就绪后,我们现在可以将新实例添加到图层,启动和停止它们,并让多节点集群运行我们的应用程序! 要更新应用程序,只需将二进制文件推送到注册表即可。

在本地测试厨师

虽然Chef的食谱非常少,但仍然可以在本地进行测试仍然很有用。 使用Vagrant可以轻松实现。 使用Vagrant,我们可以轻松地创建安装了Chef的VM,该VM可以运行我们的配方以及Docker容器。 此特定情况的Vagrantfile在这里: https ://gist.github.com/adamw/bf6fa803b6b13fd7430b。

Vagrantfile包含对我们正在开发的Chef食谱的引用(通过chef.cookbooks_path ),并且具有与OpsWorks中使用的相同的配置JSON。

发布vagrant up ,我们将运行虚拟机。 更改食谱或上载新容器后,我们可以使用vagrant provision --provision-with chef_solo轻松地重新运行Chef食谱。

加起来

我们最终得到以下关注点分离:

  • Docker –在所有必需的依赖项中的独立容器中运行应用程序
  • Chef –在定义的节点上设置docker,运行并链接具有指定参数/环境的容器
  • OpsWorks –管理实例,触发部署
  • 流浪汉–整个设置的本地测试

尽管在上述整个过程中肯定有一些事情可以简化(我希望Atomic项目能够做到这一点!)最后,在集群中轻松部署新版本的修改后的应用程序非常容易,而且很轻松,开发环境。

翻译自: https://www.javacodegeeks.com/2014/06/cluster-wide-javascala-application-deployments-with-docker-chef-and-amazon-opsworks.html

docker安装

这篇关于docker安装_使用Docker,Chef和Amazon OpsWorks进行集群范围的Java / Scala应用程序部署...的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/426636

相关文章

Java导入、导出excel用法步骤保姆级教程(附封装好的工具类)

《Java导入、导出excel用法步骤保姆级教程(附封装好的工具类)》:本文主要介绍Java导入、导出excel的相关资料,讲解了使用Java和ApachePOI库将数据导出为Excel文件,包括... 目录前言一、引入Apache POI依赖二、用法&步骤2.1 创建Excel的元素2.3 样式和字体2.

Java实现将Markdown转换为纯文本

《Java实现将Markdown转换为纯文本》这篇文章主要为大家详细介绍了两种在Java中实现Markdown转纯文本的主流方法,文中的示例代码讲解详细,大家可以根据需求选择适合的方案... 目录方法一:使用正则表达式(轻量级方案)方法二:使用 Flexmark-Java 库(专业方案)1. 添加依赖(Ma

使用EasyExcel实现简单的Excel表格解析操作

《使用EasyExcel实现简单的Excel表格解析操作》:本文主要介绍如何使用EasyExcel完成简单的表格解析操作,同时实现了大量数据情况下数据的分次批量入库,并记录每条数据入库的状态,感兴... 目录前言固定模板及表数据格式的解析实现Excel模板内容对应的实体类实现AnalysisEventLis

使用国内镜像源优化pip install下载的方法步骤

《使用国内镜像源优化pipinstall下载的方法步骤》在Python开发中,pip是一个不可或缺的工具,用于安装和管理Python包,然而,由于默认的PyPI服务器位于国外,国内用户在安装依赖时可... 目录引言1. 为什么需要国内镜像源?2. 常用的国内镜像源3. 临时使用国内镜像源4. 永久配置国内镜

Spring Boot拦截器Interceptor与过滤器Filter详细教程(示例详解)

《SpringBoot拦截器Interceptor与过滤器Filter详细教程(示例详解)》本文详细介绍了SpringBoot中的拦截器(Interceptor)和过滤器(Filter),包括它们的... 目录Spring Boot拦截器(Interceptor)与过滤器(Filter)详细教程1. 概述1

Go语言中最便捷的http请求包resty的使用详解

《Go语言中最便捷的http请求包resty的使用详解》go语言虽然自身就有net/http包,但是说实话用起来没那么好用,resty包是go语言中一个非常受欢迎的http请求处理包,下面我们一起来学... 目录安装一、一个简单的get二、带查询参数三、设置请求头、body四、设置表单数据五、处理响应六、超

SpringBoot利用dynamic-datasource-spring-boot-starter解决多数据源问题

《SpringBoot利用dynamic-datasource-spring-boot-starter解决多数据源问题》dynamic-datasource-spring-boot-starter是一... 目录概要整体架构构想操作步骤创建数据源切换数据源后续问题小结概要自己闲暇时间想实现一个多租户平台,

如何使用C#串口通讯实现数据的发送和接收

《如何使用C#串口通讯实现数据的发送和接收》本文详细介绍了如何使用C#实现基于串口通讯的数据发送和接收,通过SerialPort类,我们可以轻松实现串口通讯,并结合事件机制实现数据的传递和处理,感兴趣... 目录1. 概述2. 关键技术点2.1 SerialPort类2.2 异步接收数据2.3 数据解析2.

详解如何使用Python提取视频文件中的音频

《详解如何使用Python提取视频文件中的音频》在多媒体处理中,有时我们需要从视频文件中提取音频,本文为大家整理了几种使用Python编程语言提取视频文件中的音频的方法,大家可以根据需要进行选择... 目录引言代码部分方法扩展引言在多媒体处理中,有时我们需要从视频文件中提取音频,以便进一步处理或分析。本文

Java反转字符串的五种方法总结

《Java反转字符串的五种方法总结》:本文主要介绍五种在Java中反转字符串的方法,包括使用StringBuilder的reverse()方法、字符数组、自定义StringBuilder方法、直接... 目录前言方法一:使用StringBuilder的reverse()方法方法二:使用字符数组方法三:使用自