rexray在CentOS上不能创建ceph rbd的docker volume问题定位

2024-02-09 12:18
文章标签 问题 docker 创建 定位 不能 volume centos ceph rbd rexray

本文主要是介绍rexray在CentOS上不能创建ceph rbd的docker volume问题定位，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

背景

　　我们通过docker的rexray插件来创建ceph rbd设备的docker volume，但总提示创建失败。 

# docker volume create --driver=rexray --opt=size=5 --name=cephrbd-book
Error response from daemon: create test_cephrbd_volume: VolumeDriver.Create: {"Error":"Failed to create new volume"}

　　OS版本： 

# lsb_release -a
LSB Version:    :core-4.1-amd64:core-4.1-noarch
Distributor ID: CentOS
Description:    CentOS Linux release 7.4.1708 (Core) 
Release:        7.4.1708
Codename:       Core

　　Ceph版本： 

# ceph version
ceph version 0.94.5

　　rexray版本： 

# rexray version
REX-Ray
-------
Binary: /usr/bin/rexray
Flavor: client+agent+controller
SemVer: 0.9.0
OsArch: Linux-x86_64
Branch: (detached from 2a7458d
Commit: 2a7458dd90a79c673463e14094377baf9fc8695e
Formed: Wed, 26 Jul 2017 14:35:37 CSTlibStorage
----------
SemVer: 0.6.0
OsArch: Linux-x86_64
Branch: (detached from fa055d6
Commit: fa055d6da595602715bdfd5541b4aa6d4dcbcbd9
Formed: Wed, 26 Jul 2017 14:35:11 CST

分析

　　之前我们在ubuntu 16.04的环境中，也搭建过docker+ceph+rexray的环境，使用docker命令创建volume并没有报错。正常的流程是： 

1. 创建docker volume：rexray会使用rbd create命令创建一个rbd设备；
2. 使用该volume创建docker 容器：rexray会将rbd 设备map到docker host上成为一个/dev/rbd设备，再使用mount命令将/dev/rbd设备挂载到/var/lib/libstorage/volumes/目录，供容器使用；
3. 删除该容器时：先umount掉/dev/rbd设备在/var/lib/libstorage/volumes/目录的挂载，再rbd unmap掉rbd设备在docker host上的映射；
4. 删除docker volume：rexray会使用rbd rm命令删除该rbd设备；

　　在我们的实际使用情况中，发现只有第一步会出错，后面的三步都并未出现任何异常。而且，如果我们不使用docker volume create命令创建rbd设备，而是直接使用“rbd create”命令来创建rbd设备，也并未出现任何错误，且该rbd设备也可以正常使用。这是很奇怪的一个地方。
　　查看docker日志，也只是提示“Failed to create new volume”，并没有其他有用的信息。 

# journalctl -xu docker
...
Jan 22 10:45:13 dcos-agent2 dockerd[66886]: time="2018-01-22T10:45:13.937645601+08:00" level=error msg="Handler for POST /v1.29/volumes/create returned error: create cephrbd-book: VolumeDri
ver.Create: {\"Error\":\"Failed to create new volume\"}\n"

　　既然docker中没有更有价值的日志，那么就尝试看下rexray的日志，这里需要打开rexray的debug选项(打开方法参考)，从而可以看到更多的日志。 

# vim /var/log/rexray/rexray.log
...
time="2018-01-19T19:12:32+08:00" level=info msg="    -------------------------- HTTP REQUEST (CLIENT) -------------------------"
time="2018-01-19T19:12:32+08:00" level=info msg="    GET /volumes/rbd?attachments=0 HTTP/1.1"
time="2018-01-19T19:12:32+08:00" level=info msg="    Host: libstorage-server"
time="2018-01-19T19:12:32+08:00" level=info msg="    Libstorage-Instanceid: rbd=109.105.115.73"
time="2018-01-19T19:12:32+08:00" level=info msg="    Libstorage-Localdevices: rbd="
time="2018-01-19T19:12:32+08:00" level=info msg="    Libstorage-Tx: txID=b9fb044b-d47a-4ac5-7533-5824b8dc737a, txCR=1516360352"
time="2018-01-19T19:12:32+08:00" level=info msg="    "
time="2018-01-19T19:12:33+08:00" level=info
time="2018-01-19T19:12:33+08:00" level=info msg="    -------------------------- HTTP RESPONSE (CLIENT) -------------------------"
time="2018-01-19T19:12:33+08:00" level=info msg="    HTTP/1.1 200 OK"
time="2018-01-19T19:12:33+08:00" level=info msg="    Content-Length: 228"
time="2018-01-19T19:12:33+08:00" level=info msg="    Content-Type: application/json"
time="2018-01-19T19:12:33+08:00" level=info msg="    Date: Fri, 19 Jan 2018 11:12:33 GMT"
time="2018-01-19T19:12:33+08:00" level=info msg="    Libstorage-Servername: jade-chopper-ky"
time="2018-01-19T19:12:33+08:00" level=info msg="    "
time="2018-01-19T19:12:33+08:00" level=info msg="    {"
time="2018-01-19T19:12:33+08:00" level=info msg="      \"rbd.test_fs_device2\": {"
time="2018-01-19T19:12:33+08:00" level=info msg="        \"name\": \"test_fs_device2\","
time="2018-01-19T19:12:33+08:00" level=info msg="        \"size\": 16,"
time="2018-01-19T19:12:33+08:00" level=info msg="        \"id\": \"rbd.test_fs_device2\","
time="2018-01-19T19:12:33+08:00" level=info msg="        \"type\": \"rbd\""
time="2018-01-19T19:12:33+08:00" level=info msg="      },"
time="2018-01-19T19:12:33+08:00" level=info msg="      \"rbd.test_majk\": {"
time="2018-01-19T19:12:33+08:00" level=info msg="        \"name\": \"test_majk\","
time="2018-01-19T19:12:33+08:00" level=info msg="        \"id\": \"rbd.test_majk\","
time="2018-01-19T19:12:33+08:00" level=info msg="        \"type\": \"rbd\""
time="2018-01-19T19:12:33+08:00" level=info msg="      }"
time="2018-01-19T19:12:33+08:00" level=info msg="    }"
time="2018-01-19T19:12:33+08:00" level=info
time="2018-01-19T19:12:33+08:00" level=info msg="    -------------------------- HTTP REQUEST (CLIENT) -------------------------"
time="2018-01-19T19:12:33+08:00" level=info msg="    POST /volumes/rbd HTTP/1.1"
time="2018-01-19T19:12:33+08:00" level=info msg="    Host: libstorage-server"
time="2018-01-19T19:12:33+08:00" level=info msg="    Libstorage-Instanceid: rbd=109.105.115.73"
time="2018-01-19T19:12:33+08:00" level=info msg="    Libstorage-Localdevices: rbd="
time="2018-01-19T19:12:33+08:00" level=info msg="    Libstorage-Tx: txID=b1565614-1b5f-4de2-5756-b74fb99887aa, txCR=1516360353"
time="2018-01-19T19:12:33+08:00" level=info msg="    "
time="2018-01-19T19:12:33+08:00" level=info msg="    {\"name\":\"cephrbd-book\",\"availabilityZone\":\"\",\"iops\":0,\"size\":5,\"type\":\"\",\"opts\":{\"size\":\"5\"}}"
time="2018-01-19T19:12:33+08:00" level=info
time="2018-01-19T19:12:33+08:00" level=info msg="    -------------------------- HTTP RESPONSE (CLIENT) -------------------------"
time="2018-01-19T19:12:33+08:00" level=info msg="    HTTP/1.1 500 Internal Server Error"
time="2018-01-19T19:12:33+08:00" level=info msg="    Content-Length: 319"
time="2018-01-19T19:12:33+08:00" level=info msg="    Content-Type: application/json"
time="2018-01-19T19:12:33+08:00" level=info msg="    Date: Fri, 19 Jan 2018 11:12:33 GMT"
time="2018-01-19T19:12:33+08:00" level=info msg="    Libstorage-Servername: jade-chopper-ky"
time="2018-01-19T19:12:33+08:00" level=info msg="    "
time="2018-01-19T19:12:33+08:00" level=info msg="    {"
time="2018-01-19T19:12:33+08:00" level=info msg="      \"message\": \"Failed to create new volume\","
time="2018-01-19T19:12:33+08:00" level=info msg="      \"status\": 500,"
time="2018-01-19T19:12:33+08:00" level=info msg="      \"error\": {"
time="2018-01-19T19:12:33+08:00" level=info msg="        \"driverName\": \"rbd\","
time="2018-01-19T19:12:33+08:00" level=info msg="        \"inner\": {"
time="2018-01-19T19:12:33+08:00" level=info msg="          \"inner\": \"Error running command: [rbd: strict_strtoll: garbage at end of string. got: '5G'\\n]\","
time="2018-01-19T19:12:33+08:00" level=info msg="          \"msg\": \"unable to create rbd\""
time="2018-01-19T19:12:33+08:00" level=info msg="        },"
time="2018-01-19T19:12:33+08:00" level=info msg="        \"opts.Size\": 5,"
time="2018-01-19T19:12:33+08:00" level=info msg="        \"volumeName\": \"cephrbd-book\""
time="2018-01-19T19:12:33+08:00" level=info msg="      }"
time="2018-01-19T19:12:33+08:00" level=info msg="    }"

　　通过日志可以看到，每次发送docker volume create命令时，实际发送了两次http请求，第一次是列出当前的rbd设备，第二次才是发出post请求来创建一个rbd设备。而这里的日志，则给出了更多的信息“rbd: strict_strtoll: garbage at end of string. got: ‘5G’”。也就是说，很可能就是在rexray调用rbd create命令时发生了错误。这里，我们打开rexray源码继续跟踪，具体的源码文件为rexray/blob/master/libstorage/drivers/storage/rbd/utils/utils.go。 

//RBDCreate creates a new RBD volume on the cluster
func RBDCreate(ctx types.Context,pool *string,image *string,sizeGB *int64,objectSize *string,features []*string) error {cmd := exec.Command(rbdCmd, "create", poolOpt, *pool,"--object-size", *objectSize,"--size", strconv.FormatInt(*sizeGB, 10)+"G",)for _, feature := range features {cmd.Args = append(cmd.Args, "--image-feature")cmd.Args = append(cmd.Args, *feature)}cmd.Args = append(cmd.Args, *image)_, _, err := RunCommand(ctx, cmd)if err != nil {return goof.WithError("unable to create rbd", err)}return nil
}

　　根据上面的代码可以大致看出，rexray就是直接调用rbd create命令来创建rbd设备，和我们直接调用命令不同的是它这里是把rbd的大小转化成GB，然后再字符串拼接了一个“G”。这里我们就按照它这里的方法，组装了一个新的rbd命令，然后在CentOS上测试： 

# rbd create cephrbd-test --size 5G
rbd: strict_strtoll: garbage at end of string. got: '5G'

　　果然，还是报错了，我们再使用该命令在ubuntu上测试： 

# rbd create cephrbd-test --size 5G

　　在ubuntu上运行，没有报错。同一条命令，在不同的环境下结果不同。那么最大的可能就是rbd(ceph)的版本不一致了。在ubuntu下获取ceph版本。 

# ceph version
ceph version 10.2.7

　　而CentOS上默认安装的ceph版本只是0.94.5(Hammer版)，而Ubuntu上默认安装的却是更高的10.2.7(jewel版本)。而0.94.5 ceph版本的rbd命令无法解析“G”，“M”等描述rbd大小的参数。这就是问题出现的原因。

解决方法

　　在CentOS上安装更新的Ceph版本(jewel或更新的版本)即可。

ps：后面的博客会介绍如何在CentOS上安装更新的Ceph版本。

这篇关于rexray在CentOS上不能创建ceph rbd的docker volume问题定位的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/694212。

相关文章

springboot循环依赖问题案例代码及解决办法

springboot循环依赖问题案例代码及解决办法

《springboot循环依赖问题案例代码及解决办法》在SpringBoot中,如果两个或多个Bean之间存在循环依赖（即BeanA依赖BeanB,而BeanB又依赖BeanA）,会导致Spring的... 目录1. 什么是循环依赖？2. 循环依赖的场景案例3. 解决循环依赖的常见方法方法 1：使用 @La
阅读更多...
idea中创建新类时自动添加注释的实现

idea中创建新类时自动添加注释的实现

《idea中创建新类时自动添加注释的实现》在每次使用idea创建一个新类时,过了一段时间发现看不懂这个类是用来干嘛的,为了解决这个问题,我们可以设置在创建一个新类时自动添加注释,帮助我们理解这个类的用... 目录前言：详细操作：步骤一：点击上方的 文件（File），点击&nbmyHIgsp;设置（Setti
阅读更多...
Docker镜像pull失败两种解决办法小结

Docker镜像pull失败两种解决办法小结

《Docker镜像pull失败两种解决办法小结》有时候我们在拉取Docker镜像的过程中会遇到一些问题,：本文主要介绍Docker镜像pull失败两种解决办法的相关资料,文中通过代码介绍的非常详细... 目录docker 镜像 pull 失败解决办法1DrQwWCocker 镜像 pull 失败解决方法2总
阅读更多...
SpringBoot启动报错的11个高频问题排查与解决终极指南

SpringBoot启动报错的11个高频问题排查与解决终极指南

《SpringBoot启动报错的11个高频问题排查与解决终极指南》这篇文章主要为大家详细介绍了SpringBoot启动报错的11个高频问题的排查与解决,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一... 目录1. 依赖冲突：NoSuchMethodError 的终极解法2. Bean注入失败：No qu
阅读更多...
MySQL新增字段后Java实体未更新的潜在问题与解决方案

MySQL新增字段后Java实体未更新的潜在问题与解决方案

《MySQL新增字段后Java实体未更新的潜在问题与解决方案》在Java+MySQL的开发中,我们通常使用ORM框架来映射数据库表与Java对象,但有时候,数据库表结构变更（如新增字段）后,开发人员可... 目录引言1. 问题背景：数据库与 Java 实体不同步1.1 常见场景1.2 示例代码2. 不同操作
阅读更多...
通过Docker Compose部署MySQL的详细教程

通过Docker Compose部署MySQL的详细教程

《通过DockerCompose部署MySQL的详细教程》DockerCompose作为Docker官方的容器编排工具,为MySQL数据库部署带来了显著优势,下面小编就来为大家详细介绍一... 目录一、docker Compose 部署 mysql 的优势二、环境准备与基础配置2.1 项目目录结构2.2 基
阅读更多...
CentOS 7部署主域名服务器 DNS的方法

CentOS 7部署主域名服务器 DNS的方法

《CentOS7部署主域名服务器DNS的方法》文章详细介绍了在CentOS7上部署主域名服务器DNS的步骤,包括安装BIND服务、配置DNS服务、添加域名区域、创建区域文件、配置反向解析、检查配置... 目录1. 安装 BIND 服务和工具2.  配置 BIND 服务3 . 添加你的域名区域配置4.创建区域
阅读更多...
如何解决mysql出现Incorrect string value for column ‘表项‘ at row 1错误问题

如何解决mysql出现Incorrect string value for column ‘表项‘ at row 1错误问题

《如何解决mysql出现Incorrectstringvalueforcolumn‘表项‘atrow1错误问题》：本文主要介绍如何解决mysql出现Incorrectstringv... 目录mysql出现Incorrect string value for column ‘表项‘ at row 1错误报错
阅读更多...
如何解决Spring MVC中响应乱码问题

如何解决Spring MVC中响应乱码问题

《如何解决SpringMVC中响应乱码问题》：本文主要介绍如何解决SpringMVC中响应乱码问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Spring MVC最新响应中乱码解决方式以前的解决办法这是比较通用的一种方法总结Spring MVC最新响应中乱码解
阅读更多...
pip无法安装osgeo失败的问题解决

pip无法安装osgeo失败的问题解决

《pip无法安装osgeo失败的问题解决》本文主要介绍了pip无法安装osgeo失败的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 进入官方提供的扩展包下载网站寻找版本适配的whl文件注意：要选择cp（python版本）和你py
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2