根据ceph RBD的Iscsi target完结剖析

runsisi AT hust.edu.cn

2015/06/12

本文总结根据ceph存储后端的iSCSI target完结，针对几种或许的完结思路进行剖析，并输出本文档，本文内容安排结构如下：

1. 描绘本文的意图及内容；

2. iSCSI运用ceph作为存储后端的根本完结思路；

3. 别离论述几种或许的完结办法，剖析其各自的特色和或许存在的一些技能妨碍；

4. 终究简略总结全文。

1.        问题提出

ceph作为一个实在意义上的共同存储系统，有着很好的运用远景，但到现在为止有多种原因约束了其在传统存储运用领域实在大规模的运用，如客户端仅支撑GNU/Linux系统，内核态客户端完结也仅会集入高版别的内核中等。而关于iSCSI这种传统的存储运用而言，因为客户端装备简略且满足通用，常见的各种系统（包含操作系统和运用系统）一般都对iSCSI有很好的支撑，因而为了扩展ceph的运用规模，特别是应对只支撑iSCSI的系统，ceph有必要经过某种途径完结对iSCSI的支撑。

2.        根本考虑方向

ceph集群现在支撑三种方法的存储接口：文件、目标、块，其间块接口(即RBD)与SCSI块设备读写所要求的接口共同，因而能够根据ceph的RBD供给SCSI存储系统后端，当然假如有满足决心的话也能够彻底扔掉ceph供给的这三种根底接口，而在原始的RADOS接口上开发新的块接口，当然除非原始的RBD接口有重要缺点，不然暂时还看不到从头创造轮子的必要，留意后文的谈论都将根据这一根本假定。

1. virtualization

虚拟化，与实在的、物理存在的目标相对应，用于阻隔底层物理完结。其间计算机硬件虚拟化是咱们所熟知的虚拟化技能，如运用VirtualBox等虚拟机软件创立多台x86虚拟机器，运用qemu模仿多种硬件渠道（x86，PPC）等。其它常见类型的虚拟化技能包含：操作系统虚拟化（Docker，FreeBSD jail），存储虚拟化（pooling），运用软件虚拟化（virtualenv）等[1]。

runsisi AT hust

http://www.fometaux.com/runsisi

[本文所提及的布置办法已不适用于新版的ceph-formula]
本文简略描绘运用saltstack布置ceph集群（MON+OSD）的办法。

1. saltstack根本概念

master：saltstack服务端，可履行程序为salt-master；

minion：saltstack客户端，可履行程序为salt-minion；

grains：客户端节点本身所固有的静态数据，如节点的根本信息等；

pillar：在服务端界说的、针对详细客户端的数据。

/Files/runsisi/salt-ceph.pdf

runsisi AT hust

http://www.fometaux.com/runsisi

前语

本文对运用puppet进行ceph集群的布置流程进行扼要总结。全文结构如下：榜首、二节别离对puppet和ceph进行简略介绍；第三节剖析puppet-ceph模块的结构和完结；第四节描绘ceph集群布置的操作流程；第五节总结全文；附录为参考文献及代码。

1.     puppet

puppet是一个开源的装备办理东西(Puppet is an open source configuration management utility^[1])，一起也是当时最干流的装备办理自动化东西之一。

runsisi AT hust

http://www.fometaux.com/runsisi

前语

CHAP认证是iSCSI协议中最首要的认证办法，现有的开源iSCSI完结（包含initiator和target完结）根本上都只支撑CHAP认证，本文将对CHAP认证及其在iSCSI协议中的运用作一个简略的介绍。

CHAP协议

CHAP^[1]的全称是Challenge-Handshake Authentication Protocol，协议细节由RFC 1994进行界说。CHAP开始运用在Point to Point Protocol（PPP）中，用于完结PPP服务器对客户端的身份认证，但也能够运用在其它需求对用户或主机进行身份认证的场合，如iSCSI协议就规则运用iSCSI协议进行通讯的设备有必要（MUST）完结CHAP认证。

注：附件中的压缩包为iSCSI discovery会话的抓包信息，两次抓包别离为单向CHAP认证和双向CHAP认证进程，
iSCSI normal会话的CHAP认证进程和discovery会话是相同的，没有再独自抓包。

/Files/runsisi/iSCSI_CHAP认证.pdf
/Files/runsisi/iSCSI_CHAP_PCAP.7z

runsisi AT hust

http://www.fometaux.com/runsisi

现在公司内部运用的RPM系发行版应该大都还停留在Centos6.x或RHEL6.x版别，6.x系列的版别带的vim如同都是7.2版别的，像我这种装了spf13供给的vim插件包的TX就比较抑郁了，这个插件包只支撑7.3及以上的版别，vim官方如同是没有供给rpm包下载的，我每次都是自己下来源代码进行编译，其实挺不方便的，原本只需求进行一次的作业，每次硬是要从头编译打包。让我想起了在校园保护系里的网站时，需求增加一个生成本科结业设计选题计算word文档的功用，大约花了我两天的时刻才把这个功用给完结了，每次教师们想要生成这个文档，就在页面上点击一下按钮，然后稍等一小会，网站后台会实时生成一个word文档供给下载，良久之后我才忽然开窍，其实只需求我自己生成一份然后挂到网站上就行了的，横竖毕设选题每年只要一次，哪用SB似的每次都去查数据库给生成一份:)

google被GFW给屏蔽了，因而vim的代码也取不下来了，只好从Centos7的yum源里取了一份，途径如下：

http://vault.centos.org/7.0.1406/os/Source/SPackages/

/Files/runsisi/centos6.x编译打包vim7.4.pdf

runsisi AT hust

http://www.fometaux.com/runsisi

1． 获取源代码

获取源代码有多种途径，其间ceph官方发布的源代码途径如下：

http://ceph.com/download/

在该途径下下载相应发行版别的源代码tar包即可，一起也能够运用git版别办理东西获取最新的开发版别的源代码^[1]：

git clone --recursive https://github.com/ceph/ceph.git

2． 树立编译环境

编译打包ceph需求相应的东西链以及一系列的第三方库，根据deb的发行版和根据rpm的发行版所需求的依靠并不尽相同，假如运用git从github获取的源代码，则在源代码的根目录有两个文件：deps.deb.txt, deps.rpm.txt，这两个文件别离记载了这两种类型的发行版树立编译环境所需的东西及第三方依靠库，可是这两个文件所记载的依靠联系并不一定彻底精确，假如有缺失的依靠，编译系统进行构建时会报错，再装置相应的依靠即可。

/Files/runsisi/ceph_build.pdf

runsisi AT hust

http://www.fometaux.com/runsisi

该过错在履行指令：ceph-deploy mon create-initial 时呈现，阐明该 monitor 节点从前布置过 ceph 环境，该问题的解决办法很简略，在履行该指令之前删去该 monitor 节点 /etc/ceph/ 下的{cluster}.client.admin.keyring 文件（cluster名默许装备情况下是ceph）。

该过错的详细原因待会解说，先简略介绍一下该指令履行进程中发作的工作：

1． 发动 monitor 节点的 ceph monitor 看护进程；

2． monitor 节点履行 ceph-create-keys 指令；

3． ceph-create-keys创立 {cluster}.client.admin.keyring；

4． ceph-create-keys创立 bootstrap-{osd, mds}/{cluster}.keyring；

5． ceph-deploy 地点运转节点从 monitor 节点取 {cluster}.client.admin.keyring, {cluster}.mon.keyring, bootstrap-{osd, mds}/{cluster}.keyring 到当时途径；

6． 以上任何一步假如文件已存在，则不会新建（或去 monitor 节点取）文件。

回到咱们遇到的过错，因为 monitor 节点之前或许运用 ceph-deploy 东西进行过布置，再次布置时没有将 {cluster}.client.admin.keyring 原有的装备文件进行整理，因而第3步不会创立新的 keyring 文件，依然运用前次布置运用的keyring，然后导致第4步操作会失利，终究犯错。

从上面的介绍，能够知道，假如要运用 ceph-deploy 东西再次对 ceph 集群进行布置，最好将各节点（包含 ceph-deploy 东西地点节点）上原有的装备文件整理之后再进行布置。

/Files/runsisi/ceph_bootstrap_key_fail.pdf