D 的个人博客

全职做开源，自由职业者

  menu
413 文章
3446695 浏览
ღゝ◡╹)ノ❤️
/        

ScaleIO 2.0 基础及安装纪要

ScaleIO 基础概念

ScaleIO 是一套由 EMC 提供的软件定义存储的解决方案，用于实现虚拟化 SAN。它主要的优势是

  • 不局限于平台：可以融合异构系统，比如可以同时使用 VMware、Windows、Linux 来构建存储池并使用
  • 优秀的横向扩展能力：存储提供可以扩展到上千节点
  • 动态扩容能力：动态增减节点非常容易

ec1e4ddc791247f0b912ae33192116e4.png

MDM

Meta Data Manager，即元数据管理器。至少由 3 个节点组成一个集群：

  • Primary MDM：主管理器
  • Secondary MDM：从管理器
  • Tie Breaker：决策器

SDS

ScaleIO Data Server，即数据服务器。将主机上的磁盘通过网络抽象为存储池。

SDC

ScaleIO Data Client，即数据客户端。创建卷后在安装了 SDC 的系统上可以看见卷被暴露为标准块设备，格式化后就能直接用了。

GW

Gateway，即网关。是一个 Web 服务，提供了 ScaleIO 的 RESTFul API。

GUI

管理客户端，UI 很酷炫并且简单易用。可以直观看到容量、IO 情况，创建池、卷等。

vSphere 环境安装

网络规划

管理网络使用当前虚拟机的网络，数据网络使用部署向导来创建。数据网络最好使用单独的高带宽网卡，和其他虚拟机网络分开网段。

如果要建立多个数据网络，那要注意不能在同一个网段。

部署步骤

  1. 下载软件、文档包
  2. 安装 vSphere 插件
  3. 安装 SDC，这一步手动安装也不复杂，建议手动安装，因为需要确认 SDC 配置的 MDM IP
  4. 在 vSphere Web Client 中通过第 2 步安装好的插件部署 ScaleIO 环境

安装常见问题

  • Failed: Configure SDC driver on ESX (The SDC cannot communicate with the MDM cluster. Verify vmkernel and/or portgroup settings.)
    这个问题是由于 SDC 配置不对引起的，在安装 SDC 后一定要到 ESX 上看一下 SDC 的参数，通过命令 esxcli system module parameters list -m scini 查看。如果 MDM IP 不对，可使用 esxcli system module parameters set -m scini -p "IoctlMdmIPStr=<LIST_VIP_MDM_IPS>" 进行更新。配置完成后一定要记得重启 ESX！只有当 SDC 正确配置完成后再进行 ScaleIO 环境部署。

  • Failed: Add MASTER_MDM to MDM cluster (ScaleIO - Cannot connect to master MDM)
    在只回滚失败的任务后下次部署会碰到这个报错，应该是因为 MDM 已经成功安装过，不能重复加入同一集群。部署碰到失败时最好回滚整个部署过程（SDC 可以不重置）。

杂项记录

记录一下一些可能会用到的命令。

PowerShell

开放执行权限： Set-ExecutionPolicy -ExecutionPolicy UNRESTRICTED

VMware

  • 查看 ESX 上 SDC 的参数：esxcli system module parameters list -m scini
  • 配置 ESX 上 SDC 的参数：esxcli system module parameters set -m scini -p ""IoctlIniGuidStr=<GUID> IoctlMdmIPStr=<LIST_VIP_MDM_IPS>"

Linux

在 Linux（虚拟机）上安装 SDC：MDM_IP=<LIST_VIP_MDM_IPS> rpm -i EMC-ScaleIO-sdc-2.0-12000.122.el7.x86_64.rpm

SDC

管理和状态查看：/opt/emc/scaleio/sdc/bin/drv_cfg

参考