0x00 前⾔简述
描述: 由于最近公司来了⼀批华为的服务器以及存储，来的时候真的感到⾮常意外因为从中标到接货超过了1个半⽉，其间还因为各种事进⾏推延；在现场实施⼈员完成服务器上架以及测试后，由于业务的需求需要将其中的两台安装VMware ESXI将另外⼏台服务器安装修改后的CentOS7服务器系统，为后⾯kubernetes集搭建做准备;
机器基础配置⼀览:
⼚商: Huawei
机器型号: 2488H V5
产品结构: 2U
CPU: Intel Xeon Gold 6130 (⼗六核⼼/三⼗⼆线程)
CPU Type: Skylake
内存: 512G
磁盘: 600G X 2
BIOS 平台: Purley
阵列卡: MSCC SmartRAID 3152-8i 控制卡
HBA卡
iBMC:5.06
iBMC IP: 192.168.2.100
官⽅产品地址: FusionServer Pro智能服务器 > 机架服务器 > 产品型号:
BIOS平台与CPU型号对照表:
WeiyiGeek.BIOS-CPU
0x01 硬件基础介绍
1.阵列卡 MSCC SmartRAID 3152-8i
描述:MSCC SmartRAID 3152-8i控制卡（以下简称3152-8i）提供2个12Gbit/s的mini SAS HD接⼝，⽀持PCIe 3.0接⼝，并⽀持最多8个phy。它⽤于提⾼系统性能，并提供数据容错存储功能，⽀持数据的多硬盘分⽚存储，⽀持多硬盘同时读/写访问，有效降低硬盘数据访问延时。 Q: 什么是phy? 答: 全称为Physical Layer物理层的芯⽚,⼀般PHY芯⽚为模数混合电路，负责接收电、光这类模拟信号，经过解调和A/D转换后通过MII接⼝将信号交给MAC芯⽚(纯数字电路)进⾏处理。物理层定义了数据传送与接收所需要的电与光信号、线路状态、时钟基准、数据编码和电路等，并向数据链路层设备提供标准接⼝。
MSCC SmartRAID 3152-8i控制卡⾃带的Cache对标卡性能的提升有⾮常重要的作⽤，主要体现在：
在写数据时，直接写⼊Cache，当写⼊的数据积累到⼀定程度，RAID卡才将数据刷新到硬盘，这样不但实现了批量写⼊，⽽且Cache作为快速读写设备，其本⾝的读写速度都远⾼于硬盘，因此采⽤ Cache后，整个设备的写数据速度得到提⾼。
在读数据时，如果可以直接在Cache中命中的话，将减少磁盘寻道操作，降低响应时间，提升了数据读速度。
3152-8i安装在服务器的PCIe槽位上，结构如图所⽰。
WeiyiGeek.
3152-8i 基本参数(我选择有卖点的特性参数)
接⼝速率 (Gbit/s) ：12
⽀持的RAID组数量：64
单个RAID组⽀持的最⼤硬盘数 : 128
所有RAID组包含的最⼤硬盘数量: 238
硬盘直通模式⽀持的硬盘数量：238
⽀持的最⼤硬盘数：238
⽀持的热备盘个数：32（每个Array最多⽀持4个热备盘）
MaxCache⽀持的SSD最⼤个数：128
MaxCache最⼤容量：6.8TB
MaxCache是否⽀持热备：否
MaxCache⽀持的RAID级别: 0/1/10/5
⽀持的RAID级别：RAID 0/1/1ADM/10/10ADM/5/50/6/60
是否⽀持设置条带单元: 是（可设为16KiB/32KiB/64KiB/128KiB/256KiB/512KiB/1024KiB）
是否⽀持RAID级别在线迁移：是
是否⽀持在线扩容：是
是否⽀持硬盘直通: 是
是否⽀持SSD IO Bypass：是
是否⽀持4K盘：是
#备注1：MaxCache即SSD Cache，Microsemi将该功能定义为“MaxCache”。
第n个空间
3152-8i 基本功能
⽀持多种RAID级别：3152-8i最多⽀持238个硬盘，最多⽀持64个Array，每个Array最多⽀持64个LD（Logical Driver），整张RAID卡所有Array最多⽀持64个LD。
WeiyiGeek.RAID级别
⽀持多种⼯作模式
RAID模式：控制器下的逻辑盘会上报OS，但直通盘不会报送给OS。
HBA模式：控制器的所有RAID功能都被禁⽤，控制器下所有硬盘都被视为直通盘。
Mixed模式：RAID逻辑盘和直通盘都会报送给OS。
硬盘热备份
硬盘热插拔：请确认拔掉硬盘与插上硬盘的时间间隔在30s以上，以避免造成硬盘⽆法被识别。
重建
硬盘分条
硬盘直通: ⼜称指令透传，是不经过传输设备处理，仅保证传输质量的⼀种数据传输⽅式。在不配置虚拟磁盘的情况下，⽤户指令可以直接透传到硬盘，⽅便上层业务软件或管理软件访问控制硬盘
例如，服务器操作系统安装过程中，可以直接到挂载在3152-8i下的硬盘作为安装盘；⽽不⽀持硬盘直通的RAID卡，在操作系统安装过程中，只能到该RAID卡下已经配置好的虚拟磁盘作为安装盘。
擦除硬盘数据：⽀持“Erase Disk”即安全擦除指定硬盘；数据擦除过程中，不能执⾏关机，重启，插拔硬盘等操作，否则会导致硬盘被损坏。
容量扩展
读写⾼速缓存
数据掉电保护
硬盘指⽰灯
硬盘Fault指⽰灯(故障-黄⾊)：灭：表⽰硬盘运⾏正常；黄⾊闪烁：表⽰硬盘处于被定位状态或RAID重构状态；黄⾊常亮：表⽰硬盘故障或RAID组中的成员盘状态异常。
n0492
硬盘Active指⽰灯(正常-绿⾊): 灭：表⽰硬盘不在位或硬盘故障；绿⾊闪烁：表⽰硬盘处于读写状态或同步状态; 绿⾊常亮：表⽰硬盘处于⾮活动状态。
外部配置导⼊：当包含RAID配置信息的硬盘插⼊服务器后，服务器在启动过程中识别到当前硬盘配置符合该外部配置要求时，⾃动导⼊外部配置。
Q: 什么是Array? 答:Array即通常所说的硬盘组，每个Array可以包括1个或多个LD。
0x02 操作系统安装
0.华为设备缺省信息
默认的账号及其密码，采⽤其可以登陆修改BIOS以及进⼊iBMC界⾯
# V1调试密码：[email protected]
# V1/V2/V3/V5存储，IP:192.168.128.101/102(A/B)
rbd506⽤户名/密码：admin/[email protected](默认）
⽤户名/密码：admin/Huawei12#$
# V2/V3服务器 IP:192.168.2.100 iBMC 控制台 (账号密码)
⽤户名/密码：root/Huawei12#$
#V5服务器 IP:192.168.2.100 iBMC 控制台 (账号密码)
⽤户名/密码：Administrator/[email protected]
1.准备⼯作
描述: 下⾯描述都以2488H V5服务器为例进⾏讲述，系统开机功能界⾯选择:
# iBMC
- 版本
- 管理地址
# 功能参数
Del -- 服务器BIOS
F11 -- 启动项选择
F12 -- ⽹络启动
F3 -- 启动项选择(远程键盘) #通过⽹页访问或者KVM的时候使⽤、
F4 -- 服务器BIOS(远程键盘)
F6 -- SP Boot(Smart Provisioning) #系统安装
WeiyiGeek.
sysloader服务器系统安装流程如下:
WeiyiGeek.
1.1 BIOS默认设置：华为服务器在出⼚时已设置为最优的配置，我们强烈推荐您使⽤默认的BIOS设置，如果修改请在服务器BIOS POST过程中按下Delete键，进⼊BIOS SETUP菜单，按下F9加载默认配置。
例如，下表是使⽤VMware系统时的BIOS推荐设置；
BIOS选项推荐值
Hyper-Threading[ALL]Enabled
Monitor/Mwait[1]Enabled
VMX Enabled
PCIe SR-IOV Enabled
Intel VT for Direct I/O(VT-d)Enabled
Interrupt Remapping Enabled
PCI 64-Bit Resource Allocation Enabled
Hardware Prefetcher Enabled
Adjacent Cache Prefetch Enabled
DCU Stramer Prefetcher Enabled
DCU IP Prefetcher Enabled
注1：Monitor/Mwait选项值对EVC兼容性的影响参见关于Monitor/Mwait和EVC兼容性。
在部署系统前，请确认服务器BIOS、BMC等都已经更新到最新版本。
Huawei服务器2488H V5补丁版本:
Huawei服务器系统兼容检测：
Huawei服务器系统系统安装：
桥梁支座更换与维修
1.2 系统时间设置描述：如果系统时间不正确就需要进⾏调整，此时您需要在BOIS中进⾏设置系统时间 ; BIOS Setup Utility -> 在菜单栏中，选择“Main”页签 -> 选
择“System Time” -> 选择“System Date”
1.3 启动顺序调整在菜单栏中，选择“Boot > Boot Sequence”，按“Enter” -> 进⼊“Boot Sequence”界⾯按照最下⾯的操作提⽰进⾏;
2.创建Riad阵列磁盘
描述：在BIOS中“Boot Type”设置为“UEFI Boot”模式时，打开的管理界⾯如下所述。我们在EFI/UEFI模式下我们进⾏raid的初始化配置;
Step 1.登录管理界⾯BIOS版本为V363及以下, 启动服务器过程中在显⽰IMBC IP地址界⾯按“F11”，弹出密码输⼊框（输⼊默认的BIOS密码）。
WeiyiGeek.
Step 2.Front Page界⾯ -> 选择“Device Manager”并按“Enter” -> 选择要操作的MSCC SmartRAID 3152-8i控制器，按“Enter”进⼊如图所⽰界⾯
WeiyiGeek.
Step 3.设置RAID卡⼯作模式”Configure Controller Settings>Modify Controller Settings“的顺序进⼊“Modify Controller Settings”界⾯, 选择“Port CN0 Mode”并按“Enter”, 最后再选择“Port CN0 Mode”并按“Enter”。
#3152-8iRAID卡⽀持三种⼯作模式，分别为：
RAID：控制器所有的RAID功能都被启⽤，但直通盘不会报送给OS。
Mixed：RAID逻辑盘和直通盘都会报送给OS。
HBA：控制器所有的RAID功能都被禁⽤，控制器下所有硬盘均被视为直通盘。
WeiyiGeek.
Step 4.在MSCC SmartRAID 3152-8i控制器主界⾯中，进⼊“Array Configuration”界⾯ -> 选择Create Array 进⼊成员盘选择界⾯ -> 选中硬盘后，按“Enter”键，将硬盘加⼊Array。;
# 硬盘状态为“Enabled”时表⽰硬盘被选中。
# RAID 1⽀持的硬盘个数为2。
Step 5.选择“Proceed to next Form”并按“Enter”进⼊RAID级别选择界⾯ -> 选择要配置的Array级别“RAID1“ -> 最后选择“Submit Changes”并按“Enter” -> 提⽰创建成功按“Enter”返回主界⾯。
参数说明
Logical Drive Label LD的⾃定义标签。
Strip Size/Full Stripe Size Strip Size：单个物理盘的条带⼤⼩，可设置为16KiB/32KiB/64KiB/128KiB/
256KiB/512KiB/1024KiB，默认值为256KiB。Full Stripe Size：整个LD的分条⼤⼩。当设定Strip Size后，系统会⾃动计算出Full Stripe Size。
Size整个LD的容量⼤⼩。Unit size LD的容量计算单位。
SSD Over Provisioning optimization 设置在创建由SSD组成的RAID组时，是否启⽤SSD Over Provisioning。 DisabledEnabled 说明：只有当RAID组由SSD组成时，才能设置该属性。
Acceleration method设置LD所采⽤的加速⽅法。 SSD I/O Bypass（只有当LD由SSD组成时，该选项有效）Controller cache（同时使⽤读Cache和写Cache）None（禁⽤加速，表⽰既不使⽤SSD I/O Bypass，也不使⽤Controller Cache，即⽆任何加速。）
Submit Changes确认修改。
WeiyiGeek.
Step 6.检查配置结果按照“Array Configuration > Manage Arrays”的顺序进⼊刚才创建的Array A组中；
参数说明
Array Type Array的类型。
List Logical
Drives逻辑盘相关的接⼝，可查看、修改逻辑盘的属性，删除逻辑盘等。售检票系统
Create
Logical
Drive
创建逻辑盘。
IO Bypass Settings 设置SSD在不使⽤Controller Cache时的逻辑盘加速⽅法。说明：该特性即为读写⾼速缓存所述的“SSD I/O Bypass”。SSD组成的RAID组在使能Controller cache的情况下⽆法使能IO Bypass功能。如需使能IO Bypass，需要先禁⽤RAID组的Controller Cache，再使能IO Bypass。
Manage
Spare
Drives
热备盘相关的接⼝，可创建，删除热备盘等。
Identify
Device点亮/熄灭硬盘locate灯。
Delete
Array删除Array。
然后选择“List Logical Drive”并按“Enter”查看LD的相关属性 -> 之后在选择“Logical Drive Details”并按“Enter”WeiyiGeek.List Logical Drive
Step 7.⾄此RAID 1 磁盘阵列完成设置;
注意事项:
1) 配置多个RAID组或包含多个VD的RAID组后，必须配置启动项，否则可能会导致操作系统安装异常
2) 安装好服务器系统可以采⽤ARCCONF⼯具进⾏即可执⾏RAID卡管理查看等相关命令;
3.系统安装
描述: Huawei服务器有两种安装⽅式：
直接安装⽅式: ⽅便简洁，但是由于没有镜像兼容性检测，可能导致系统安装后缺少驱动导致服务器或FC存储设备不能被识别;
Smart Provisioning⽅式安装：它⼀个操作系统的安装引导⼯具，简化了⼯程师在本地安装操作系统和驱动的过程。此⽅式要求iBMC 2.64以上版本以及BIOS 0.37以上版本。具体⽀持的服务器请使⽤智能计算产品兼容性查询助⼿进⾏查询。您可以使⽤Smart Provisioning集成在主板的⽅式引导安装系统，也可以使⽤挂载Smart Provisioning镜像的⽅式引导安装系统。# 注意事项使⽤Smart Provisioning安装操作系统时，需要格式化待安装操作系统的硬盘，请在安装操作系统前备份硬盘数据。在Legacy模式下安装操作系统时，请使⽤容量在2TB以下的硬盘。
(1) 直挂载镜像⽅式安装流程: Step 1.利⽤⽹页或者KVM登录服务器iBMC平台进⾏管理(将连接的机器配置同⼀⽹段下的IP即可)
WeiyiGeek.
Step 2.将ISO镜像进⾏挂载连接，然后重启服务器后在功能选择界⾯选择F11
WeiyiGeek.
Step 3.输⼊缺省密码后选择启动项然后加载镜像并进⾏进⾏安装;
WeiyiGeek.
(2)Smart Provisioning ⽅式安装流程: Step 1.同样是先通过KVM或者ibmc⽹页端把进⾏连接，然后重新服务器在功能选择界⾯选择F6进⼊SP BOOT(此处需要输⼊密码)，根据系统的配置此处可能等待时间较久；
WeiyiGeek.SP BOOT
Step 2.进⼊ Smart Provisioning 之后，点击 Start 出现以下界⾯，然后再次点击安装操作系统即可；
WeiyiGeek.
Step 3.选择安装的镜像，此处我们进⾏⾃定义即可，然后选择安装系统的版本，此处建议安装的是7.6，由于Smart Provisioning 现在默认最⾼⽀持CentOS7.6, 但是经过测试发现安装 7.8 也没问题只是在最后的安装结束前会报错，但是机器重启后可以正常的进⼊到系统之中;
WeiyiGeek.CentOS7.6
Step 4.安装磁盘选择与确认操作
WeiyiGeek.
Step 5.挂载镜像后点击进⾏下⼀步，此时系统会⾃动安装系统到磁盘并将硬件驱动也⼀并安装;
WeiyiGeek.
Step 6.系统安装完毕后将会重启服务器(不得不说华为的服务器启动真的是…此时略5-6分钟)，加载安装的UEFI模式的操作系统
WeiyiGeek.
Step 7.进⼊CentOS 7.6系统初始化安装配置界⾯(此处不再多说与描述)
WeiyiGeek.
Step 8.安装完成后进⾏系统，可以在root家⽬录中查看通过Smart Provisioning安装后所留的硬件设备以及存储FC SAN的驱动等
WeiyiGeek.
0x03 华为服务器ESXI安装实践
描述: 请按照上述流程进⼊Smart Provisioning界⾯之中，然后选择开始进⾏按照下⾯操作部署EXSI；
1.基础安装
Step1.EXSI安装版本的选择此处最⾼可选择 ESXI 6.7 版本的镜像进⾏安装
WeiyiGeek.1
Step2.选择我们将要安装的磁盘，本来服务器中有两块盘由于做了Raid1所以空间只有⼤约600G，选择下⾯的磁盘进⾏安装
WeiyiGeek.2
Step3.挂载镜像后点击下⼀步进⾏ESXI系统的安装;
WeiyiGeek.3
Step4.加载镜像到内存后将会⾃动重启服务器，进⼊到ESXI安装界⾯之中;
WeiyiGeek.4
2.后续配置
FW和驱动配套检查
描述：有些板卡的驱动和FW是存在配套关系，系统安装完以后，我们建议您进⾏驱动和FW的配套检查，⽅法如下： (1) 运⾏idriver驱动包中的install.sh脚本。
sh install.sh
(2) 选择“2: To check the current module information and driver version”。
执⾏以后，FW和驱动的检查结果如下图。其中：
“CurrentDriverVer”：代表系统中当前使⽤的驱动版本
“NewDriverVersion”：代表系统推荐使⽤的驱动版本
“CurrentFirmwareVer”：代表当前的FW版本
“NewFirmwareVersion”：代表推荐使⽤的FW版本
(3) 执⾏以后，如果发现“CurrentFirmwareVer”不等于“NewFirmwareVersion”，或者“CurrentDriverVer”不等于“NewDriverVersion”需要对FW和驱动进⾏更新
系统优化配置
电源优化
描述:Power Management Policy设置为了在esxi系统下实现最佳的性能和稳定性。要实现Power Management Policy设置功能，您必须在华为服务器BIOS中将“Hardware P-States”选项设置为“Native Mode”。
配置流程:
主机 -> Manager(管理) -> Hardware(硬件) -> Power Management Policy -> Change policy -> 设置为 High performance
CPU 优化描述：在系统下关闭C state，关闭CPU的C state可以获得更好的性能，在esxi系统下禁⽤C state的⽅法如下。进⼊Manage界⾯，选择
Power.CstateMaxLatency, 然后设置为0。
WeiyiGeek.C state
描述:Monitor/Mwait和EVC兼容性建议您检查集中服务器是否都是同⼀代CPU架构，如果集中服务器都是同⼀代CPU架构，在这种情况下EVC特性是不起作⽤的，建议您关闭集的EVC特性，对使⽤上没有任何影响。如果您的集中存在不同代CPU架构的服务器，并且要启⽤集的EVC特性，您必须在华为服务器BIOS中将MONITOR/MWAIT特性设置为Enabled。
设置流程:BIOS untility -> MONITOR/MWAIT -> Enabled;
参照地址:
0x04 F&Q
1.iBMC 管理地址设置
描述: 登录iBMC平台后选择配置 -> ⽹络配置 -> IPV4进⾏设置(ip/⼦⽹/默认⽹关) ，配置完成后原管理地址⽴即失效，请访问新的管理地址;
WeiyiGeek.iBMC 管理地址
2.服务器安装系统启动模式的选择
描述：启动模式的修改根据需要在“Boot”页签中选择“Boot Type”为“UEFI Boot”或“Legacy Boot”;
当服务器配置了较多的可启动设备时，在Legacy模式下可能出现部分设备⽆法正常启动，建议使⽤UEFI模式启动，UEFI模式较Legacy模式可以⽀持更多可启动设备；如需要使⽤Legacy模式，建议根据实际业务场景禁⽤串⼝重定向或⽹卡PXE等，确保操作系统可以正常启动，具体操作请参考各平台BIOS参数参考的“设置⽹卡的PXE”和“设置串⼝重定向”章节。
注意事项:
# 1.两种模式下引导显⽰异同
- 在Legacy模式下:
当服务器配置了⽀持从Legacy启动的RAID卡或物理硬盘时，Hard Disk Drive列表显⽰具体的RAID卡或者物理硬盘信息，可以通过调整其顺序来调整启动设备。
- 在UEFI模式下：
当服务器硬盘未安装OS时，Hard Disk Drive列表下不存在启动项，此时OS安装过程中选择⽤来安装OS的硬盘即为启动盘。
当服务器硬盘已安装OS时，Hard Disk Drive列表将显⽰具体的OS版本，可以通过调整OS顺序来调整启动设备。
# 2.两种模式下切换注意
如果服务器已经在Legacy或者UEFI模式下安装OS，切换启动⽅式后将⽆法进⼊操作系统，需要切换为安装时的启动⽅式再进⼊，如操作系统需要重装，请根据实际情况选择是UEFI 或Legacy 模式安装OS。# 3.两种模式下硬盘容量的关联
如果待安装的硬盘或RAID组容量⼤于2TB，需要将启动模式设置为UEFI Boot，新机器还是推荐使⽤该启动模式，除⾮额外的硬件不允许的条件下选择Legacy启动;
如果服务器安装了NVMe硬盘，并在该硬盘上安装OS，只能将启动模式设置为UEFI Boot。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议