Как настроить RAID на HP ProLiant DL380 G7 с помощью загрузочного диска SmartStart
Как настроить RAID на HP ProLiant DL380 G7 с помощью загрузочного диска SmartStart
Доброго времени суток, уважаемый читатель. Если ты тут, значит у тебя есть сервера компании HP, такой же модели как у меня или выше и в твои планы входит, создание на их базе откзоустойчивого массива, благодаря технологии рэйд, в моем случае он строится на базе встроенного RAID контроллера P410i. Вообще в комплекте есть специальный диск «Smart Start», который вам в этом поможет, в виде удобного мастера, если диска у вас нет, то вы его легко возьмете у меня, чуть ниже. Также в данных серверах, есть встроенная BIOS подобная утилита ORCA, можете использовать и ее.
Для того чтобы настроить RAID на hp proliant dl380 g7 нужно запустить эту утилиту нужно скачать SmartStart. Хочу отметить, что вам придется сделать загрузочную флешку с помощью специальной утилиты, либо записать на диск, но лучше купите себе коробку Zalman, которая умеет монтировать ISO, очень пригодится.
- Переходим в меню Maintenance
HP ProLiant DL380 G7 2П X5690 3.46ГГц Настройка RAID (1)
HP ProLiant DL380 G7 2П X5690 3.46ГГц Настройка RAID (2)
HP ProLiant DL380 G7 2П X5690 3.46ГГц Настройка RAID (3)
HP ProLiant DL380 G7 2П X5690 3.46ГГц Настройка RAID (4)
HP ProLiant DL380 G7 2П X5690 3.46ГГц Настройка RAID (5)
HP ProLiant DL380 G7 2П X5690 3.46ГГц Настройка RAID (6)
Обратите внимание у меня есть 8 не размеченных дисков.
HP ProLiant DL380 G7 2П X5690 3.46ГГц Настройка RAID (7)
HP ProLiant DL380 G7 2П X5690 3.46ГГц Настройка RAID (8)
HP ProLiant DL380 G7 2П X5690 3.46ГГц Настройка RAID (9)
HP ProLiant DL380 G7 2П X5690 3.46ГГц Настройка RAID (10)
В своем примере я создал RAID 10 и порезал все это дело под 4 луна, один под систему, а остальные под сервисы и данные.
HP ProLiant DL380 G7 2П X5690 3.46ГГц Настройка рэйд
Установка CentOS Linux 7.2 на сервер HP ProLiant DL360 G5 с поддержкой драйвера контроллера HP Smart Array P400i
С этой заметки я начну цикл записей о развёртывании операционной системы CentOS Linux release 7.2.1511 на аппаратной платформе HP ProLiant DL360 G5. Постараюсь максимально подробно описать все особенности и подводные камни, с которыми я столкнусь на этом пути. В этой заметке будет рассмотрен пример первоначальной базовой подготовки сервера к установке ОС с последующей процедурой установки CentOS Linux. Пост-установочные процедуры по обновлению драйверов устройств и установке утилит управления HP будут рассмотрены в дальнейших отдельных заметках.
Тестируем оперативную память
Так как наш сервер планируется использовать в качестве хоста виртуализации KVM, то перед установкой базовой ОС и вводом сервера в работу, после установки всех контроллеров и плат нам очень желательно провести тестирование оборудования, чтобы не «грешить» в дальнейшем на некорректную работу ОС из-за возможных аппаратных проблем. Как минимум, нужно проверить оперативную память. Для этого я использую загрузочную утилиту Memtest86+ , как один из самых доступных и простых инструментов.
Выполняем Оffline обновление прошивок Firmware
Последний релиз комплекта драйверов и прошивок, которым завершался цикл поддержки серверов HP ProLiant поколения G5 – это Service Pack for ProLiant (SPP) версии 2014.06.0. Подтверждение этому можно найти в Release Notes к этому выпуску SPP:
This is the last SPP release to support G5 generation and earlier servers.
Если сервер G5, с которым вы имеете дело никогда не подвергался процедуре обновления firmware, то правильным, на мой взгляд, будет загрузить SPP указанной версии. Это имеет значение по той причине, что SPP не являются, по сути, полностью кумулятивными бандлами. То есть в каких-то смежных релизах SPP можно встретить одни и те же версии драйверов и прошивок, но от версии к версии из состава SPP удаляется поддержка одного железа и добавляется поддержка другого, более современного. Это, с одной стороны, позволяет не раздувать размер SPP до слишком больших размеров, и с другой стороны, как я понимаю, позволяет решать HP свои маркетинговые задачи.
На сервере, не имеющем установленной ОС, но имеющем расширенную лицензию iLO Advanced, все процедуры установки обновлений прошивок с SPP и последующей установки ОС удобно делать через функционал iLO Remote Console, где можно и получить удалённый доступ к консоли сервера и, при необходимости, удалённо примонтировать CD/DVD диск или ISO/IMG образ. Однако прошивка самого контроллера iLO может быть устаревшей и иметь свои проблемы. Поэтому, перед тем начать использование функций iLO Remote Console, желательно обновить прошивку самого iLO. Сделать это можно, например, через веб-интерфейс iLO.
Текущая версия прошивки iLO2 на данный момент 2.29. О том, где взять файл прошивки текущей версии я писал ранее в заметке Обновляем Firmware BIOS & iLO2 на серверах HP ProLiant DL360/380 G5
После того, как обновление прошивки iLO выполнено, можно двигаться дальше.
Обновлять прошивки сервера с SPP можно с помощью локальных носителей типа DVD привод или USB флэшка или удалённо с помощью монтирования файлов образов в iLO (напомню, что для монтирования образов нужна лицензия iLO Advanced). Практика использования удалённых монтированных образов SPP через iLO показала, что такой вариант удобный, но далеко не самый стабильный, так как контроллеры iLO2 вели себя не всегда вполне адекватно в процессе передачи файлов образа по сети. Замечено это было на разных серверах при прочих равных условиях, но корень проблемы выяснить так и не удалось. Поэтому, как самое надёжное и быстро работающее решение был выбран метод локального использования загрузочного флэш-накопителя.
В варианте с обновлением с локальных носителей, возможно потребуется подготовить загрузочную флешку с SPP. Для того, чтобы создать такую флешку на Windows, можно воспользоваться инструментом HPE USB Key Utility for Windows (текущая версия 2.1.0.0 от 01.04.2016 )
Предвосхищая вопросы в комментариях о том, где можно скачать образы SPP (а такие вопросы ранее в комментариях задавались неоднократно), хочу предупредить, что я не буду никуда выкладывать такие образы, так как у меня нет задачи входить в противоречия с лицензионной политикой HP. Если у вас нет действующего сервисного контракта с HP, но обновиться очень хочется, то при желании в Интернете можно найти прямые ссылки на загрузку нужных версий SPP по прямым ссылкам с FTP серверов HP. К тому же, если у вас в локальной сети развёрнут репозиторий VCRM и настроено его автоматическое обновление с серверов HP, то в нём, как правило, вы сможете найти образы SPP.
Итак, загружаем сервер с накопителя с SPP 2014.06.0 и на стартовом экране выбираем пункт обновления прошивок – Firmware Update
В ходе обнаружения могут быть найдены более новые прошивки для контроллеров FC HBA, RAID контроллеров, контроллеров HDD, сетевых контроллеров и т.д. В нашем примере в SPP, не смотря на его очевидную «старость», таки нашлась прошивка для контроллера FC HBA Emulex, который установлен в сервере.
После окончания процесса обновления прошивок с последующей обязательной перезагрузкой сервера, снова загружаемся в SPP и в стартовом меню вызовем запуск утилиты HP Smart Storage Administrator (SSA). Сделать это лучше именно в старой версии SPP, так как несмотря на то, что в самой свежей версии SPP, которую мы также будем прогонять на нашем сервере в дальнейшем, эта утилита тоже есть, но из неё уже убрана поддержка контроллера HP Smart Array P400i, который установлен в нашем сервере. То есть в новой версии SPP эта утилита попросту не увидит наш контроллер.
В утилите HP SSA выбираем режим конфигурирования и настраиваем нужную нам конфигурацию RAID.
В нашем случае в сервере установлено 2 диска по 72GB, которые мы обедняем в простое «зеркало» (RAID1). Полученного объёма нам «за глаза» хватит для установки базовой ОС CentOS 7.2 (виртуальные машины KVM предполагается держать на выделенном диске на внешней системе хранения данных). Здесь же, в HP SSA, при необходимости мы можем выполнить более тонкую настройку параметров работы кэша контроллера Smart Array, а также проверить то, что созданный нами RAID-диск имеет признак загрузочного, чтобы не столкнуться ситуацией, ранее описанной в заметке HP Smart Array P400i — Boot Logical Drive is configured but is Missing or Offline . 
После того, как настройка в HP SSA закончена, перезагружаем сервер и загружаемся уже в самую свежую на сегодня версию SPP. На текущий момент это версия SPP 2016.04.0. На стартовом экране выбираем пункт обновления прошивок – Firmware Update
В нашем случае из поддерживаемых последней версией SPP железок нашлась только прошивка для iLO2, но её мы уже самостоятельно обновили в самом начале.
Таким образом вопрос с SPP, как с источником обновлений firmware для нашего сервера, можно считать закрытым.
Теперь отдельно нужно обновить BIOS сервера, так как его нет в составе SPP. Почему нет? Всё можно объяснить довольно просто. В составе старого SPP этой прошивки нет, так как на тот момент времени когда SPP собирался, прошивки 2015 года ещё не существовало в природе. В составе же новой версии SPP этой прошивки нет, так как новая прошивка не содержит в себе обновлений для платформы G5. Поэтому мы загрузим и установим это обновление обособленно.
Опять же для того, чтобы найти файлы необходимые для прошивки BIOS мы обратимся к заметке Обновляем Firmware BIOS & iLO2 на серверах HP ProLiant DL360/380 G5 , где есть ссылки на загрузку. Если распаковать установочный пакет обновления BIOS, то мы увидим что внутри него него есть свой загрузочный образ ROMPAQ.ISO. Это и есть автономный загрузочный образ для offline обновления BIOS. Загружаем сервер с этого образа. После загрузки утилита обновления покажет текущую версию прошивки BIOS и возможную для обновления. Жмём Enter и жжём завершения процесса, после чего перезагружаем сервер.
После первой загрузки последующей за обновлением, на мой взгляд, правильным шагом будет сброс настроек BIOS в состояние «по умолчанию» (Advanced Settings > Restore Default System Settings) с последующей перезагрузкой сервера.
После загрузки системы со сброшенными настройками снова заходим в BIOS и выполняем необходимую настройку нужных параметров, в частности, так как наш сервер планируется использовать в качестве хоста виртуализации, нам нужно будет включить опции поддержки виртуализации, — в Advanced Settings > Processor Options включить опции No-Execute Memory Protection и Intel Virtualization Technology
Устанавливаем операционную систему CentOS 7.2
До 7 ветки CentOS драйвер, поддерживающий старые контроллеры Smart Array, в том числе и наш P400i, называющийся ссiss входил в состав ОС и поэтому, с установкой системы на дисковый том, расположенный на таком контроллере, не должно было возникать проблем. Однако начиная с 7 версии CentOS этот драйвер исключили, заменив его новым драйвером hpsa, который нацелен на поддержку контроллеров Smart Array в серверах поколения G6 и новее. HP в очередной раз решили немного усложнить жизнь тем, кто не обновляет свой серверный парк.
Идём на сайт проекта HP Smart Array CCISS driver и видим следующее:
The cciss driver has been removed from RHEL7 and SLES12.
If you really want cciss on RHEL7 checkout the elrepo directory
Для использования функций драйвера cciss в CentOS 7 нам предлагается использовать репозиторий ELRepo и пакет kmod-cciss
В системе с уже установленным и работающим CentOS 7 подключение репозитория и установка драйвера выглядела бы вполне просто:
Импортируем публичный ключ репозитория
Добавляем репозиторий ELRepo для RHEL 7/SUSE Linux 7/CentOS 7:
Устанавливаем нужный нам модуль с драйвером:
Однако в нашем случае системы ещё нет и нам предстоит объяснить загрузчику инсталлятора CentOS 7 о существовании нужного драйвера. Для этого есть механизм загрузки драйверов в процессе установки Linux с отдельного накопителя Disk Driver (DD). Такой диск можно собрать самостоятельно, а можно использовать уже имеющийся, например здесь: DUP_cciss_el7_x86_64.iso
Записываем образ на отдельный флэш-накопитель, или же для его монтирования используем iLO.
Загружаемся с установщика CentOS 7.2 (в моём случае используется загрузочный образ CentOS-7-x86_64-Minimal-1511.iso), дожидаемся появления загрузочного меню и жмём ESC
вводим команду «linux dd» и жмём Enter
Получаем от установщика пронумерованный список накопителей. Вставляем в сервер флэшку, на которую мы ранее записали образ диска с драйвером или же монтируем этот ISO-образ через iLO. После этого вводим «r» и жмём Enter, чтобы обновить информацию о доступных устройствах.
В списке устройств должно появиться новое устройство. В нашем случае это устройство sr1 под номером 7. Чтобы выбрать устройство, вводим его номер в списке и жмём Enter. Устройство будет смонтировано, и сразу после этого будет выведен пронумерованный перечень rpm пакетов доступных на смонтированном устройстве. При этом, перед названием каждого пакета, мы увидим пустые фигурные скобки, которые обозначают признак выбора этого пакета. В нашем случае образ диска с драйвером содержит всего один пакет и поэтому в этом перечне будет всего один пункт. Выбираем номер пункта с нужным нам драйвером (в нашем случае 1) и жмём Enter. В фигурных скобках появится символ «x«. Это значит, что мы выбрали этот пакет для загрузки.
После того, как пакет для загрузки выбран, вводим «c» и жмём Enter. Будет произведена распаковка пакета, о чём на консоль будет выведено соответствующее сообщение.
Всё, теперь нужный нам драйвер загружен. Чтобы продолжить процесс запуска инсталлятора CentOS, введём «c» и нажмём Enter. После загрузки графического инсталлятора выбираем язык, который будет использоваться для программы установки. Я предпочитаю использовать предлагаемый по молчанию английский язык.
На следующем экране в разделе LOCALIZATION в DATE & TIME выберем свой часовой пояс и при необходимости откорректируем текущую дату и время. В KEYBOARD к имеющейся английской раскладке клавиатуры добавим русскую, там же можно будет проверить корректность ввода символов на разных языках и настроить желаемую комбинацию клавиш для переключения между раскладками.
Позже, после того, как нами будут настроены параметры локальной сети, вернёмся в пункт DATE & TIME и введём информацию о локальном NTP сервере. Убедимся в том, что он помечен как доступный.
В разделе SECURITY начиная с версии CentOS 7.2 нам дополнительно предлагают выбрать один из профилей безопасности системы.
Оговорка по поводу профилей безопасности из онлайн документации RedHat ( 6.10. Security Policy ):
Applying a security policy is not necessary on all systems. This screen should only be used when a specific policy is mandated by your organization rules or governemnt regulations.
Мы работаем не в пентагоне, а периметр локальной сети защищён, поэтому я предпочёл оставить данный раздел без изменений, то есть не выбирать ни какой из предложенных профилей. К тому же, до конца сути механизма профилей я так и не смог выяснить, и буду признателен любым информативным комментариям к данной заметке по этому вопросу.
В разделе SOFTWARE выберем пункт INSTALLATION SOURCE
Убедимся в том, что помимо основного источника установки ОС присутствует добавленный нами диск с драйвером Smart Array, который также будет установлен при развёртывании системы.
В разделе SOFTWARE выберем пункт SOFTWARE SELECTION и убедимся в том, что для базовой установки выбран минимальный набор ПО, так как всё, что нам потребуется для работы в дальнейшем, совершенно не сложно доустанавливать по мере необходимости.
В разделе SYSTEM перейдём в пункт INSTALLATION DESTINATION, где красуется надпись о том, что диск для установки ОС не выбран.
В списке доступных для установки дисков мы должны увидеть логический RAID-том с нашего контроллера HP Smart Array P400i. Именно для того, чтобы этот том здесь был доступен, мы предварительно и загружали модуль kmod-cciss с отдельного накопителя. Выберем этот том в качестве месторасположения устанавливаемой ОС, а также ниже выберем режим ручной разметки диска – I will configure partitioning
Если физических дисков несколько, то нужно определиться тем, какой именно из дисков будет загрузочным. Для этого можно использовать ссылку внизу экрана Full disk summary and boot loader. В нашем случае диск всего один и он уже отмечен в качестве загрузочного
После выбора диска и нажатия кнопки Done в левом верхнем углу экрана, откроется мастер разметки диска. В качестве схемы разметки по умолчанию предлагается использовать LVM. Учитывая то, что наш сервер разворачивается под конкретную задачу, то есть в качестве хоста виртуализации с хранением виртуальных машин на выделенном внешнем дисковом хранилище, вероятность того, что на системном диске нам потребуются какие-то конфигурационные изменения весьма мала, поэтому я предпочту отказаться от LVM в пользу стандартной разметки, исключив таким образом излишний слой абстракции между ОС и физическим диском, и как следствие, отказавшись от излишних накладных расходов. Выбираем схему разметки и жмём Click here to create чтобы посмотреть, что нам предложит механизм автоматического разбиения
Автоматическая разметка предлагает следующую схему разбиения диска:
В предлагаемом варианте меня смущает файловая система xfs, а также размеры разделов. Поэтому я удалю все разделы и создам их же, но уже немного в другой геометрии, при этом в качестве файловой системы всех разделов кроме swap буду использовать ext4. Размер swap выбран символический, так как предполагается, что увлекаться overcommit-ами на гипервизоре мы не будем и, уж тем более, никаких режимов suspend на нашем сервере использоваться не будет, так как мы ориентируемся на сценарий постоянной высокой производительности хоста. В любом случае, если в дальнейшем это и потребуется, под swap наверняка будет лучше поставить быстрый выделенный диск.
Справочную информацию о рекомендуемой схеме разбиения и размеров разделов можно найти в онлайн документации по RHEL ( 6.10.4.5. Рекомендуемая схема разбиения ). После завершения настройки разделов жмём Done и подтверждаем внесение изменений на диск во всплывающем окне кнопкой Accept Changes
Далее, в разделе SYSTEM перейдём в пункт KDUMP
Отключим, включённую по умолчанию опцию использования режима сбора отладочной информации по работе ядра в случаях системных ошибок, если мы конечно не планируем заниматься таким «хардкорным дебагом». 
Далее, в разделе SYSTEM перейдём в пункт NETWOKR & HOST NAME
В списке сетевых адаптеров выберем тот адаптер, который мы будем использовать для управления сервером и первым делом включим его (OFF в ON). Введём имя хоста и используем кнопку Configure, чтобы задать настройки IP
На закладке General включим опцию Automatically connect to this network when it is available, чтобы сетевой адаптер автоматически «поднимался».
На закладке IPv4 Settings зададим IP адрес сервера, маску подсети, адрес шлюза, адреса локальных DNS серверов и имя локального домена.
На вкладке IPv6 Settings выберем режим Ingnore если в сети не используется адресация IPv6.
Сохраним изменения сетевых настроек и вернувшись в главное меню настроек запустим процесс установки кнопкой Begin Installation
В начале система разметит диски согласно выбранной нами ранее конфигурации, а затем запросит ввод пароля для пользователя root
Введём пароль и его подтверждение…
Запустим финальные процедуры установки кнопкой Finish configuration
Через некоторое время система попросит перезагрузку. Жмём кнопку Reboot
В процессе перезагрузки сервера заходим в BIOS и меняем порядок загрузки таким образом, чтобы приоритет загрузки был у диска, а не у USB или CD. Также отмонтируем ISO-образы от iLO, если они были примонтированы в процессе установки. Сохраним настройки BIOS и убедимся в том, что свеже-установленная CentOS 7.2 практически молниеносно стартует и успешно запускает нас с учётной запью root.
Теперь можно подключиться к серверу по протоколу SSH (SSH сервер запущен в системе по умолчанию) и начать работать с настройкой системы.
Настройка менеджера пакетов и обновление системы
Так как наш сервер расположен в корпоративной сети использующей для выхода в интернет прокси сервер, то первым делом зададим настройки прокси для менеджера пакетов yum . Последовательно выполним команды, которые допишут значения параметров прокси в конец файла /etc/yum.conf
Попробуем установить любой пакет, например, простой текстовый редактор nano
Если пакет успешно скачался и установился, значит наши настройки прокси работают, и теперь можно приступать к обновлению системы. Но перед этим ещё один штрих для менеджера пакетов. Ограничим количество хранимых версий пакетов с 5 до 3, чтобы поменьше захламлять файловую систему в процессе последующих обновлений:
В секции [main] изменим значение параметра
Выполняем команды обновления базовой системы после установки с последующей перезагрузкой:
Для того, чтобы через прокси можно было пользоваться утилитой rpm, добавим в конец файла
/.bash_profile строку экспорта переменных со значением прокси:
Дополнительные тонкости настройки yum и rpm можно найти в документе Yum and RPM Tricks .
Устанавливаем дополнительные утилиты
Теперь подключаем к нашему CentOS серверу EPEL-репозиторий (Extra Packages for Enterprise Linux) и доустанавливаем некоторые пакеты, отсутствующие в базовой установке, которые пригодятся нам в дальнейшей работе:
Обновляем драйвер Smart Array
Проверим текущую версию модуля kmod-cciss (драйвер Smart Array)
Посмотрим информацию о текущем установленном пакете модуля с драйвером:
Добавим репозиторий ELRepo (актуальную информацию о ссылке на ключ и репозиторий можно найти на сайте ELRepo.org ). Добавим ключ репозитория утилитой rpm:
Добавим сам репозиторий:
Запросим проверку доступных обновлений во всех доступных системе репозиториях и узнаем, есть ли там обновления для используемого у нас модуля с драйвером Smart Array.
Как видим, нам доступна более новая версия модуля kmod-cciss из репозитория elrepo. Выполним обновление:
После завершения обновления перезагрузим сервер и убедимся в том, что система стартует успешно. Посмотрим информацию о текущем установленном пакете модуля с драйвером:
Отключаем IPv6
Для правильного отключения неиспользуемого у нас IPv6 воспользуемся рекомендацией из онлайн документа Questions about CentOS-7 (5. How do I disable IPv6?)
Добавим в системный конфигурационный файл /etc/sysctl.conf пару строчек:
Чтобы отключить IPv6 RPCBIND (rpcbind, rpc.mountd, prc.statd) закомментируем строки udp6 и tcp6 в файле /etc/netconfig
Для того, чтобы после отключения IPv6 в логах не было сообщений об ошибках от разных автоматически запускаемых служб, желательно подправить их конфигурационные файлы. Например конфигурационный файл почтовой программы postfix, командой в одну строку можно изменить так:
или простой правкой файла /etc/postfix/main.cf (указаны только изменяемые параметры):
После этого нужно перезапустить службу postfix:
Также можно подправить конфигурационные файлы службы синхронизации времени chronyd …
Дополнительно можно добавить строчку использования только IPv4 в файл /etc/sysconfig/chronyd :
После этого назначить правильные права на этот файл и перезапустить службу chronyd
Также можно подправить конфигурационный файл службы sshd — /etc/ssh/sshd_config (отображены только изменяемы строки файла):
Для вступления изменений в силу перезапускаем службу sshd:
После этого перезагружаем наш сервер и проверяем результат (смотрим, например, командой netstat -nap и убеждаемся в том, что IPv6 TCP/UDP-прослушивателей в системе нет). Дополнительно можно посмотреть лог /var/log/boot.log на предмет отсутствия явных ошибок, связанных с IPv6 и возникших в процессе загрузки системы.
На этом пока всё. В следующих частях мы рассмотрим процедуры поиска и установки обновлений драйверов для контроллеров сети и FC HBA.
Дополнительные источники информации: