proNovell

Появилась недавно такая вот проблемка.
Есть площадка одной компании. На площадке имеется большое количество серверов Sun и несколько внешних массивов, hitachi и hp. Между ними - FibreChannel. Все это прекрасно работает. Также имеем несколько серверов x86, на которых крутиться NetWare 5/6. У них свои локальные диски. Задачи у Sun и x86, естественно, разные. Теперь передо мной возникла следующая задачка. Пришел еще один сервер, пролиант, который также будет работать с NetWare. Только вот к нему также требуется подключить и внешний массив, который до этого эксплуатировался только санами. Зоннинг на брокейдах я выстроил как надо, луны на массиве для нового сервера нарезал. Дело за малым - заставить работать на NetWare Emulex-HBA. В сервер будет установлено два таких контроллера, соответственно, с линками к двум брокейдам и значит к двум массивам. Однако, если в соларисе это для меня труда никакого не составляет, то как делать это на нетвари представляю очень и очень смутно. Можно сказать никак
Сталкивался ли кто-нибудь с этим? Вроде бы Emulex заверяет, что поддержка NetWare есть, но насколько она хороша на практике? Стабильна, безглючна? Какое ПО существует для работы с ними? Буду очень благодарен, если хотя бы ткнете, в какую сторону смотреть Emulex предоставляет определенную, весьма скупую, документацию. Хотелось бы услышать практический опыт - например, подводные камни, коли таковые встречались.

Я недавно настраивал нечто подобное.

Нужно было установить NetWare 5.1 на сервер IBM xSeries 346 таким образом, чтобы загружался он со своих локальных дисков (два SCSI-диска в аппаратном зеркале, сделанном с помощью интегрированого RAID-контроллера ServeRAID-7k), но данные держал бы на внешней дисковой тумбе IBM DS6000, на которой также хранятся данные и других систем (не NetWare). Доступ к тумбе - по оптике, параллельно (для пущей отказоустойчивости) через два оптических свитча; для этого в сервер вставлено два адаптера IBM FASsT FC2-133 (P/N: 24P0960), которые фактически являются OEM QLogic QLA2340.

Реально оказалось всё не так страшно, работает пока что (тьфу, тьфу!) устойчиво. Отмечу следующее:

• Немного запутанно получилось с информацией на сайте IBM, т.к. прямой поиск драйверов для FASsT FC2-133 давал лишь сертифицированное под NetWare 6.5 (а мне надо было под 5.1), да к тому же для пользования этими драйверами требовалась прошивка firmware, которая на сайте IBM отсутствовала. Потом наткнулся, наконец, на информацию о том, что реально это - QLogic (со ссылкой на их сайт), и там нашёл необходимое: прошивку версии 1.47 и драйвера QL2300.HAM версии 6.80h. С ними и работаем.
• Для использования дублированного физического пути от сервера до данных (через разные адаптеры и свитчи) используется IBM-овская утилита Subsystem Device Driver (SDD) версии 1.60g (это уже взято с сайта IBM). Она, будучи загруженной после драйверов QL2300, представляет устройства (физически - один раздел на дисковом массиве), лоступные через разные пути, в виде одного логического устройства (на котором уже потом средствами операционки делается дисковый раздел и тома).
• Реально сейчас всё это в файле STARTUP.NCF выглядит так:

  SET MULTI-PATH SUPPORT = OFF
  LOAD ACPIDRV.PSM
  ######## End PSM Drivers ########
  LOAD IDECD.CDM
  ######## End CDM Drivers ########
  LOAD IDEATA.HAM SLOT=10013
  LOAD IPSRAID.HAM SLOT=10022
  LOAD QL2300.HAM SLOT=3 /LUNS /ALLPATH /PORTNAMES
  LOAD QL2300.HAM SLOT=4 /LUNS /ALLPATH /PORTNAMES
  ######## End HAM Drivers ########
  LOAD SCSIHD.CDM
  LOAD SDD.CDM

• Настраивал всё в соответствии с описанием, идущим вместе с SDD. Проверял методом выдёргивания кабелей из оптосвитча - работает. Не всегда, правда, потом автоматом назад переключается. Как я понял, там надо было подождать какого-то тайм-аута (мне было просто лень), я выдавал команду с консоли.

Александр Читалкин писал(а):Однако, если в соларисе это для меня труда никакого не составляет, то как делать это на нетвари представляю очень и очень смутно. Можно сказать никак

По-моему проще, чем в NetWare - дальше некуда.

set Multi-Path Support = on
LOAD QL2200.HAM SLOT=2 /LUNS /ALLPATHS /CONSOLE /QUALIFIED
LOAD QL2200.HAM SLOT=3 /LUNS /ALLPATHS /CONSOLE /QUALIFIED

И еще приоритеты путей настроить. Делов на 5 минут.

MM Set Failover Priority <pathid> = <number> </insert>

Ну, сначала - спасибо всем ответившим.

По поводу проще - ну это-то верно, по объему производимых действий. Хотелось просто понять логику. В солярке, вы правы, процесс более сложный. Приблизительно такой (когда дрова HBA _уже загружены_):
1. Смотрим 'luxadm - e port' состояние наших портов FC.
2. Если фабрики настроены, и соединение с массивом есть, инициализируем HBA - 'luxadm -e forcelip /dev/.....'
3. Потом делаем ресурсы, подключенные к HBA, доступными солярке. Допустим, так 'cfgadm c2 -c configure'.
4. Даем vxdctl enable Веритасу.
5. Если vxdisk видит массив, дальше дело техники - создаем дисковую группу, пихаем в нее сабдиски, создаем тома и файловые системы на них. Добавлем маунты в vfstab и работаем. При создании томов vxassist сам все разобьет по плексам, в зависимости от запрашиваемого размера тома, и определит, что сделать страйпом, что конкатом (если лень все делать вручную).

Логика в нетвари:
1. Загружаем драйверы...
и... что мы имеем? Сразу все луны, и уже проинициализированные и настроенные диски, готовые к созданию на них ФС? Т.е, грубо говоря, на них можно сразу же разворачивать NSS, как только ОС успешно загрузилась? В соларисе, например, веритас не работает правильно с путями к хитачам, если на него не установлен адд-он, ибо них несколько необычная схема работы DMP.

P.S. Погуглив, обнаружил, что очень много проблем в NW возникает вот с этим ключем: set Multi-Path Support = on. В большинстве случаев его ставят в off и используют сторонние инструменты для организации DMP - например, насколько я понял, SDD у Константина. Причем, SCSIHD грузят _раньше_ драйверов. Вот эта фишка уже напоминает какой-то бубен...

Александр Читалкин писал(а):P.S. Погуглив, обнаружил, что очень много проблем в NW возникает вот с этим ключем: set Multi-Path Support = on. В большинстве случаев его ставят в off и используют сторонние инструменты для организации DMP - например, насколько я понял, SDD у Константина. Причем, SCSIHD грузят _раньше_ драйверов. Вот эта фишка уже напоминает какой-то бубен...

Ну почему бубен? Так, бубенчик, в отличие от других систем

Я долго пытался найти пример когда-то. Надо было всего-то внешний диск подключить, а из наворотов - два пути. Были глюки всякие только от неправильной настройки(недонастройки) стораджа А примеры всякие - ну такие пальцатые, ну такие санищи, ну такие кластернутые... Все просто - сказихд, мультипас он, карточки, приоритеты... не мог поверить глазам. Потом так и сказал админу линукса - вот за такие ос и хотелось бы платить деньги. А с включенным мультипас кто-то из знакомых поймал глюк, было дело - побаловался с аналогичной фигней, снес, а мультипас забыл выключить и поймал глюки.

Александр Читалкин писал(а):Логика в нетвари:
1. Загружаем драйверы...
и... что мы имеем? Сразу все луны, и уже проинициализированные и настроенные диски, готовые к созданию на них ФС? Т.е, грубо говоря, на них можно сразу же разворачивать NSS, как только ОС успешно загрузилась?
[...]
P.S. Погуглив, обнаружил, что очень много проблем в NW возникает вот с этим ключем: set Multi-Path Support = on. В большинстве случаев его ставят в off и используют сторонние инструменты для организации DMP - например, насколько я понял, SDD у Константина. Причем, SCSIHD грузят _раньше_ драйверов. Вот эта фишка уже напоминает какой-то бубен...

Ну, собственно, примерно так и есть. Насколько я понял, какие-то возможности по разбирательству с multipath-ингом есть и у самой операционки, но у нас для этого используется SDD. Почему? Наверное, потому что так рекомендуется IBM-ом, оборудование которого у нас используется. К тому же этот SDD у них есть для самых разных платформ - IBM AIX, HP-UX, Linux, NetWare, SUN Solaris, MS Windows разных версий... И, как я уже говорил, некоторые из этих платформ у нас используются в сочетании с этой же дисковой тумбой - и на всех применяется именно SDD.

Что мы имеем после загрузки драйверов? Видим в качестве физических дисков (подключенных через соответствующие адаптеры) те области дисковой тумбы, которые на ней отведены для использования данной системой. Причём, при set Multi-Path Support = ON видим их один раз, а при OFF - дважды (через каждый адаптер по разу). Но после загрузки SDD они "магическим образом" становятся видны якобы лишь через один адаптер, как будто бы ко второму ничего не подключено (когда смотришь через MONITOR или командой LIST STORAGE ADAPTERS). Тем не менее, всё работает, даже если выдернуть провод, идущий из этого адаптера. На консоли при этом честно пишется, что происходит. Вот несколько цитат из документации на SDD. Раздел "Overview of SDD":

SDD is a software solution to support the multipath configuration environments in supported storage devices. It resides in a host system with the native disk device driver and provides the following functions:

• Enhanced data availability
• Dynamic input/output (I/O) load balancing across multiple paths
• Automatic path failover protection
• Concurrent download of licensed machine code

Table 6 shows the position of SDD in the protocol stack. I/O operations that are sent to SDD proceed to the host disk driver after path selection. When an active path experiences a failure (such as a cable or controller failure), SDD switches to another path dynamically.
[...]
Each SDD vpath device represents a unique physical device on the storage server. Each physical device is presented to the operating system as an operating system disk device. There can be up to 32 operating system disk devices that represent up to 32 different paths to the same physical device.

Раздел "Using SDD on a NetWare host system":

Features SDD provides the following functions:

• Automatic path detection, failover and selection
• Manual operations (datapath command)
• Path selection algorithms
• Dynamic load balancing
• Disk storage system logical unit detection
• Error reporting and logging
• SDD in NetWare-layered architecture

Я не знаю, поддерживает ли NetWare своими средствами load-balancing при наличии multi-pathing-а, но SDD - точно поддерживает (правда, в доке честно пишется, что из всех path-selection policy algorithms при load-balancing-е пока что реализован единственный - round robin).
Да, забыл - SCSIHD я специально не грузил, строчку для его загрузки в STARTUP добавил инсталлятор SDD (вместе с загрузкой самого SDD) - видимо, зачем-то оно ему надо.

Ситуация с массивами IBM примерно ясна, а про сочетание Hitachi и NetWare кто-нибудь может оставить отзывы? А то у меня пока руки не дошли.

Andrey Karyagin писал(а):Ситуация с массивами IBM примерно ясна, а про сочетание Hitachi и NetWare кто-нибудь может оставить отзывы? А то у меня пока руки не дошли.

Попробовал таки замутить именно данную конструкцию (у меня один из массивов - хитачи). Вобщем-то, проблем пока не возникло. Мудрствовать не стал, просто загрузил lpfc.ham topology=2 /lun max_lun=255 и увидел все луны.

Есть еще такой TID10070244, старый правда, но там написано:

Adapter multi-path support for NetWare 5.1 Support Pack 4 and NetWare 6.0 Support Pack 1 is included in the MM.NLM and NWPA.NLM. In NetWare 5.1, the functionality is not enabled by default, whereas in NetWare 6.0 SP1 it is enabled by default. It will not be enabled by default in NetWare 6.0 SP2. This feature gives generic support, with the capability of allowing vendors to add more specific support by writing an Enhancer CDM for NWPA. This requires no special .HAM drivers or .CDM drivers.
Most of this work is done in the MM.NLM, with a generic enhancer built into NWPA.NLM. The Media Manager (MM.NLM), when enabled, automatically checks for duplicate paths to devices and matches them into 1 logical device. All the original devices are retyped to FAILOVER DEVICES, which are hidden from the file systems. The drivers see the FAILOVER DEVICES just as they did previously.
..........
Set Multi-path Support = On (Off)
This command turns on or off Multi-Path support. In NetWare 6.0 SP1, it is on by default. In NetWare 5.1 SP4, and NetWare 6.0 SP2 it is off by default.
..........
As a path fails, it is automatically marked as a Down (offline) path, and the next highest priority path is automatically selected. When the device is reactivated, the state will automatically be reset to an Up (online) state if the driver is AEN (Asynchronous Event Notification) aware, and again the highest priority path will be selected.

Т.е., я так понимаю, эта фишка должна быть активвирована (командочкой Set Multi-path Support = On) _после_ того, как система увидела устройства, т.е., загружен HBA драйвер?