Построение кластера - траблы с multi-pathing-ом :(

[Larico]

Решили сделать кластер. Проверили в тестовом режиме - все работает. Общий диск располагался на iSCSI.
Сейчас начали собирать боевую систему. Дисковый ресурс расположен на массиве, доступ к которому идет по FibreChannel. Каждый сервер имеет по 2 карты FibreChannel на борту, а следовательно может добраться к массиву по 2-м путям. Но операционка не поняла что эти два пути ведут к одному и тому же физическому диску.

После разбиения диска все заработало, но после перезагрузки кластер не поднимается, т.к. сервер не монтирует пул (видит несколько пулов с одинаковым именем и не монтирует ни один из них).

Короче: имеем проблему с multi-pathing-ом. То есть система не понимает что по всем возможным путям она видит один и тот же физический диск.
Собственно вопрос: как это можно решить? Есть ли у нетвари встроенные средства для обеспечения multi-pathing-а?

[Владимир Занадворов]

Что за FC адаптер? Есть ли в startup.ncf set multi-path support = on?

[Larico]

О! Спасибо, добавил "set multi-path support = on" и все заработало как надо!
Если честно, то я считал что эта опция по-умолчанию включена, а она оказывается выключена. Абыдна
Адаптеры Emulex 9802.

[Larico]

Ок. Первый трабл я решил - multi-path support в принципе есть.

НО!
При отказе оборудования (в данном случае FC свича) падают каналы, которые идут через этот свич. После поднятия свича каналы так и остаются в дауне.
На консоли говорю: "list failover devices". А некоторые устройства в состоянии "Down" - и не хотят подниматься. В тиде-10070244 (http://support.novell.com/cgi-bin/searc ... 070244.htm) сказано что после failover-a устройства должны подняться автоматически.
Включил функцию AEN в SCSIHD.CDM, но не помогло.

Кто-нить знает как включить failover для устройств?

[Alex-M]

А второй путь через другой свитч есть? И какова общая топология - свитчи соединены в фабрику или нет? Зоны настроены верно?

Сторадж и свитч какой марки?

Сторадж настроен на "порт-файловер"? ЛУН настроен на видимость на всех портах?

[Larico]

Все пути есть. Физически подключения присутствуют и видны, фабрики как таковой нет (т.е. свичи оптикой не соединены). Зоны настроены так: Зона А = два узла кластера 1 + порты массива; Зона Б = два узла кластера 2 + порты массива.
Выглядит структура так:

Массив Hitachi, свичи Brocade.

По поводу

Сторадж настроен на "порт-файловер"? ЛУН настроен на видимость на всех портах?

ничего не скажу, потому как не знаю как это и где.

Фишка в том, что если после обрыва одного из каналов линк переходит в сосотояние DOWN, то сам он не поднимается. Но если выполнить команду "list devices" например, то он переходит в состояние "UP" - т.е. система заново опрашивает линк и понимает, что он поднялся. Вопрос почему она не делает этого автоматически!

[Alex-M]

Бррр... Нихт ферштеен. Нельзя ли поподробнее, с нумерацией портов на картинке?
У Вас что, в одной зоне два HBA? И два порта массива? И ЭТО работает? Так не делают! Зоны строятся из правила "1 зона == 1 HBA". Т.е., для примера: имеем массив с двумя портами (двумя контроллерами), два свитча и сервер. Кстати, свитчи всё-таки хорошо бы соединить в фабрику - проще будет поддерживать общую конфигурацию сети. Зоним так:
Зона А: "HBA1 в сервере" + "Контроллер-1 в массиве";
Зона Б: "HBA2 в сервере" + "Контроллер-2 в массиве".
Для второго сервера в кластере всё аналогично, добавляются ещё 2 зоны с аналогичной конфигурацией.
Ели контроллеры 2-х портовые - опять-таки всё аналогично, добавляются ещё 2 зоны (на каждый сервер).

"Порт-файловер" - имеется ввиду настройка FC-топологии на массиве (обычно в разделе "SAN/LUN mapping") на тип "Multi-Port". Бывает, что по-умолчанию стоит "Multi-TID".
Бывает, что надо ещё включить на массиве "Enable Auto-Restore".

[Larico]

По портам выглядит так:
Свитч А (например левый на рисунке):
Порт 0 - Массив контроллер 0.А
Порт 1 - Массив контроллер 1.А
Порт 2 - Кластер 1.1.А
Порт 3 - Кластер 1.2.А
Порт 4 - Кластер 2.1.А
Порт 5 - Кластер 2.2.А

Свитч Б (например левый на рисунке):
Порт 0 - Массив контроллер 0.Б
Порт 1 - Массив контроллер 1.Б
Порт 2 - Кластер 1.1.Б
Порт 3 - Кластер 1.2.Б
Порт 4 - Кластер 2.1.Б
Порт 5 - Кластер 2.2.Б

То есть в каждом узле кластера по две карты: А и Б.
В массиве два контроллера с портами А и Б на каждом.
Сделано 4 зоны:
А.1:
Порт 0 - Массив контроллер 0.А
Порт 1 - Массив контроллер 1.А
Порт 2 - Кластер 1.1.А
Порт 3 - Кластер 1.2.А

А.2:
Порт 0 - Массив контроллер 0.А
Порт 1 - Массив контроллер 1.А
Порт 4 - Кластер 2.1.А
Порт 5 - Кластер 2.2.А

Б.1
Порт 0 - Массив контроллер 0.Б
Порт 1 - Массив контроллер 1.Б
Порт 2 - Кластер 1.1.Б
Порт 3 - Кластер 1.2.Б

Б.2
Порт 0 - Массив контроллер 0.Б
Порт 1 - Массив контроллер 1.Б
Порт 4 - Кластер 2.1.Б
Порт 5 - Кластер 2.2.Б

Соответственно зоны А на коммутаторе А (левый), а зоны Б на коммутаторе Б (правый).

Я могу сделать не 4 а 8 зон - не вопрос, но мне кажется ситуация не изменится. Если это критично, то сделаю.

Что касается настроек массива, то их осуществляет инженер Hitachi. Попробую передатьему вашу информацию, пусть думает.

[Larico]

Ну что, коллеги - никто кроме меня и Alex-M не строил отказоустойчивые кластеры на Нетвари?

[Ковалев Артем]

Строить-то строил, но попроще, с одним путем для каждого сервера. Линк у меня поднимается автоматом и вроде ничего для этого не настраивал... Поэтому ничего путного не скажу.

[Larico]

Артем, "Линк у меня поднимается автоматом" это как?
если свич (FiberChanel) перегрузить то что происходит?

[Ковалев Артем]

Если свитч перегрузить, то происходит "борьба за огонь" - оба сервера начинают искать екнувший массив и нашедший первым (там тайм-ауты на опросе стоят) его монтирует. Иногда после этого второй сервер становиться в позу "я его тоже нашел, но смонтировать не могу" - его приходится перегружать, но чаще он успокаивается и становиться вторым в кластере. Кластер 1.5 на NW 5.1

[Валерий Мерзляков]

При простой схеме подключения дискового массива ( у меня на SCSI)
коммутатор выключаем - сетевые карты перестаю видеть друг друга и постоянно об этом напоминают, при включении поднимаются автоматически.