Построение кластера - траблы с multi-pathing-ом :(

Обсуждение технических вопросов по продуктам Novell

Построение кластера - траблы с multi-pathing-ом :(

Сообщение Larico » 25 авг 2005, 12:36

Решили сделать кластер. Проверили в тестовом режиме - все работает. Общий диск располагался на iSCSI.
Сейчас начали собирать боевую систему. Дисковый ресурс расположен на массиве, доступ к которому идет по FibreChannel. Каждый сервер имеет по 2 карты FibreChannel на борту, а следовательно может добраться к массиву по 2-м путям. Но операционка не поняла что эти два пути ведут к одному и тому же физическому диску.

После разбиения диска все заработало, но после перезагрузки кластер не поднимается, т.к. сервер не монтирует пул (видит несколько пулов с одинаковым именем и не монтирует ни один из них).

:!: Короче: имеем проблему с multi-pathing-ом. То есть система не понимает что по всем возможным путям она видит один и тот же физический диск.
:?: Собственно вопрос: как это можно решить? Есть ли у нетвари встроенные средства для обеспечения multi-pathing-а?
CNA 6 Certified;
Salesperson 2004
Аватара пользователя
Larico
 
Сообщения: 974
Зарегистрирован: 13 май 2003, 13:57
Откуда: Матрице все равно .....

Сообщение Владимир Занадворов » 25 авг 2005, 13:01

Что за FC адаптер? Есть ли в startup.ncf set multi-path support = on?
--
Аватара пользователя
Владимир Занадворов
 
Сообщения: 167
Зарегистрирован: 09 фев 2005, 13:28
Откуда: Москва

Сообщение Larico » 25 авг 2005, 13:07

О! Спасибо, добавил "set multi-path support = on" и все заработало как надо!
Если честно, то я считал что эта опция по-умолчанию включена, а она оказывается выключена. Абыдна :(
Адаптеры Emulex 9802.
CNA 6 Certified;
Salesperson 2004
Аватара пользователя
Larico
 
Сообщения: 974
Зарегистрирован: 13 май 2003, 13:57
Откуда: Матрице все равно .....

Сообщение Larico » 26 авг 2005, 18:04

Ок. Первый трабл я решил - multi-path support в принципе есть.

НО!
При отказе оборудования (в данном случае FC свича) падают каналы, которые идут через этот свич. После поднятия свича каналы так и остаются в дауне.
На консоли говорю: "list failover devices". А некоторые устройства в состоянии "Down" - и не хотят подниматься. В тиде-10070244 (http://support.novell.com/cgi-bin/searc ... 070244.htm) сказано что после failover-a устройства должны подняться автоматически.
Включил функцию AEN в SCSIHD.CDM, но не помогло.

Кто-нить знает как включить failover для устройств?
CNA 6 Certified;
Salesperson 2004
Аватара пользователя
Larico
 
Сообщения: 974
Зарегистрирован: 13 май 2003, 13:57
Откуда: Матрице все равно .....

Сообщение Alex-M » 26 авг 2005, 20:13

А второй путь через другой свитч есть? И какова общая топология - свитчи соединены в фабрику или нет? Зоны настроены верно?

Сторадж и свитч какой марки?

Сторадж настроен на "порт-файловер"? ЛУН настроен на видимость на всех портах?
Вагончик тронется, НОВЕЛЛ - останется!!!
Alex-M
 
Сообщения: 298
Зарегистрирован: 21 авг 2002, 16:46
Откуда: Москва, МИД России

Сообщение Larico » 29 авг 2005, 11:44

Все пути есть. Физически подключения присутствуют и видны, фабрики как таковой нет (т.е. свичи оптикой не соединены). Зоны настроены так: Зона А = два узла кластера 1 + порты массива; Зона Б = два узла кластера 2 + порты массива.
Выглядит структура так:
Изображение
Массив Hitachi, свичи Brocade.

По поводу
Сторадж настроен на "порт-файловер"? ЛУН настроен на видимость на всех портах?
ничего не скажу, потому как не знаю как это и где.

Фишка в том, что если после обрыва одного из каналов линк переходит в сосотояние DOWN, то сам он не поднимается. Но если выполнить команду "list devices" например, то он переходит в состояние "UP" - т.е. система заново опрашивает линк и понимает, что он поднялся. Вопрос почему она не делает этого автоматически!
CNA 6 Certified;
Salesperson 2004
Аватара пользователя
Larico
 
Сообщения: 974
Зарегистрирован: 13 май 2003, 13:57
Откуда: Матрице все равно .....

Сообщение Alex-M » 29 авг 2005, 14:34

Бррр... Нихт ферштеен. Нельзя ли поподробнее, с нумерацией портов на картинке?
У Вас что, в одной зоне два HBA? :shock: И два порта массива? И ЭТО работает? :roll: Так не делают! Зоны строятся из правила "1 зона == 1 HBA". Т.е., для примера: имеем массив с двумя портами (двумя контроллерами), два свитча и сервер. Кстати, свитчи всё-таки хорошо бы соединить в фабрику - проще будет поддерживать общую конфигурацию сети. Зоним так:
Зона А: "HBA1 в сервере" + "Контроллер-1 в массиве";
Зона Б: "HBA2 в сервере" + "Контроллер-2 в массиве".
Для второго сервера в кластере всё аналогично, добавляются ещё 2 зоны с аналогичной конфигурацией.
Ели контроллеры 2-х портовые - опять-таки всё аналогично, добавляются ещё 2 зоны (на каждый сервер).

"Порт-файловер" - имеется ввиду настройка FC-топологии на массиве (обычно в разделе "SAN/LUN mapping") на тип "Multi-Port". Бывает, что по-умолчанию стоит "Multi-TID".
Бывает, что надо ещё включить на массиве "Enable Auto-Restore".
Вагончик тронется, НОВЕЛЛ - останется!!!
Alex-M
 
Сообщения: 298
Зарегистрирован: 21 авг 2002, 16:46
Откуда: Москва, МИД России

Сообщение Larico » 29 авг 2005, 14:45

По портам выглядит так:
Свитч А (например левый на рисунке):
Порт 0 - Массив контроллер 0.А
Порт 1 - Массив контроллер 1.А
Порт 2 - Кластер 1.1.А
Порт 3 - Кластер 1.2.А
Порт 4 - Кластер 2.1.А
Порт 5 - Кластер 2.2.А

Свитч Б (например левый на рисунке):
Порт 0 - Массив контроллер 0.Б
Порт 1 - Массив контроллер 1.Б
Порт 2 - Кластер 1.1.Б
Порт 3 - Кластер 1.2.Б
Порт 4 - Кластер 2.1.Б
Порт 5 - Кластер 2.2.Б

То есть в каждом узле кластера по две карты: А и Б.
В массиве два контроллера с портами А и Б на каждом.
Сделано 4 зоны:
А.1:
Порт 0 - Массив контроллер 0.А
Порт 1 - Массив контроллер 1.А
Порт 2 - Кластер 1.1.А
Порт 3 - Кластер 1.2.А

А.2:
Порт 0 - Массив контроллер 0.А
Порт 1 - Массив контроллер 1.А
Порт 4 - Кластер 2.1.А
Порт 5 - Кластер 2.2.А

Б.1
Порт 0 - Массив контроллер 0.Б
Порт 1 - Массив контроллер 1.Б
Порт 2 - Кластер 1.1.Б
Порт 3 - Кластер 1.2.Б

Б.2
Порт 0 - Массив контроллер 0.Б
Порт 1 - Массив контроллер 1.Б
Порт 4 - Кластер 2.1.Б
Порт 5 - Кластер 2.2.Б

Соответственно зоны А на коммутаторе А (левый), а зоны Б на коммутаторе Б (правый).

Я могу сделать не 4 а 8 зон - не вопрос, но мне кажется ситуация не изменится. Если это критично, то сделаю.

Что касается настроек массива, то их осуществляет инженер Hitachi. Попробую передатьему вашу информацию, пусть думает.
CNA 6 Certified;
Salesperson 2004
Аватара пользователя
Larico
 
Сообщения: 974
Зарегистрирован: 13 май 2003, 13:57
Откуда: Матрице все равно .....

Сообщение Larico » 02 сен 2005, 10:53

Ну что, коллеги - никто кроме меня и Alex-M не строил отказоустойчивые кластеры на Нетвари?
CNA 6 Certified;
Salesperson 2004
Аватара пользователя
Larico
 
Сообщения: 974
Зарегистрирован: 13 май 2003, 13:57
Откуда: Матрице все равно .....

Сообщение Ковалев Артем » 02 сен 2005, 11:49

Строить-то строил, но попроще, с одним путем для каждого сервера. Линк у меня поднимается автоматом и вроде ничего для этого не настраивал... Поэтому ничего путного не скажу.
берем картину мироздания и тупо смотрим - что к чему...
Аватара пользователя
Ковалев Артем
 
Сообщения: 924
Зарегистрирован: 29 мар 2004, 11:44
Откуда: Москва

Сообщение Larico » 02 сен 2005, 12:52

Артем, "Линк у меня поднимается автоматом" это как?
если свич (FiberChanel) перегрузить то что происходит?
CNA 6 Certified;
Salesperson 2004
Аватара пользователя
Larico
 
Сообщения: 974
Зарегистрирован: 13 май 2003, 13:57
Откуда: Матрице все равно .....

Сообщение Ковалев Артем » 05 сен 2005, 09:59

Если свитч перегрузить, то происходит "борьба за огонь" - оба сервера начинают искать екнувший массив и нашедший первым (там тайм-ауты на опросе стоят) его монтирует. Иногда после этого второй сервер становиться в позу "я его тоже нашел, но смонтировать не могу" - его приходится перегружать, но чаще он успокаивается и становиться вторым в кластере. Кластер 1.5 на NW 5.1
берем картину мироздания и тупо смотрим - что к чему...
Аватара пользователя
Ковалев Артем
 
Сообщения: 924
Зарегистрирован: 29 мар 2004, 11:44
Откуда: Москва

Сообщение Валерий Мерзляков » 05 сен 2005, 11:26

При простой схеме подключения дискового массива ( у меня на SCSI)
коммутатор выключаем - сетевые карты перестаю видеть друг друга и постоянно об этом напоминают, при включении поднимаются автоматически.
Валерий Мерзляков
 
Сообщения: 4
Зарегистрирован: 28 окт 2003, 09:38
Откуда: г.Югорск


Вернуться в Novell

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 6