Чудеса с транками 802.3ad - ургентли неед хелп!

Обсуждение технических вопросов по продуктам Novell

Чудеса с транками 802.3ad - ургентли неед хелп!

Сообщение Alex-M » 18 ноя 2004, 15:42

Ситуация близкая к окуриванию сервера дымом конопли...
Итак - есть два сервера ProLiant ML530G2. Под NW6.5sp2 в виде iSCSI storage server. В них - 2ГБ мозгов, SA6402/320 RAID контроллер (12 дисков по 72Г в RAID ADG) и 4 сетевухи NC6770 (это 1000SX на чипе Broadcom, драйвер Q57.LAN).
Хотелось большего - создать 802.3ad транк между этими 4-мя картами и свитч-роутером Enterasys XPedition ER-16. Создал, с использованием родного модуля QASP.LAN. ER-ку настроил (в ей стоит 8-ми портовая SX-карта - вот туда и загнал эти два транка по 4 канала каждый). Написал Qinit.NCF:
Код: Выделить всё
LOAD QASP.LAN NAME=ISCSI FRAME=ETHERNET_II VSLOT=1 MODE=802.3AD CHECKSUM=ON
LOAD BMAPI.NLM
LOAD Q57.LAN NAME=ISCSI_1 FRAME=ETHERNET_II SLOT=1 RXBUFFERS=512 TXDESCRIPTORS=512 CHECKSUM=ON RXFLOW=ON TXFLOW=ON JUMBO=9000
LOAD Q57.LAN NAME=ISCSI_2 FRAME=ETHERNET_II SLOT=2 RXBUFFERS=512 TXDESCRIPTORS=512 CHECKSUM=ON RXFLOW=ON TXFLOW=ON JUMBO=9000
LOAD Q57.LAN NAME=ISCSI_3 FRAME=ETHERNET_II SLOT=3 RXBUFFERS=512 TXDESCRIPTORS=512 CHECKSUM=ON RXFLOW=ON TXFLOW=ON JUMBO=9000
LOAD Q57.LAN NAME=ISCSI_4 FRAME=ETHERNET_II SLOT=4 RXBUFFERS=512 TXDESCRIPTORS=512 CHECKSUM=ON RXFLOW=ON TXFLOW=ON JUMBO=9000
BIND QASP1 TO ISCSI_1
BIND QASP1 TO ISCSI_2
BIND QASP1 TO ISCSI_3
BIND QASP1 TO ISCSI_4
BIND IP TO ISCSI ARP=YES ADDRESS=192.168.152.10 MASK=255.255.255.0 BCAST=192.168.152.255


Предвидя вопросы, сразу скажу - Jumbo на ER-ке включил, вот кусок ейного конфига (кто слегка имел дело с кошками поймёт - язык похож):
Код: Выделить всё
smarttrunk create st.2 protocol lacp
smarttrunk create st.3 protocol lacp
!
smarttrunk set load-policy round-robin on st.2
smarttrunk lacp actor-parameters port gi.13.1 enable port-key 20 activity active aggregation aggregatable timeout long
smarttrunk lacp actor-parameters port gi.13.2 enable port-key 20 activity active aggregation aggregatable timeout long
smarttrunk lacp actor-parameters port gi.13.3 enable port-key 20 activity active aggregation aggregatable timeout long
smarttrunk lacp actor-parameters port gi.13.4 enable port-key 20 activity active aggregation aggregatable timeout long
smarttrunk lacp aggregator st.2 port-type Gigabit-Ethernet actor-key 20
!
smarttrunk set load-policy round-robin on st.3
smarttrunk lacp actor-parameters port gi.13.5 enable port-key 10 activity active aggregation aggregatable timeout long
smarttrunk lacp actor-parameters port gi.13.6 enable port-key 10 activity active aggregation aggregatable timeout long
smarttrunk lacp actor-parameters port gi.13.7 enable port-key 10 activity active aggregation aggregatable timeout long
smarttrunk lacp actor-parameters port gi.13.8 enable port-key 10 activity active aggregation aggregatable timeout long
smarttrunk lacp aggregator st.3 port-type Gigabit-Ethernet actor-key 10
!
port set gi.12.(1-8) auto-negotiation-flowctl both mtu 65442
port set gi.13.(1-8) auto-negotiation-flowctl both auto-negotiation on mtu 65442
!
vlan create SAN port-based id 5
vlan create SAN-DMZ port-based id 6
!
vlan add ports gi.12.1 to SAN-DMZ
vlan add ports gi.12.2 to SAN-DMZ
vlan add ports gi.12.3 to SAN-DMZ
vlan add ports gi.12.4 to SAN-DMZ
vlan add ports gi.12.5 to SAN-DMZ
vlan add ports st.2 to SAN-DMZ
!
vlan add ports gi.12.6 to SAN
vlan add ports gi.12.7 to SAN
vlan add ports gi.12.8 to SAN
vlan add ports st.3 to SAN
!
pvst create spanningtree vlan_name SAN-DMZ
pvst create spanningtree vlan_name SAN
!
pvst set bridging spanning-tree SAN-DMZ priority 0
pvst set bridging spanning-tree SAN priority 0
!
pvst set port gi.12.1 edge-port True point-to-point ForceFalse spanning-tree SAN-DMZ
pvst set port gi.12.2 edge-port True point-to-point ForceFalse spanning-tree SAN-DMZ
pvst set port gi.12.3 edge-port True point-to-point ForceFalse spanning-tree SAN-DMZ
pvst set port gi.12.4 edge-port True point-to-point ForceFalse spanning-tree SAN-DMZ
pvst set port gi.12.5 edge-port True point-to-point ForceFalse spanning-tree SAN-DMZ
pvst set port st.2 edge-port True point-to-point ForceFalse spanning-tree SAN-DMZ
!
pvst set port gi.12.6 edge-port True point-to-point ForceFalse spanning-tree SAN
pvst set port gi.12.7 edge-port True point-to-point ForceFalse spanning-tree SAN
pvst set port gi.12.8 edge-port True point-to-point ForceFalse spanning-tree SAN
pvst set port st.3 edge-port True point-to-point ForceFalse spanning-tree SAN
!
pvst enable port gi.12.1 spanning-tree SAN-DMZ
pvst enable port gi.12.2 spanning-tree SAN-DMZ
pvst enable port gi.12.3 spanning-tree SAN-DMZ
pvst enable port gi.12.4 spanning-tree SAN-DMZ
pvst enable port gi.12.5 spanning-tree SAN-DMZ
pvst enable port st.2 spanning-tree SAN-DMZ
!
pvst enable port gi.12.6 spanning-tree SAN
pvst enable port gi.12.7 spanning-tree SAN
pvst enable port gi.12.8 spanning-tree SAN
pvst enable port st.3 spanning-tree SAN

Два сторадж-сервера воткнуты в gi.13.* (там, где транк. Это 8-ми портовый 1000SX модуль). Сервера-клиенты воткнуты в gi.12.* (Это 8-ми портовый 1000T модуль).

Теперь сама ситуация. Загружаю Qinit ручками - всё прекрасно. Транк работает со свистом. Прописываю Qinit в Autoexec.ncf, перезагружаю сервер. Транк поднимается, НО! Ничго не пингуется. То-есть совсем.
Выгружаю модули, снова запускаю Qinit ручками - всё работает!
Перепробовал всё - место в Autoexec-е, перенос команд из Qinit в сам Autoexec, задержки - ничего не помогает.
Дополнительно обнаружил, что, если второй сервер выключить совсем и все экспрэменты производить с одним - вероятность автоподнятия транка повышается до 60-70% (но опять же - далеко не 100%).

Может кто наведёт меня на путь прозрения? Всю траву скурил, ничего не помогает...
Мысли:
- проблемы с autonegotitation speed/duplex;
- проблемы с последовательностью загрузки/инициализации модулей, а может и со скоростью инициализации;
- иное что-то?
Вагончик тронется, НОВЕЛЛ - останется!!!
Alex-M
 
Сообщения: 298
Зарегистрирован: 21 авг 2002, 16:46
Откуда: Москва, МИД России

Сообщение Влад А.Сокол aka Akina » 18 ноя 2004, 19:38

А может тупо попробовать ввести временнУю задержечку промеж команд? секунды так по 2-3...
Влад А.Сокол aka Akina
 
Сообщения: 1326
Зарегистрирован: 05 июн 2002, 09:24
Откуда: Зеленоград, Москва, Россия

Сообщение Alex-M » 18 ноя 2004, 21:02

Пробовал - и между командами (по 5 и по 10 сек) и перед началом всего Qinit-а (вплоть до 40 сек) - не помогает...
Я ж говорю - если грузить Qinit ручками - всё встаёт сразу и влёт. Безо всяких задержек. Если через autoexec - ни в дугу...

Чем вообще различается загрузка из autoexec-а и ручками, после полной загрузки сервера?
Вагончик тронется, НОВЕЛЛ - останется!!!
Alex-M
 
Сообщения: 298
Зарегистрирован: 21 авг 2002, 16:46
Откуда: Москва, МИД России

Re: Чудеса с транками 802.3ad - ургентли неед хелп!

Сообщение Vladimir Kozak » 19 ноя 2004, 14:36

Alex-M писал(а):Мысли:
- проблемы с autonegotitation speed/duplex;


Первое, что я бы сделал :anim-jjd:
Аватара пользователя
Vladimir Kozak
 
Сообщения: 762
Зарегистрирован: 30 янв 2003, 15:13

Сообщение Alex-M » 19 ноя 2004, 17:53

И это попробовал. Не помогает.
Кстати, на свитче реально ручками выставить 1000FD практисськи невозможно. Только отключить autonegotiation и принудительно поставить flowcontrol в Sym/Asym.
Тоже самое и на карте, отдельно 1000FD не ставится - только с указанием link=force (что эквивалентно отключению autoneg. на свитче).
Вагончик тронется, НОВЕЛЛ - останется!!!
Alex-M
 
Сообщения: 298
Зарегистрирован: 21 авг 2002, 16:46
Откуда: Москва, МИД России

Сообщение Владимир Семиколенных » 20 ноя 2004, 14:06

А через inetcfg?
В.
Владимир Семиколенных
 
Сообщения: 174
Зарегистрирован: 10 июн 2002, 16:03
Откуда: Мурманск

Сообщение biruk » 22 ноя 2004, 12:57

а вот еще...
ты уверен что порты на коммутаторе включаются раньше чем нетварь пытается инициалировать стек?

спаннинг-три может внести задержку до 50 секунд.
может его отключить на этих портах?
biruk
 
Сообщения: 111
Зарегистрирован: 21 янв 2004, 14:20

Сообщение Alex-M » 22 ноя 2004, 15:41

Через Inetcfg не получится, ибо она не знает драйвера QASP. :-)

Порты на свитче поднимаются быстро, т.к. я ему указал, что они - edge-ports (в терминологии RSTP), т.е. через них конфигурация дерева STP не распространяется.
Но тем не менее, я пробовал вносить задержку аж до 40-60 секунд и помещать qinit в самый конец autoexec-а. Но это не помогло...
Вагончик тронется, НОВЕЛЛ - останется!!!
Alex-M
 
Сообщения: 298
Зарегистрирован: 21 авг 2002, 16:46
Откуда: Москва, МИД России

Сообщение alexp_mac » 22 ноя 2004, 17:57

А filtcfg т.е. фильтры выключены?
alexp_mac
 
Сообщения: 788
Зарегистрирован: 28 июн 2002, 10:50

Сообщение Alex-M » 22 ноя 2004, 22:05

А як же!... Естессно никаких фильтров!

Дополнительно заметил: если в таком состоянии (транк поднят, но пинги не ходят) перевтыкнуть оптику в свитч (вынуть разъём и снова воткнуть, все 4 канала по очереди) - всё начинает замечательно пинговаться! Шиза какая-то! :shock:
Такое ощущение, что два транка по 4 гигабита в одном 8-ми портовом модуле - великая проблема для данной версии софта ER-ки... Но чем вызвано - совершенно неясно.

ЗЫ - у нас была похожая проблема при стыковке ER-16 с некоторыми Matrix E-1 (1H589-54, 48x10/100TX + 3 слота под модули: 16x10/100TX или 2xGBIC) и VerticalHorizon VH2402SM (24x10/100TX + 2 слота под модули 2x100FX или 1xGBIC). Но без транкования - чисто по гигабиту.
Тоже при горячей перезагрузке Матрикса и Горизона они теряли связь, несмотря на наличие линка на соответствующем оптическом порту. Лечилось только холодной перезагрузкой железок или аналогичным выниманием/всовыванием оптики из/в порта ER-16.
Исчезло как-то само собой после очередного обновления софта на них и на ER-ке. Осталась проблема только с 1G694-13 (такой distribution device, с 8-ю fixed 1000-SX MTRJ, 4 1000-X SFP и слотом под 10Gbase-SR карту.). Проблема, надо сказать, почти обратная :-) - после вынимания-втыкания оптики линк не поднимается, горит жёлтым. Решение - пока только перезагрузка железки или !!!быстрое!!! (не более 2-3 сек. пауза) передёргивание оптики... :roll:

"Всё чудесатее и чудесатее..." (с) "Алиса в стране чудес". :-)
Вагончик тронется, НОВЕЛЛ - останется!!!
Alex-M
 
Сообщения: 298
Зарегистрирован: 21 авг 2002, 16:46
Откуда: Москва, МИД России


Вернуться в Novell

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 58

cron