Кто виноват: Novell, Cisco, Intel? Или все сразу?

Обсуждение технических вопросов по продуктам Novell

Кто виноват: Novell, Cisco, Intel? Или все сразу?

Сообщение Сергей Дубров » 31 май 2003, 16:41

Использую на NW5.1+sp5 сгруппированный Ethernet-канал в режиме FEC (Fast Ethernet Channel). На Cisco Catalyst XL3512 два порта объединены в FEC-группу, на них руками выставлено 100 mbit, full duplex, portfast enable. На интеловском сервере SHG2 два встроенных Ethernet-а - 100 mbit и 1Gbit - также собраны с помощью iANS в FEC-группу, гигабитный Ethernet переведен в режим 100mbit. Как-то я уже приводил здесь свою конфигурацию, можно найти, если интересно.

Теперь о проблеме - при загрузке сервера или при перезагрузке драйверов сетевых карт с очень большой вероятностью группа НЕ работает. Иногда помогает многократная выгрузка-загрузка драйверов, иногда - полная перезагрузка сервера, иногда - "разбивание" группы на catalyst-е с последующим её пересозданием. Симптомы неработы всегда одни и те же - у гигабитного ethernet-а (он выставлен как primary) растёт счётчик передаваемых пакетов, но в счётчике принятых пакетов - ноль.

Перепробовано следущее - перепрошиты BIOS материнской платы (три или четыре версии), использовалось три версии сетевых драйверов от Intel, включая последние, от марта с.г. Прошивка у каталист - от июня 2002 (последняя официальная на сегодня). Пробовал менять местами primary-secondary в группе, выставлял на каталисте всё в автоопределение (скорость, дуплекс, убирал portfast). Ничего не помогает. Обнаружен на сегодня единственный рецепт, дающий стопроцентно работающую группу - если при старте сервера (или перезагрузке сетевых драйверов) физически выдернуть коннектор у гигабитного Ethernet-а, а потом, после загрузки, воткнуть обратно - всё будет работать долго и счастливо. Если кабель не выдёргивать - вероятность успешной загрузки ~10%.

Никто с таким не сталкивался? Есть подозрение на всех трёх участников процесса, перечисленных в теме, под наибольшим подозрением - Cisco, но точно утверждать не могу, мог и Intel чего-нибудь начудить.
Аватара пользователя
Сергей Дубров
 
Сообщения: 2096
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Сообщение Михаил Григорьев » 01 июн 2003, 09:34

Сергей какие стоят сетевухи??? (Производитель, тип...)
Аватара пользователя
Михаил Григорьев
 
Сообщения: 1462
Зарегистрирован: 04 июн 2002, 12:22
Откуда: Челябинск

Набортные...

Сообщение Сергей Дубров » 01 июн 2003, 13:24

Григорьев Михаил писал(а):Сергей какие стоят сетевухи??? (Производитель, тип...)

MB - Intel SHG2, соответственно, обе сетевушки - набортные: Intel® PRO/100+ Server Network Connection (Intel® 82550PM) и Intel® PRO/1000 XT Network Connection (Intel® 82544GC).
Аватара пользователя
Сергей Дубров
 
Сообщения: 2096
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Сообщение Андрей Тр. aka RH » 01 июн 2003, 14:29

А как именно к ним биндятся протокол(ы) ? Строчки с LOAD с BIND можно ?
Аватара пользователя
Андрей Тр. aka RH
 
Сообщения: 3937
Зарегистрирован: 18 июн 2002, 11:27

По рекомендациям лучших собаководов...

Сообщение Сергей Дубров » 01 июн 2003, 15:19

Андрей Тр. aka RH писал(а):А как именно к ним биндятся протокол(ы) ? Строчки с LOAD с BIND можно ?


Всё сделано, как Intel учит, в файле с примером номер 7, кажется, подобная конфигурация описана:

LOAD CE1000.LAN SLOT=10011 FRAME=ETHERNET_II NAME=GII SPEED=100 FORCEDUPLEX=2
LOAD CE100B32.LAN SLOT=10005 FRAME=ETHERNET_II NAME=FII SPEED=100 FORCEDUPLEX=2

LOAD iANS SMPMODE=SMP FRAME=ETHERNET_II NAME=FEC TEAM=1

BIND iANS GII TEAM=1 PRIMARY
BIND iANS FII TEAM=1

LOAD iANS COMMIT MODE=FEC TEAM=1 DELAY=5

BIND IPX FEC NET=1
BIND IP FEC ADDR=*.*.*.* MASK=255.255.248.0 GATE=*.*.*.254

Вместо CE100B32.LAN пробовался CE100B.LAN - никакой разницы не заметил. Вставлялись задержки перед загрузкой каждого из модулей, секунд до 30-40 - тоже самое, не помогало.
Аватара пользователя
Сергей Дубров
 
Сообщения: 2096
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Сообщение Андрей Тр. aka RH » 01 июн 2003, 18:03

Да я понимаю, что вы сайт Интела изучили уже вдоль и поперек ( в т.ч. http://www.intel.com/support/network/ad ... eaming.htm - там в конце любопытное замечание про смешанные адаптеры, но лишь для NT4 - и http://support.intel.com/support/networ ... probes.htm ).

Кстати, а если на СЕ1000 попробовать выставить авто ? ( аналогично на соотв. порту Каталиста ) Не уверен, какой 802.3ad используется в данной конфигурации - static или dynamic. :?
Аватара пользователя
Андрей Тр. aka RH
 
Сообщения: 3937
Зарегистрирован: 18 июн 2002, 11:27

Сообщение Сергей Дубров » 01 июн 2003, 19:25

Андрей Тр. aka RH писал(а):Да я понимаю, что вы сайт Интела изучили уже вдоль и поперек ( в т.ч. http://www.intel.com/support/network/ad ... eaming.htm - там в конце любопытное замечание про смешанные адаптеры, но лишь для NT4 -

Это я видел. На сайте у M$ тоже было что-то на эту тему, но это действительно касается только NT4, уже на 2000-х этой проблемы нет. А для NW ничего подобного даже не упоминается. Есть неплохая подборка на эту тему у Dell-а на сайте: Set Up Adapter Teaming

Андрей Тр. aka RH писал(а): и http://support.intel.com/support/networ ... probes.htm ).

Это не мой случай, probe в FEC-моде не используются, только в AFT и ALB. Есть важное замечание, кстати:

NOTE: FEC teaming requires that the switch be set up for FEC teaming and that spanning tree protocol is turned off.

Завтра попробовать надо будет, сразу в голову не пришло spanning tree полностью выключить. Portfast - это полумера, укороченный spanning tree всего лишь.

Андрей Тр. aka RH писал(а): Кстати, а если на СЕ1000 попробовать выставить авто ? ( аналогично на соотв. порту Каталиста )

Пробовал. Я вообще поначалу с минимальными параметрами все драйверы грузил, вручную, без всяких там speed= и forceduplex=, с авто по умолчанию.

Андрей Тр. aka RH писал(а): Не уверен, какой 802.3ad используется в данной конфигурации - static или dynamic. :?

Там static, это более распространённая вещь, dynamic всё ещё экзотика.
Аватара пользователя
Сергей Дубров
 
Сообщения: 2096
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

может и не в тему

Сообщение Forestman » 01 июн 2003, 19:53

А ты BASP не пытался использовать?
Лесовой Роман
г.Нижневартовск
Forestman
 
Сообщения: 77
Зарегистрирован: 05 июн 2002, 18:38
Откуда: Нижневартовск

Re: может и не в тему

Сообщение Сергей Дубров » 02 июн 2003, 13:18

Forestman писал(а):А ты BASP не пытался использовать?

Попробовал:

LOAD BASP.LAN FRAME=ETHERNET_II NAME=BASP_II VSLOT=1 MODE=TRUNK

LOAD ODINEB.NLM
LOAD CE1000.LAN SLOT=10011 FRAME=ETHERNET_II NAME=GII SPEED=100 FORCEDUPLEX=2
LOAD CE100B32.LAN SLOT=10005 FRAME=ETHERNET_II NAME=FII SPEED=100 FORCEDUPLEX=2

BASP BIND BASP_II GII
BASP BIND BASP_II FII

BIND IPX BASP_II NET=1
BIND IP BASP_II ADDR=*.*.*.* MASK=255.255.248.0 GATE=*.*.*.254


К сожалению, не помогло, симптомы те же - с большой вероятностью после загрузке драйверов у гигабитного ethernet-а не растёт счётчик принятых пакетов, только - передаваемых, соответственно, группа не работает. И точно также стопроцентно помогает загрузка с выдернутым из гигабитного интерфейса кабелем. Похоже, IANS и BASP оба работают нормально, проблема в драйвере гигабитного ethernet-а, который при старте в режиме 100 мбит/fullduplex не всегда корректно договаривается с каталистой. Пробовал всё перевести на auto, на жёсткое задание скорости/дуплекса и с одной стороны (и у сервера и у коммутатора), и с обеих - один чёрт, хочет - работает, хочет - нет. Если что - кабели тоже менял, для начала перебрасывал между стамегабитным и гигабитным интерфейсами. Отключение spanning tree тоже не помогло.

Добавление:

Чёрт, как же мне в голову не пришло это сразу проверить? "Разваливаю" группу на каталисте, гружу только драйвер CE1000.LAN - и имею ровно ту же самую проблему - счётчик принятых пакетов не растёт. Загрузка драйвера с выдернутым кабелем - всё "хорошо". Значит точно, проблема сидит в инициализации соединения гигабитного ethernet-а, когда он подключается к стомегабитному порту на каталисте. Завтра извлеку из закромов BayStack-450, буду на нём тренироваться, чтобы исключить одного из главных подозреваемых - Cisco :lol: .
Аватара пользователя
Сергей Дубров
 
Сообщения: 2096
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Сообщение Михаил Григорьев » 02 июн 2003, 14:07

А двух то 100Mbit портов не хватает??? Может третий и не нужен??? Или это критично??
Аватара пользователя
Михаил Григорьев
 
Сообщения: 1462
Зарегистрирован: 04 июн 2002, 12:22
Откуда: Челябинск

Сообщение Сергей Дубров » 02 июн 2003, 15:04

Григорьев Михаил писал(а):А двух то 100Mbit портов не хватает??? Может третий и не нужен??? Или это критично??

Третьего интерфейса нет, есть два набортных - 100 и 1000. Гигабит медный воткнуть пока некуда, вот и решили их запараллелить в режиме два по сто. Появится гигабит на меди - группа будет не нужна, на одном гигабитном адаптере жить будем.
Аватара пользователя
Сергей Дубров
 
Сообщения: 2096
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Сообщение Михаил Григорьев » 02 июн 2003, 15:49

Сергей Дубров писал(а):
Григорьев Михаил писал(а):А двух то 100Mbit портов не хватает??? Может третий и не нужен??? Или это критично??

Третьего интерфейса нет, есть два набортных - 100 и 1000. Гигабит медный воткнуть пока некуда, вот и решили их запараллелить в режиме два по сто. Появится гигабит на меди - группа будет не нужна, на одном гигабитном адаптере жить будем.


Да точно... я ошибся..
Тогда чем не устраивает гигабит??? У меня гигабит на меди стоит и все воркет... Вот не знаю в Сatalyst XL3512 есть гигабит или нет... в Catalyst 3500 XL точно есть
Аватара пользователя
Михаил Григорьев
 
Сообщения: 1462
Зарегистрирован: 04 июн 2002, 12:22
Откуда: Челябинск

Сообщение Сергей Дубров » 03 июн 2003, 07:07

Григорьев Михаил писал(а):
Сергей Дубров писал(а):
Григорьев Михаил писал(а):А двух то 100Mbit портов не хватает??? Может третий и не нужен??? Или это критично??

Третьего интерфейса нет, есть два набортных - 100 и 1000. Гигабит медный воткнуть пока некуда, вот и решили их запараллелить в режиме два по сто. Появится гигабит на меди - группа будет не нужна, на одном гигабитном адаптере жить будем.


Да точно... я ошибся..
Тогда чем не устраивает гигабит??? У меня гигабит на меди стоит и все воркет... Вот не знаю в Сatalyst XL3512 есть гигабит или нет... в Catalyst 3500 XL точно есть

Гигабит на меди полностью устраивает, только - нет его пока, физически :lol: . К Каталисте можно модуль докупить, но с деньгами сейчас напряг, вот и занялись созданием "народного" гигабита путём запараллеливания двух по сто, из того, что под рукой оказалось.
Аватара пользователя
Сергей Дубров
 
Сообщения: 2096
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Похоже виноват-таки Intel...

Сообщение Сергей Дубров » 03 июн 2003, 12:28

Завтра извлеку из закромов BayStack-450, буду на нём тренироваться, чтобы исключить одного из главных подозреваемых - Cisco.

Ну что ж, попробовал сегодня этот свой гигабитный ethernet в режиме стамегабитного подключить к BayStack-450 - эффект абсолютно тот же: с очень большой вероятностью - ~90% - при загрузке интерфейс не работает, счётчик принятых пакетов=0. Загружаешь драйвер с выдернутым кабелем, дожидаешься появления на экране сообщения про link down, втыкаешь кабель - link up и всё работает. Похоже это интелы чего-то намудрили с гигабитным драйвером в режиме ста мегабит.
Аватара пользователя
Сергей Дубров
 
Сообщения: 2096
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Re: Кто виноват: Novell, Cisco, Intel? Или все сразу?

Сообщение Vladimir Kozak » 04 июн 2003, 11:38

Сергей Дубров писал(а):Никто с таким не сталкивался? Есть подозрение на всех трёх участников процесса, перечисленных в теме, под наибольшим подозрением - Cisco, но точно утверждать не могу, мог и Intel чего-нибудь начудить.


Пропиши на киске на группе distribution-source. Не -distination. Вылечится.
Аватара пользователя
Vladimir Kozak
 
Сообщения: 762
Зарегистрирован: 30 янв 2003, 15:13

След.

Вернуться в Novell

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 61

cron