Тормоза при работе Netware 5.1

[Сергей Петухов]

Предыстория:
Сервер netware 5.1+SP8 подключен к HP PROCURVE 1800-24G
2 гигабитные сетевухи работали в режиме сотки.
При обновлении баз "консультант+" начали появляться ошибки при обновлении больших баз (самая большая 3.5Гб).
При копировании этих баз на сервер ошибок не было, а появлялись они при работе самого консультанта в режиме обновления, когда он сливает базы и обновляет индексы.

В выходные пробовали поднять скорость до гигабита. Вечером прописали speed=1000 в загрузке драйверов, перезагрузили. Начали пробовать копировать файлы. На небольших файлах скорость получалась около 20-25 мегабайт/сек, а на больших (400 Мб и выше) стала вываливаться ошибка копирования после того как больше 50 -70 процентов уже переписано.
Откатились назад на 100-ку. Перезагрузили.
Понедельник и половину вторника сервер отработал без ошибок, а перед обедом начались жуткие тормоза. Скорость упала на некоторых машинах до 1-2 Мб/сек а на некоторых и того меньше.
Monitor показывал загрузку сервера 30-55 % и один из портов НР показывал, что работает в режиме гигабита (хотя, повторюсь в autoexec сетевухи установлены в 100-ку). В НР установили режим работы обоих серверных портов в 100, после чего утилизация упала до 0-3%. Перезагрузили. Сейчас скорость копирования с сервера держится на уровне 4-7 мб/с, но пользователи жалуются, что бухгалтерская программа (самописная на foxpro с базами dbf) подтормаживает при работе с сетевыми базами и иногда вываливается ошибка, что файл не найден.


На данный момент autoexec выглядит так:


set Time Zone = NSST-6RUDT
set Daylight Savings Time Offset = 1:00:00
set Start Of Daylight Savings Time = (MARCH SUNDAY LAST 2:00:00 )
set End Of Daylight Savings Time = (OCTOBER SUNDAY LAST 3:00:00 )
set Default Time Server Type = SINGLE
set Bindery Context = O=********


FILE SERVER NAME SERVER1
SERVERID 11111111

conlog maximum=1000
LOAD IPXRTR
LOAD ODINEB.NLM

LOAD CE1000.LAN SLOT=10016 FRAME=ETHERNET_802.2 NAME=CE1000_1_E82 SPEED=100
BIND IPX CE1000_1_E82 NET=620EEA87
LOAD DGE528T SLOT=3 FRAME=ethernet_802.2 NAME=DGE528T_1_E82 SPEED=100
BIND IPX DGE528T_1_E82 NET=620EEA87
load tcpip
LOAD DGE528T SLOT=3 FRAME=ethernet_II NAME=DGE528T_IP SPEED=100
BIND IP DGE528T_IP ADDRESS = 10.32.10.245 MASK = 255.255.0.0
LOAD CE1000.LAN SLOT=10016 FRAME=ethernet_II NAME=CE1000_IP SPEED=100

BIND IP CE1000_IP ADDRESS = 10.0.0.245 MASK = 255.255.255.0
LOAD IPXRTRNM
mount all
monitor

set client file caching enabled = off
set level 2 oplock enabled = on
SET TIMESYNC TYPE = SINGLE
set ncp file commit = off
SET Upgrade Low Priority Threads = On
SET NDS trace to file = On

SET ENABLE WATCHDOG SCREEN = ON
SET Console Display Watchdog Logouts = On
set slp tcp = on


SEARCH ADD SYS:\JAVA\BIN
SEARCH ADD SYS:\JAVA\NWGFX
SYS:\SYSTEM\NMA\NMA5.NCF

bstart.ncf
load nile.nlm
load httpstk.nlm /SSL /keyfile:"SSL CertificateIP"
load portal.nlm
LOAD NICISDI.XLM
LOAD SASDFM.XLM

LOAD SAS.NLM
LOAD PKI.NLM

Опыта поиска Новелловских косяков немного и куда в первую очередь копать непонятно.
Собственно вопросов три:
1) Как побороть тормоза при работе с DBF??
2) Что сделать, чтобы сервер мог нормально работать на гигабите?
3) Скорее всего вытекает из первых двух: хотелось бы чтобы и консультант+ мог нормально обновлялся.

[Dimerson]

set level 2 oplock enabled = off

[Dimerson]

клиенты какие ? если старше Xp то client file caching = off на на них

[Иван Левшин aka Ivan L.]

Отключенный Oplock 2 даст более низкую производительность, настраивать надо и на сервере, и на клиентах (File Caching=Off, File Commit=On). По теме треда - Вам действительно так нужен IPX на этом сервере? Если нет - уберите его. Настройки сети выставьте в Auto, посмотрите трафик снифером.

По описанию похоже на взаимные блокировки, потому и совет отключить оплоки. При этом описание явно недостаточное, чтобы говорить о том, что именно оплоки всему виной. Плюс ко всему - если отключить Oplock 2, то при работе DBF ровно те самые "тормоза" и случатся, т.к. блокировка при кооперативном доступе будет выставляться на весь файл с таблицей или индексом со всеми отсюда вытекающими. Novell действительно рекомендовала отключать оплоки полностью при работе с DBF и это чистая правда - только в этом случае гарантируется неповреждение данных. Однако цена такого отключения - практическая невозможность работать с одной таблицей двух и более пользователей. Говорю так потому, что специально проводил тестирование с заказчиком на тему "а вот отчего Windows-сервер летает, а этот ваш хваленый Netware адски тормозит". Ответ: потому, что на Windows-сервере оплоки включены по дефолты и отключить их - целая наука. В случае с Netware и DBF рекомендую TFS (Traditional File System), а не NSS. Оно, конечно, старое, как известная субстанция и фактически сейчас не поддерживается - но DBF-самописки на ней работают заметно лучше. У нее механизмы работы совсем отличны от NSS, именно с DBF NSS на нетвари работает похуже. Аналогично и с К+. Мне лично вообще непонятно, отчего К+ до сих пор - фактически файл-сервер, когда всякие трехзвенки и клиент-серверы существует уже миллион лет в обед.

[Сергей Петухов]

клиенты какие ? если старше Xp то client file caching = off на на них

Клиенты ХР, 7,8
Тормоза есть на всех.

[Константин Ошмян]

1) ничего не сказано про используемую файловую систему. Про NetWare 5.1 согласен с Иваном, что традиционная будет лучше, чем NSS; но для неё нужно, чтобы сервер имел достаточно оперативки, о чём часто забывают при добавлении новых дисков (грубо: 8 мег ОЗУ на каждый гиг дискового пространства при настройках по умолчанию, плюс немного для самой операционки, точные формулы в документации).

2) ничего не сказано о клиентах: какие там используются операционки, какие клиенты?

3) ни слова об используемых протоколах. Судя по AUTOEXEC-у, на сервере настроены две гигабитные сетевушки, на каждой из которых есть IP и IPX. Только IP-подсети разные, а IPX - почему-то общая. Так быть не должно. Нужно определиться с тем, каким протоколом пользуетесь, и навести порядок (возможно, переустановив клиентов только с поддержкой выбранного протокола). Определиться, нужно ли, чтобы сервер работал в качестве роутера; для IPX-а - не использовать RIP, а использовать NLSP (настраивается штатно через INETCFG).

4) кроме sp8, на NetWare 5.1 было довольно много пост-SP8-фиксов. Проверить также версии драйверов сетевушек (бывает, что от производителя они более новые). Проверить версии новелловских клиентов на раб. станциях (для них тоже выпускались фикспаки и пост-SP-фиксы).

5) что касается сетевушек, то при явном указании скорости и режима с одной стороны (сервер) нужно то же явно делать и с другой стороны (свитч). Насколько я помню (могу ошибаться), скорость "гигабит" явно выставить нельзя, нужно ставить "авто" (и стороны сами должны об этом гигабите договориться). Я бы так и выставил (опять же - убедиться, что и со стороны свитча соответствующие порты выставлены аналогично). Для сетевушек на Intel-овских чипах (B57, BX2, CE1000), если мне не изменяет память, рекомендовалось выставить увеличенный размер буфера (Set maximum physical receive packet size = 18000, выставляется через MONITOR.NLM или руками в STARTUP.NCF)

[Сергей Петухов]

Отключенный Oplock 2 даст более низкую производительность, настраивать надо и на сервере, и на клиентах (File Caching=Off, File Commit=On). По теме треда - Вам действительно так нужен IPX на этом сервере? Если нет - уберите его. Настройки сети выставьте в Auto, посмотрите трафик снифером.

По описанию похоже на взаимные блокировки, потому и совет отключить оплоки. При этом описание явно недостаточное, чтобы говорить о том, что именно оплоки всему виной. Плюс ко всему - если отключить Oplock 2, то при работе DBF ровно те самые "тормоза" и случатся, т.к. блокировка при кооперативном доступе будет выставляться на весь файл с таблицей или индексом со всеми отсюда вытекающими. Novell действительно рекомендовала отключать оплоки полностью при работе с DBF и это чистая правда - только в этом случае гарантируется неповреждение данных. Однако цена такого отключения - практическая невозможность работать с одной таблицей двух и более пользователей. Говорю так потому, что специально проводил тестирование с заказчиком на тему "а вот отчего Windows-сервер летает, а этот ваш хваленый Netware адски тормозит". Ответ: потому, что на Windows-сервере оплоки включены по дефолты и отключить их - целая наука. В случае с Netware и DBF рекомендую TFS (Traditional File System), а не NSS. Оно, конечно, старое, как известная субстанция и фактически сейчас не поддерживается - но DBF-самописки на ней работают заметно лучше. У нее механизмы работы совсем отличны от NSS, именно с DBF NSS на нетвари работает похуже. Аналогично и с К+. Мне лично вообще непонятно, отчего К+ до сих пор - фактически файл-сервер, когда всякие трехзвенки и клиент-серверы существует уже миллион лет в обед.

IPX пока нужен. Не на всех клиентах есть TCP/IP
Файловая система традиционная.

Оплоки в своё врямя настраивались именно для работы с DBF. Несколько пользователей с таблицей работают довольно часто. И до недавнего времени всё работало нормально.

Автоопределение попробую

[Павел Гарбар]

А на клиентах случайно не Relatek'и стоят?
Если да, то проблема в них, а не на сервере.

[Сергей Петухов]

1) ничего не сказано про используемую файловую систему. Про NetWare 5.1 согласен с Иваном, что традиционная будет лучше, чем NSS; но для неё нужно, чтобы сервер имел достаточно оперативки, о чём часто забывают при добавлении новых дисков (грубо: 8 мег ОЗУ на каждый гиг дискового пространства при настройках по умолчанию, плюс немного для самой операционки, точные формулы в документации).

диски на 600 гб
Памяти

2) ничего не сказано о клиентах: какие там используются операционки, какие клиенты?

Клиенты:

win98SE-версия 3.4
xp+SP3 prof версия 4.91 SP4
Win 7 prof версии Novell_Client_2_SP4_fo_Windows_IR2, Novell_Client_2_SP4_fo_Windows_IR1, Novell_Client_2_SP3_fo_Windows

3) ни слова об используемых протоколах. Судя по AUTOEXEC-у, на сервере настроены две гигабитные сетевушки, на каждой из которых есть IP и IPX.

да

Только IP-подсети разные, а IPX - почему-то общая. Так быть не должно.

Разные подсети IP потому, что раньше вышестоящей организацией был выделен диапазон 10.32.10.ХXX , когда он закончился, начали использовать 10.0.0.ХХХ, сейчас от этой организации мы не зависим и переходим на 10.32.ХХХ.ХхХ. И в результате останется только он. IPX используют несколько ещё оставшихся станций на windows98 и пара десятков ХР. Надеемся, что скоро его не останется.

Нужно определиться с тем, каким протоколом пользуетесь, и навести порядок (возможно, переустановив клиентов только с поддержкой выбранного протокола). Определиться, нужно ли, чтобы сервер работал в качестве роутера; для IPX-а - не использовать RIP, а использовать NLSP (настраивается штатно через INETCFG).

Роутером сервер не работает.
Насчёт не использовать RIP: как то где-то читал, что если удалить связывание RIP или SAP, при установленном NLSP, то совместимый с RIP/SAP, сервер печати не сможет связаться с файл-сервером и NDS. Неправ?

4) кроме sp8, на NetWare 5.1 было довольно много пост-SP8-фиксов. Проверить также версии драйверов сетевушек (бывает, что от производителя они более новые). Проверить версии новелловских клиентов на раб. станциях (для них тоже выпускались фикспаки и пост-SP-фиксы).

А где-то ещё сохранился список постфиксов, чтобы можно было скачать? А то на сайте novell.com только для 6.5

5) что касается сетевушек, то при явном указании скорости и режима с одной стороны (сервер) нужно то же явно делать и с другой стороны (свитч). Насколько я помню (могу ошибаться), скорость "гигабит" явно выставить нельзя, нужно ставить "авто" (и стороны сами должны об этом гигабите договориться). Я бы так и выставил (опять же - убедиться, что и со стороны свитча соответствующие порты выставлены аналогично).

Вроде как скорость =гигабит как раз и выставляется параметром SPEED=1000?
насколько я помню для гигабита полудуплекс не выставляется.

Для сетевушек на Intel-овских чипах (B57, BX2, CE1000), если мне не изменяет память, рекомендовалось выставить увеличенный размер буфера (Set maximum physical receive packet size = 18000, выставляется через MONITOR.NLM или руками в STARTUP.NCF)

Не хватает знаний, чтобы спрогнозировать, как это повлияет на вторую карту и насколько плохо будет, если оставить его как есть.
Сейчас этот параметр=4224

[Сергей Петухов]

А на клиентах случайно не Relatek'и стоят?
Если да, то проблема в них, а не на сервере.

Сейчас ответить точно не могу, но с большой долей вероятности именно так и есть. А что за проблема и как лечится?

Вот еще какие параметры в мониторе:
Maximum record lock per connection 500
Maximum number lock per connection 2500
Maximum Record Locks 20000
Maximum File Locks 200000

Original cache buffers 621888
Total cache buffers 586250
Dirty cache buffers 0
Packet receive buffers 525
Directory cache buffers 715
Maximum service process 500
Current service process 41
Current MP service process 8

[Павел Гарбар]

Если Realtek 10/100, то не лечится.
Можно принудительно их перевести в 10 Мбит/с, тогда они просто нормально работают. На 100 Мбит они уже не будут нормально никогда.
Лучше заменить на Intel, D-Link или Realtek 10/100/1000. Вот с гигабитными чипами у Realtek'a таких проблем нет.

[Сергей Петухов]

Если Realtek 10/100, то не лечится.
Можно принудительно их перевести в 10 Мбит/с, тогда они просто нормально работают. На 100 Мбит они уже не будут нормально никогда.
Лучше заменить на Intel, D-Link или Realtek 10/100/1000. Вот с гигабитными чипами у Realtek'a таких проблем нет.

Все чипы или только некоторая серия? А как проявляется: ошибки при копировании или просто скорость падает? И это только с Netware или вообще со всеми ОС?

[Сергей Петухов]

Установил
Maximum record lock per connection 100000
Maximum number lock per connection 10000
Maximum Record Locks 400000
Maximum File Locks 2000000

оба адаптера в автоопределение и на HP автоопределение. Вроде бы пока работает стабильно, но при копировании файлов FAR не показывает скорость выше 8 Мб/сек. Что для гигабита маловато.

[Иван Левшин aka Ivan L.]

Константин Ошмян - вообще про DBF и для 6.х лично я рекомендую TFS. Я в свое время ковырялся с проблемами DBF в кооперативном режиме на NSS, ничего так и не сделал. Как я понял, связано это с особенностями работы наследников dBase (FoxPro, Clipper и т.д.).

Сергей Петухов
Оплоки для TFS не нужны вообще, настраивать их в отсутствие на сервере NSS не вижу смысла. Там иные механизмы управления блокировкой. Закомментируйте все свои художества на сервере по части оплоков, восстановите на клиенте дефолтные настройки File Commit и Caching Mode. Если и тут все будет тормозить - разбирайтесь с сетевушкой. Ну и про то, что Костя сказал про ОЗУ, тоже не стоит забывать (хотя для нормальной работы файлсервера NW5.1 более чем достаточно 512 Мб памяти).

Касаемо "8 Мб маловато" - Вы какой скорости ожидаете и по какому протоколу? Гигабит даже теоретически не в десять раз быстрее сотки, реальный прирост - около 20% (без Jumbo frame, поддержки которых в 5.1, скорее всего, нет). Касаемо солянки из IPX и IP - надо определяться с протоколами (опять согласен с Костей). Идеальный вариант: изолировать клиентов, сидящих на IPX, в отдельный сегмент и настроить работу сервера с этим сегментом. Вообще если этот сервер не нужен для чего-нить типа Border Manager, GroupWise и т.д. и в сети нет машин с W7, я бы рекомендовал отказаться от TCP/IP. IPX более эффективен. И на всякий пожарный посмотрите снифером долю широковещательных пакетов в сети.

[Константин Ошмян]

Только IP-подсети разные, а IPX - почему-то общая. Так быть не должно.

Разные подсети IP потому, что раньше вышестоящей организацией был выделен диапазон 10.32.10.ХXX , когда он закончился, начали использовать 10.0.0.ХХХ, сейчас от этой организации мы не зависим и переходим на 10.32.ХХХ.ХхХ. И в результате останется только он. IPX используют несколько ещё оставшихся станций на windows98 и пара десятков ХР. Надеемся, что скоро его не останется.

Да подсетей-то можете делать сколько вам нужно, тут замечание относилось к тому, что для IP это у вас разные подсети, а для IPX - одна и та же. Если это физически разные сегменты сети, то и для IPX-а должны бы использоваться разные номера подсетей, иначе это неверные настройки.

Насчёт не использовать RIP: как то где-то читал, что если удалить связывание RIP или SAP, при установленном NLSP, то совместимый с RIP/SAP, сервер печати не сможет связаться с файл-сервером и NDS. Неправ?

Честно говоря, впервые о таком слышу. При включённом NLSP в любом случае RIP/SAP не убираются полностью, но количество бродкастов, по которым они работают, заметно снижается.

4) кроме sp8, на NetWare 5.1 было довольно много пост-SP8-фиксов. Проверить также версии драйверов сетевушек (бывает, что от производителя они более новые). Проверить версии новелловских клиентов на раб. станциях (для них тоже выпускались фикспаки и пост-SP-фиксы).

А где-то ещё сохранился список постфиксов, чтобы можно было скачать? А то на сайте novell.com только для 6.5

Дык, на сайте Novell же. download.novell.com/patch/finder/, выбираем продукт "NetWare", далее выбираем версию "NetWare 5.1 SP8", видим 10 штук "Current patches". Есть, в числе прочего, патчи на такие важные вещи как CLIB и Winsock. Правда, у них там тоже лёгкий бардак: выложен, например, wsock6k, в то время как там же выложен более новый wsock6l. Или nwlib6j - и тут же более новый nwlib6k, а затем ещё более новый nwlib6l. Явно имеет смысл сразу ставить последние патчи из предлагаемых (они все кумулятивные, т.е. содержат все предыдущие).