NW5.1 ML530 низкие показатели

Обсуждение технических вопросов по продуктам Novell

NW5.1 ML530 низкие показатели

Сообщение Dmitry Slepchenko » 22 июн 2004, 13:31

Доброго дня!

Есть:
ProLiant ML530,
NW5.1 SP5,
RAM 2 GB,
Array 5300 (RAID5 5x36 GB),
LAN Intel PRO/1000 MT Dual Port
IPX/SPX 802.2 only,
тома традиционные,
среда FastEthernet 10/100/1000,
SWITCHes 3Com 3812, 4226, 3300,
используется только как NWMKDE сервер

Проблема:
низкая скорость чтения(записи) с(на) сервер

Скажу сразу, сервер "наблюдается" долго, тиды прочитаны, эксперименты поставлены (просьба к флеймогонам: советы типа 'fullduplex on switch...' не озвучивать. спасибо...).
На сервере настроен GEC на двух 1000 портах, траффик приблизительно одинаковый.
Массив на COMPAQ 5300 контроллере. RAID5 из 5-ти дисков по 36 GB (cache: 50% read, 50% write).
Прошивки, драйвера и т.д. последние (кроме firmware HDD, потому как, судя по TID-ам, для BD03664553 не надо).

Клиенты в сети разные, от 3.21 до 4.9. Сразу скажу, от клиента "проблема" не зависит.

=====================
Суть проблемы:
Файл: 1 073 743 396 байт.

Копирование на сервер :
Скорость ~4810 Кбайт/с
Время: 3 м 36 с

Копирование с сервера :
Скорость ~1250 - 1477 Кбайт/с
Время: 12 м 55 с
=====================

:?: Вопрос 1: почему так медленно?
:?: Вопрос 2: как сделать быстрее?

:!: Не должно же так быть?!?

От LAN-адаптеров-драйверов не зависит (сетевая, свитч менялись - скорости те же).

Применение последнего SP невозможно из-за совместимости работы некоторых программ.

Может быть дело в дисковой системе?

Вот некоторые параметры:

#
# File caching
#
SET Maximum Rights Vector Entry Pool = 128
SET Read Ahead Enabled = ON
SET Read Ahead LRU Sitting Time Threshold = 10 Sec
SET Minimum File Cache Buffers = 100
SET Maximum Concurrent Disk Cache Writes = 4000
SET Dirty Disk Cache Delay Time = 0.2 Sec
SET Minimum File Cache Report Threshold = 20
#
# Directory caching
#
SET Dirty Directory Cache Delay Time = 0.4 Sec
SET Maximum Concurrent Directory Cache Writes = 500
SET Directory Cache Allocation Wait Time = 0.4 Sec
SET Directory Cache Buffer NonReferenced Delay = 5 Min
SET Maximum Directory Cache Buffers = 4000
SET Minimum Directory Cache Buffers = 2000
SET Maximum Number Of Internal Directory Handles = 100
SET Maximum Number Of Directory Handles = 50
#
# File system
#
SET Maximum Wait Time For Limbo Space during Volume Mount = 19.8 Sec
SET Purge Files On Dismount = OFF
SET Maximum Concurrent opens per file and connection = 10000
SET Automatically Repair Bad Volumes = ON
SET Check SubAllocation = OFF
SET Minimum File Delete Wait Time = 1 Min 5.9 Sec
SET File Delete Wait Time = 5 Min 29.6 Sec
SET Allow Deletion Of Active Directories = ON
SET Maximum Percent of Volume Space allowed for Extended Attributes = 10
SET Maximum Extended Attributes per File or Path = 16
SET Fast Volume Mounts = ON
SET Maximum Percent Of Volume Used By Directory = 13
SET Immediate Purge Of Deleted Files = OFF
SET Maximum Subdirectory Tree Depth = 25
SET Volume Low Warn All Users = ON
SET Volume Low Warning Reset Threshold = 256
SET Volume Low Warning Threshold = 256
SET Turbo FAT Re-Use Wait Time = 1 Hours 0.2 Sec
SET Compress Screen = OFF
SET Compression Daily Check Stop Hour = 6
SET Compression Daily Check Starting Hour = 0
SET Minimum Compression Percentage Gain = 20
SET Enable File Compression = ON
SET Maximum Concurrent Compressions = 6
SET Convert Compressed To Uncompressed Option = 1
SET Decompress Percent Disk Space Free To Allow Commit = 10
SET Decompress Free Space Warning Interval = 31 Min 18.6 Sec
SET Deleted Files Compression Option = 1
SET Days Untouched Before Compression = 31
SET Allow Unowned Files To Be Extended = OFF
#
# Disk
#
SET Multi-path Support = OFF
SET Sequential Elevator Depth = 8
SET Enable IO Handicap Attribute = OFF
SET Mirrored Devices Are Out Of Sync Message Frequency = 28
SET Remirror Block Size = 1
SET Concurrent Remirror Requests = 32
SET Ignore Partition Ownership = OFF
SET Ignore Disk Geometry = OFF
SET Enable Hardware Write Back = ON
SET Enable Disk Read After Write Verify = OFF

Заранее благодарен всем тем, кто примет участие в конструктивном обсуждении проблемы.

С ув.,
Дмитрий
Аватара пользователя
Dmitry Slepchenko
 
Сообщения: 115
Зарегистрирован: 22 июн 2004, 12:46
Откуда: СПб

Если исключить сеть вообще...

Сообщение Сергей Дубров » 22 июн 2004, 17:13

Возьмите с сайта portlock-а триальную версию утилиты DSKTEST. Её NLM-ная версия работает прямо на сервере и тестирует дисковую подсистему, т.е., сеть вообще в задачу не входит. Из-за триальности dsktest даст вам проверить только 1 (один) гигабайт, не больше, но в качестве грубой оценки этого вполне хватит, чтобы понять: 4 мбайт/сек у вас или 40.

Для справки - на чуть более слабом железе, на хороших SATA дисках (Raptor) с новыми драйверами под NW4.11/5.1 я "выжимал" в пределе до 55 (пятьдесят пять) мбайт/сек на чтении (блоками по 256 кбайт), с загрузкой процессора в районе всего 2%. Сказёвый RAID точно не может быть настолько хуже, у меня SRCU32 вообще на dsktest-е за 70 мбайт/сек выдаёт.
Аватара пользователя
Сергей Дубров
 
Сообщения: 2096
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Re: NW5.1 ML530 низкие показатели

Сообщение PavelKHTW » 22 июн 2004, 17:46

Dmitry Slepchenko писал(а):Есть:
ProLiant ML530,
NW5.1 SP5,
RAM 2 GB,
Array 5300 (RAID5 5x36 GB),
LAN Intel PRO/1000 MT Dual Port
IPX/SPX 802.2 only,
Скажу сразу, сервер "наблюдается" долго, тиды прочитаны, эксперименты поставлены (просьба к флеймогонам: советы типа 'fullduplex on switch...' не озвучивать. спасибо...).
На сервере настроен GEC на двух 1000 портах, траффик приблизительно одинаковый.
Клиенты в сети разные, от 3.21 до 4.9. Сразу скажу, от клиента "проблема" не зависит.

Не ради флейма - все описал, вот только не всем известно какие процессоры стоят в ML530, а на HP идти нужно время тратить. Не написал есть ли антивирус, раз стоит сжатие - написал бы загрузку процессора в момент копирования - ну а то что сервер "наблюдается долго" и "проявляется на всех клиентах" вовсе не значит что клиенты настроенны верно.
PavelKHTW
 
Сообщения: 1037
Зарегистрирован: 08 окт 2003, 13:02
Откуда: Украина

Сообщение Dmitry Slepchenko » 22 июн 2004, 18:03

1 x XEON 800 L1=32K L2=256K
Антивируса нет
В момент копирования с тома на том (на одном RAID5) cc-командиром загрузка проца <10%.

клиенты настроены правильно и они ни при чем :-]

C ув.,
Дмитрий
Аватара пользователя
Dmitry Slepchenko
 
Сообщения: 115
Зарегистрирован: 22 июн 2004, 12:46
Откуда: СПб

Сообщение PavelKHTW » 22 июн 2004, 19:05

Dmitry Slepchenko писал(а):1 x XEON 800 L1=32K L2=256K
Антивируса нет
В момент копирования с тома на том (на одном RAID5) cc-командиром загрузка проца <10%.

клиенты настроены правильно и они ни при чем :-]

C ув.,
Дмитрий


За сколько копируется с тома на том в CC указанный вами объем? Так же долго? попробуйте утилиту которую вам посоветовал Сергей Дубров.
PavelKHTW
 
Сообщения: 1037
Зарегистрирован: 08 окт 2003, 13:02
Откуда: Украина

Сообщение TAG_SPB » 22 июн 2004, 20:36

Коллеги, а вообще - у кого с какой скоростью пишутся файлы в 1 Г на сервера? (по сети).

Вот я перемерил Димины параметры - у меня С сервера 6 минут, а НА сервер - 4 минуты.

Сервер у нас - один и тот же. Просто Дмитрий его мучал с утра, а я - вечером, когда очевидно, нагрузка поменее...

Андрей.

P.S. СС -коммандер перегоняет 2,1Гб за 2 минуты. Т.е примерно 18 Мб\сек. Загрузка при этом - 30% :!:
Последний раз редактировалось TAG_SPB 22 июн 2004, 22:14, всего редактировалось 2 раз(а).
TAG_SPB
 
Сообщения: 33
Зарегистрирован: 22 июн 2004, 18:13

Сообщение PavelKHTW » 22 июн 2004, 21:23

TAG_SPB писал(а):Коллеги, а вообще - у кого с какой скоростью пишутся файлы в 1 Г на сервера? (по сети).

Вот я перемерил Димины параметры - у меня С сервера 6 минут, а НА сервер - 4 минуты.

Сервер у нас - один и тот же. Просто Дмитрий его мучал с утра, а я - вечером, когда очевидно, нагрузка поменее...

Андрей.

NW5.1sp6 SCSI Lan 100Mb Full фильм на 700Мб на/с сервера за 80-90сек по чистому IPX, по чистому IP на 2 секунды быстрее. Сразу оговорюсь - в кеш не входит. Для IDE(Segate 7200 2Mb) показатели чуть хуже 100сек. На SCSI загрузка процессора 2-3%, на IDE до 5%. Клиенты естественно настроены под соответствующий протокол.
PavelKHTW
 
Сообщения: 1037
Зарегистрирован: 08 окт 2003, 13:02
Откуда: Украина

Сообщение TAG_SPB » 22 июн 2004, 21:45

PavelKHTW писал(а): 700Мб за 80-90сек


мдя..получается - 8Мб\с по сети... завидно.

чтож у нас-то не так??? Есть такое соображение - памяти маловато.
Хоть Дмитрий меня и убеждает, что все Ок, но как-то мне не очень вериться. Общий обьем томов на сервере - 120Гб, сильно сегментированы (добавлялись сегменты, я вот сейчас переразбиваю тома, удаляя сегментацию). Всего памяти - 2 Гб, из них 1Гб - занят. Т.е. Новеллу остается 1Г. Вроде бы не мало...

в общем, непонятки...подождем Диминых измерений.
TAG_SPB
 
Сообщения: 33
Зарегистрирован: 22 июн 2004, 18:13

Сообщение TAG_SPB » 22 июн 2004, 21:59

Еще :
скорость заливки 700Мб от меня на др.серваки (SCSI, RAID5 построены на Intel U2 и Compaq SmartArray 3200) - примерно одинакова и составляет 2 минуты. Т.е. беда не в сети, не в клиенте, а в сервере.
TAG_SPB
 
Сообщения: 33
Зарегистрирован: 22 июн 2004, 18:13

Сообщение Сергей Дубров » 23 июн 2004, 07:34

TAG_SPB писал(а):Еще :
скорость заливки 700Мб от меня на др.серваки (SCSI, RAID5 построены на Intel U2 и Compaq SmartArray 3200) - примерно одинакова и составляет 2 минуты. Т.е. беда не в сети, не в клиенте, а в сервере.

Ребята, вы уже много и подробно расписали, что у вас не так. За это время можно было раз десять качнуть DSKTEST и протестировать скорость дисковой подсистемы сервера. Чтобы был предметный разговор, а не догадки. Про то, что дело не в сети, было упомянуто в самом первом сообщении, зачем повторяться-то?
Аватара пользователя
Сергей Дубров
 
Сообщения: 2096
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Сообщение Dmitry Slepchenko » 23 июн 2004, 09:56

Сергей Дубров писал(а):Ребята, вы уже много и подробно расписали, что у вас не так. За это время можно было раз десять качнуть DSKTEST и протестировать скорость дисковой подсистемы сервера. Чтобы был предметный разговор, а не догадки. Про то, что дело не в сети, было упомянуто в самом первом сообщении, зачем повторяться-то?


Ув. Сергей!
Поверьте, качнуть DSKTEST за это время можно было бы и побольше раз - не проблема... Проблема в том, что нету у нас тома в 1 Гиг :-(
Поэтому и задержка с результатами DSKTEST.
(перестраивать количество(размер) томов по прихоти софтины - не считаю разумным)

з.ы. "добрые люди" хотят за решение проблемы $20... ща, скинемся всем отделом по баксику и купим... купим-купим, честно...
Аватара пользователя
Dmitry Slepchenko
 
Сообщения: 115
Зарегистрирован: 22 июн 2004, 12:46
Откуда: СПб

Сообщение Сергей Дубров » 23 июн 2004, 11:04

Dmitry Slepchenko писал(а):
Сергей Дубров писал(а):Ребята, вы уже много и подробно расписали, что у вас не так. За это время можно было раз десять качнуть DSKTEST и протестировать скорость дисковой подсистемы сервера. Чтобы был предметный разговор, а не догадки. Про то, что дело не в сети, было упомянуто в самом первом сообщении, зачем повторяться-то?


Ув. Сергей!
Поверьте, качнуть DSKTEST за это время можно было бы и побольше раз - не проблема... Проблема в том, что нету у нас тома в 1 Гиг :-(
Поэтому и задержка с результатами DSKTEST.
(перестраивать количество(размер) томов по прихоти софтины - не считаю разумным)

з.ы. "добрые люди" хотят за решение проблемы $20... ща, скинемся всем отделом по баксику и купим... купим-купим, честно...

Мда, нет слов. А вы таки попробуйте скачать и запустить DSKTEST, чтобы ерунду не говорить. Эта софтина в триальном варианте не даёт тестировать более одного гигабайта протяжённого пространства на диске, чего для грубой оценки вполне достаточно. Раздел размером ровно в один гигабайт ей при этом совершенно не нужен, это ваши домыслы. Если вы ей всё-таки скажете, что хотите проверить entire hard disk, вам вежливо будет указано, что допустима проверка только первого гигабайта и спрошено, устраивает вас это или нет. Никаких требований к размеру раздела, dsktest-у это по барабану.

Помнится, начали вы своё пространное вступление с призывов к конструктиву, с настоятельной рекомендации воздержаться от выступлений всяческих флеймогонов и пр. Сами же, вместо того, чтобы скачать копеечного размера утиль (~1.5мб) и проверить, как оно там на самом деле, второй день тут расписываете, как вам нехорошо :roll:.
Аватара пользователя
Сергей Дубров
 
Сообщения: 2096
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Сообщение Dmitry Slepchenko » 23 июн 2004, 11:34

Сергей Дубров писал(а):Мда, нет слов. А вы таки попробуйте скачать и запустить DSKTEST, чтобы ерунду не говорить. Эта софтина в триальном варианте не даёт тестировать более одного гигабайта протяжённого пространства на диске, чего для грубой оценки вполне достаточно. Раздел размером ровно в один гигабайт ей при этом совершенно не нужен, это ваши домыслы. Если вы ей всё-таки скажете, что хотите проверить entire hard disk, вам вежливо будет указано, что допустима проверка только первого гигабайта и спрошено, устраивает вас это или нет. Никаких требований к размеру раздела, dsktest-у это по барабану.

Помнится, начали вы своё пространное вступление с призывов к конструктиву, с настоятельной рекомендации воздержаться от выступлений всяческих флеймогонов и пр. Сами же, вместо того, чтобы скачать копеечного размера утиль (~1.5мб) и проверить, как оно там на самом деле, второй день тут расписываете, как вам нехорошо :roll:.


Согласен. Не прав. Исправлюсь. :-)
Просто фраза "This software is running in Evaluation mode. Only NetWare volumes of 1.000 Mb or less are supported" была воспринята именно так (ключевое слово Only), как она написана (можно же было портлоку и попроще написать... по-доходчивее... а то наша деревня в школу не ходила :-)
Сергей, спасибо за разъяснение как утиль работает, но специфика работы нашего сервера и приложений исключает всякий риск при работе со сторонним софтом, - поэтому такая осторожность и неспешность.
Результаты тестов постараюсь сделать в течение дня (ну не готов я запускать утиль на боевом сервере не изучив мануалы... за любой абенд могут намекнуть на добровольное согласие к насилию в извращенной форме :-))

С ув.,
Дмитрий
Аватара пользователя
Dmitry Slepchenko
 
Сообщения: 115
Зарегистрирован: 22 июн 2004, 12:46
Откуда: СПб

Сообщение PavelKHTW » 23 июн 2004, 11:44

Решил и себе потестить тестовый сервак
SCSI диск последовательное чтение 52Мб/с
произвольное чтение 10Мб/c
диск FUJITSU MAN3367MP
это максимальные результаты - достигнуты при чтении по 128блоков

Для IDE последовательное чтение 55Мб/c (по 64 сектора)
произвольное 12Мб/c (по 512 секторов)
диск Seagate ST3440014A
PavelKHTW
 
Сообщения: 1037
Зарегистрирован: 08 окт 2003, 13:02
Откуда: Украина

Сообщение Dmitry Slepchenko » 23 июн 2004, 12:51

Добавили в корзину один HP ULTRA320 10K 72 Gb (результаты теста чуть ниже) на тот же SA 5312.

Результаты теста DSKTEST для RAID5 (5x36 Gb COMPAQ ULTRA3 10K) :

Physical Disk Drive: 0
NetWare Subsystem Type: NWPA
Disk Drive Model: COMPAQ LOGICAL
Disk Interface Type: SCSI
Disk Size: 284,522,880 sectors
Disk Size: 138,927 MB
Cylinders: 34,868
Heads: 255
Sectors Per Track: 32
Max Sectors: 128
Object ID: 5
Controller: 4
Device Handle: 1
Unit Number: 0
Bus ID: 0
Card Number: 0

Partition 0: Type 0x06, start: 73,440, size: 1,052,640
Partition 1: Type 0x65, start: 1,126,080, size: 283,396,800
Partition 2: Type 0x12, start: 32, size: 73,408
Partition 3: Type 0x00, start: 0, size: 0

Read Only Sequential

Sectors per I/O - KB/SEC

1 - 2.000
8 - 6.500
32 - 20.000
64 - 14.000
512 - 19.000

Read Only Random

Sectors per I/O - KB/SEC

1 - 60
8 - 380
32 - 1.600
64 - 2.700
512 - 7.600

===================================

Результаты теста DSKTEST для RAID0 (1x72 Gb HP ULTRA320 10K):

Том NSS (!)

Physical Disk Drive: 1
NetWare Subsystem Type: NWPA
Disk Drive Model: COMPAQ LOGICAL
Disk Interface Type: SCSI
Disk Size: 142,261,440 sectors
Disk Size: 69,463 MB
Cylinders: 17,434
Heads: 255
Sectors Per Track: 32
Max Sectors: 128
Object ID: 12
Controller: 4
Device Handle: 2
Unit Number: 1
Bus ID: 0
Card Number: 0

Partition 0: Type 0x69, start: 32, size: 142,261,408
Partition 1: Type 0x00, start: 0, size: 0
Partition 2: Type 0x00, start: 0, size: 0
Partition 3: Type 0x00, start: 0, size: 0

Read Only Sequential

Sectors per I/O - KB/SEC

32 - 27.000
512 - 53.000

Read Only Random

Sectors per I/O - KB/SEC

32 - 3.000
512 - 25.000

Значения округленные пиковые, которые успели заметить глаза и руки записать. Тест проводился на боевом сервере с нормальной загрузкой пользователей при работе (по сути, они работают с кэшем битрива в 1 Гиг).
Аватара пользователя
Dmitry Slepchenko
 
Сообщения: 115
Зарегистрирован: 22 июн 2004, 12:46
Откуда: СПб

След.

Вернуться в Novell

Кто сейчас на конференции

Сейчас этот форум просматривают: Bing [Bot] и гости: 56

cron