Медленная обработка больших файлов Netware 5.1

[kaa78]

А у меня тут соседка померла. До того 70 лет жила, и ни разу с ней такой фигни не случалось...

Так то, наверное, лицензия истекла. Сочувствую. Юмор оценил. Но, если по существу, то предположить, что после обновления симантека (ежедневного) нетваре попал в чёрный список и теперь его жёстко атакуют все 500 клиентов, конечно можно. Только загнулся бы он внезапно и надолго.

Сергей, спасибо за разъяснение, до этого допёр, хоть и избаловался GUI-ём.
Непонятно не как посмотреть значения параметров, а именно текущий показатель. Минимум/максимум - хорошо. А в действительности сколько востребовано? Куда крутить гайки? Есть где нибудь этот счётчик? Именно так понял фразу Павла: "Через несколько дней посмотреть, какое будет значение у Directory cache buffers и, возможно, внести дополнительные коррективы." Извините, если злоупотребляю терпением.

updated 15.01.11 Прошу пардона, заработался. С утра разул глаза, оказалось, что сам же параметр и приводил в первом посте. Совсем плохой стал

Дмитрий, а чем проверяли, не подскажете?

[Dmitry aka DrHoo]

У меня в подобной ситуации виновником оказался сбойный НЖМД в составе RAID-5. По какой-то причине контроллер продолжал считать его исправным, но фирменная утилита нашла на нём ошибки чтения секторов. После замены НЖМД сервер стал более отзывчив при дисковых операциях

Проверял утилитой Dell Diagnostics, которая шла с сервером.

[kaa78]

У меня в подобной ситуации виновником оказался сбойный НЖМД в составе RAID-5.

Дмитрий, спасибо за наводку. На выходных выдалось время, погонял smart array diagnostic. На одном из дисков было порядка 15-ти ошибок смарт в т.ч timeout error, поменял, рэйд пересобрался. Погонял запуск тяжёлых задач при минимуме работающих пользователей, полёт стабилизировался.
Сегодня с утра под нагрузкой вижу прежнюю картину Обнаружил, что слетели в дефолтные параметры Maximum/Minimum Directory Cache Buffers и Maximum Concurrent Directory Cache Writes. Восстановил в соответствии с рекомендациями. Через полчаса скорость обработки немного подросла.
Задачи с моей машины то запускаются влёт, то тормозят. При торможении каких-то аномалий на сервере не отмечается.

Видимо, дело не только в диске. Выключил на сервере level 2 oplocks, буду пробовать отключать локальный кэш на станциях.
Поможет ли это выборочно конкретным пользователям, либо, как указывал Владимир, сработает только при отключении у всех?
Насколько при этом может возрасти нагрузка на сервер?

[Владимир Горяев]

Только что на соседнем форуме давал ссылки про работу Opportunistic locking http://www.novell-admin.ru/forum/viewtopic.php?p=11970

[kaa78]

Уважаемые коллеги, здравствуйте, разрешите продолжить обсуждение. Владимир, не сочтите за игнор советов старших, но решил тему с оплоками не развивать, головой чую - дело в другом. Посмотрел дистриб клиента - там кэширование включено, уверен, что и LEVEL2OPLOCKS изначально был ON.
Еще раз более тщательно потестил сервер фирменной утилью - говорит, что всё ок, а у меня подозрение на работу контроллера, т.к. симптомы похожи на описанные тут viewtopic.php?f=1&t=11151 и тут viewtopic.php?f=1&t=9508
и всё бы хорошо, но нет у меня батарейки на контроллере.
Сейчас параметры сервера привёл к дефолтным, за исключением Maximum Directory Cache Buffers 1200 и Minimum Directory Cache Buffers 600
С запуском задач стало получше, но копирование большого файла на сервер приводит к параличу: мгновенно подскакивают dirty buffers, далее быстро падает до минуты LRU и возрастает утилизация до 100%. Некоторые клиенты могут получить ошибку доступа к дискам.
Прошу подсказать в этом направлении.

upd: наверное, выглядит, как "сам спросил - сам ответил", но непонятен момент сбоя. Контроллер smart array 641, можно ли посмотреть статус без перезагрузки?

[Павел Гарбар]

Контроллер не успевает записывать данные, поэтому забиваются буферы.
Какое значение параметра maximum concurrent disk cache writes?

[kaa78]

Сейчас так: Maximum Concurrent Disk Cache Writes 750

Dirty Disk Cache Delay Time 3.3 Sec
Minimum File Cache Buffers 20
Minimum File Cache Report Threshold 20
Read Ahead Enabled ON
Read Ahead LRU Sitting Time Threshold 10 Sec

Directory Cache Allocation Wait Time 2.2 Sec
Directory Cache Buffer NonReferenced Delay 5.4 Sec
Dirty Directory Cache Delay Time 0.4 Sec
Maximum Concurrent Directory Cache Writes 75
Maximum Number Of Directory Handles 20
Maximum Number Of Internal Directory Handles 100

[Павел Гарбар]

Maximum Concurrent Disk Cache Writes - подними до максимума (вроде 4000)
Вот это тоже можно поднять:
Maximum Concurrent Directory Cache Writes, например, 200
Maximum Number Of Directory Handles - 100
Maximum Number Of Internal Directory Handles - 300

[kaa78]

Благодарю. Поменял. Больному стало лучше, он перестал дышать...
Проверил под нагрузкой в виде расчёта, плотно лопятящего всю базу за прошлый год, вызвало небольшой коллапс, задачи перестали запускаться.
Как понимаю, параметры призваны увеличить скорость записи, но у основной массы пользователей приоритет чтения. Обычное соотношение чтения к записи примерно 10:1. Видимо, придётся изыскивать новое железо, переносить на него каталоги с DATA и смотреть...

[Павел Гарбар]

Убедись, что у тебя в этот момент сеть не забита под 100%.
Ну и погоняй тесты на чтение, без записи в это же время.

[Max(IN)]

Есть похожая проблема.
После установки нового сервера NW 6.5 SP8 всё летало на ура. Расчёт зарплаты шел 3 минуты. Потом резко всё затормозило и теперь есть проблемы даже с заходом в задачу расчёта. А сам расчёт идёт просто с ОЧЕНЬ маленькой скоростью.
И не только зарплата, многие проги подобного рода тормозят неслабо.
Поэтому хотелось бы услышать продолжение истории. Или ценные мысли знающих людей.

Железо HP Proliant DL 380 G6.
Поставлено недавно. Не уверен на все 100% (голова за полгода проблем с винтами совсем плохая стала), но траблы начались ещё на старом Dell 2600 после установки NW 6.5 SP8 (до этого 6.0 была). Не уверен.
Оплок и кэширование отключены.