GW и ESXi: Загрузка процессора под 100%

[rahim]

Доброго времени суток!

Помогите разобраться с проблемой высокой загруженности почтового сервера.
Проблема является следствием виртуализации сервера GW (GW 7.0.4 на NW 6.5SP8).
Как правило, штатно работающий сервер в определенный день начинает сильно тормозить, загрузка процессора возрастает до предельных показателей. Соответственно, почтовый сервер перестает получать/принимать корреспонденцию. Причем время начала "буйства" - полночь. Возможно это связано с какими-либо процессами, запускаемыми в это время. Зайдя через NRM обнаружил, что больше всего процессорного времени уходит на обработку LIBNSS.NLM:



Не помогает перезапуск сервера. Нагрузка спадает также внезапно для нас ,как и началась.

Что это за зверь такой и как с ним бороться? Может он не основной виновник, а лишь посредник?
ESXi 5.1, VMware Tools запущен

[Юрий Арапов]

http://download.novell.com/patch/finder ... &keywords=

После SP8 вышло 3 хотфикса на NSS.
Всё ставили?

[Alex-M]

Насколько регулярно проявляются затыки? Как долго держится? LIBNSS - может быть делает фоновое сканирование NSS тома?
Фиксы на MediaManager, NSS и FILESYS последние стоят? Драйвера?

По виртуализации:
1) Конфиг ВМки какой - сколько vCPU, vRAM, какие контроллеры дисков, как организованы тома - VMFS, vRDM, pRDM.
2) Как организована дисковая подсистема сервера и вообще - конфиг железного сервера.
3) Ну и традиционное - попробуйте HyperThreading выключить (если ещё не), это колдунство частенько помогает...

[rahim]

http://download.novell.com/patch/finder/#familyId=122&productId=15481&dateRange=&startDate=&endDate=&priority=&distribution=&architecture=&keywords=

После SP8 вышло 3 хотфикса на NSS.
Ге ставили?

На самом деле последний хотфикс не стоял, накатил. Спасибо. Будем наблюдать.

[rahim]

Насколько регулярно проявляются затыки? Как долго держится? LIBNSS - может быть делает фоновое сканирование NSS тома?
Фиксы на MediaManager, NSS и FILESYS последние стоят? Драйвера?

По виртуализации:
1) Конфиг ВМки какой - сколько vCPU, vRAM, какие контроллеры дисков, как организованы тома - VMFS, vRDM, pRDM.
2) Как организована дисковая подсистема сервера и вообще - конфиг железного сервера.
3) Ну и традиционное - попробуйте HyperThreading выключить (если ещё не), это колдунство частенько помогает...

Затыки проявляются раз неделю-10 дней. Держатся от 10 до 12 часов. Фиксы на MediaManager и NSS последние поставил. Для FILESYS не нашел. Драйвера... Я там понимаю от VMware. Не нашел на ихнем сайте менюшки для скачивания под NW. Возможно более опытные товарищи помогут

Конфигурация

Код: Выделить всё

ВМка
- 1 proc (2 core)
- 4096 MB memory
- hdd - 1: 160 GB
              2: 150 GB

Hypervisor (HP Proliant ML 570 G4)
  - 4 proc (2 core) x 3.4 GHz, Hyperthreading - active
  - 16382 MB memory
  - hdd - 815 GB (RAID 5, SmartArray P400)
  Type VMFS5

Про HyperThreading - очень интересно. Надо попробовать. На данный момент сервер ведет себя спокойно.

[Владимир Семиколенных]

Время начала загрузки - в полночь, какой - то служебный процесс запускается.
На ум приходит Compression Daily Check Starting Hour - как раз по умолчанию в 0 часов.
Компрессия не включена случаем?

[Dimerson]

У групвайза тоже могут быть зашедулены процессы на ночь (какая-нибудь синхронизация или gwcheck).

[Alex-M]

Затыки проявляются раз неделю-10 дней. Держатся от 10 до 12 часов. Фиксы на MediaManager и NSS последние поставил. Для FILESYS не нашел. Драйвера... Я там понимаю от VMware. Не нашел на ихнем сайте менюшки для скачивания под NW. Возможно более опытные товарищи помогут

Конфигурация

Код: Выделить всё

ВМка
- 1 proc (2 core)
- 4096 MB memory
- hdd - 1: 160 GB
              2: 150 GB

Hypervisor (HP Proliant ML 570 G4)
  - 4 proc (2 core) x 3.4 GHz, Hyperthreading - active
  - 16382 MB memory
  - hdd - 815 GB (RAID 5, SmartArray P400)
  Type VMFS5

Про HyperThreading - очень интересно. Надо попробовать. На данный момент сервер ведет себя спокойно.

А дисковый контроллер ВМки какой - IDE, LSI SCSI, LSI SAS? Сетка - Интел Е1000, вижу. Драйвера - я имел ввиду попробовать от Новелла или от Интела/LSI. Для дискового в первую очередь.

По ВМке.
Можно попробовать в порядке колдунства сделать не 1CPU@2core, а 2CPU@1core. Или вообще 1 проц попробовать.
Дисковые тома, я так понял, файлами на VMFS? Как именно - eager-zeroed thik, я надеюсь?

По хосту.
Батарейка на рэйде живая? Самих дисков (шпинделей) сколько? Судя по размеру массива, не очень много. Я бы в такой ситуации сделал R10, а не R5 (если ёмкости хватит, конечно). HT обязательно попробовать выключить - очень часто помогает в самых необъяснимых ситуациях.
И да - фирмварь на сервере вся последняя? BIOS, PMC, RAID, HDDs, iLO, NIC? Ещё в биосе можно попробовать устройства по прерываниям развесить, чтобы диски с сетевыми и илошкой не пересекались, иногда помогает на старом оборудовании.

По гипервизору.
Образ, надеюсь, последний стоит от ХаПэ? Можно еще апдейты посмотреть на esxi-base и драйвера. Или вообще - на 5.5 переползти.

[rahim]

Владимир, Dimerson, вы правы, действительно запущены процессы по обслуживанию почтовый ящиков. Причем я это сам и настраивал когда-то . Но по времени это не должно было никак занимать столько времени (9-12 часов полной загрузки)

Alex-M, спасибо за большой пост, буду пережевывать . К сожалению, не в полной мере знаком с нашей ВМ-инфраструктурой, не я ее создавал и эксплуатирую, но если ситуация ухудшится, приведу все характеристики обязательно и, надеюсь, с вашей помощью в том числе решу проблему.

Сегодня четвертый день после того, как я поставил последние заплатки и сервер "успокоился". Средняя активность резко спала. В полночь запускается Проверка индексов (Structure - Index check) и занимает от 3,5 до 5 часов судя по логам, присылаемым на почту. Время проверки до и и после применения исправлений примерно одинаковое. Только если раньше после окончания проверки загрузка ЦП не спадала аж до обеда, то теперь все как по расписанию.

Словом, будем наблюдать... И заплатки вовремя ставить

[Dimerson]

У вас на томах NSS отключен SALVAGE и т.д. ? Был TID по тюнигу NSS под GroupWise помнится.

[rahim]

У вас на томах NSS отключен SALVAGE и т.д. ? Был TID по тюнигу NSS под GroupWise помнится.

Был бы признателен, если бы поделились ссылкой. В явном виде поиском найти не удалось.

[Юрий Арапов]

Гм...
поиск по базе знаний: GroupWise NSS SALVAGE

первая же ссылка

...
For instance, Novell GroupWise does not need the vast metadata of NSS, the overhead of the file system may even cause delays in GroupWise. Additionally, GroupWise uses several temporary files in it's directory structures, which could cause a large amount of purgeable data, which at it's turn may cause sluggishness in NSS.
When GroupWise is installed on a NSS Volume, it is strongly recommended to disable salvage at least for the queue directories for all agents.
...