GroupWise8. Сообщения застревают во входящих очередях

[Резников Максим]

GroupWise 8.0.2 HP3, Netware 6.5.8 (OES2) +постпатчи, NSS volumes.
На сервере MTA, POA, GWIA. Порядка 1000 ящиков в PO.


Не доставляется почта извне (GWIA, MTA) и внутри если кол-во адресатов >3, статусные сообщения.
Сообщения "застревают" в папках входящих очередей постофиса:
post\wpcsout\ofs\4\
post\wpcsout\ofs\5\
Выгрузка+запуск POA позволяет разослать накопившееся в очередях.
Но потом все опять копится. Причём, первое сообщение, попавшее в
очередь все время открыто сервером (даже не просмотреть).

В общем приходится периодически перезагружать PO, что очень грустно. Завод работает круглосуточно.

Предистория.
В сентябре установили новый сервер с GW8, перенесли туда базы GW6.5. Все обновилось. Работало хорошо.

Чудо случилось в 00:00 01/01/2012. GroupWise вдруг прыгнул на час вперёд (по логам видно хорошо).
Т.е. в Netware время GMT+4, а в GroupWise GMT+5.
Но сообщения все доставлялись.
Не понимая что произошло, перезагрузили весь сервер 11/01/2012. И вот тут-то встала доставка извне (см.выше).
Пересмотрели все настройки.
Открыли SR в Novell. Те порекомендовали сделать rebuild баз домена и офиса.
Сделать смогли это в пятницу вечером (ведь остановить надо систему!). Не помогло.
В выходные исправили время. Оказалось GW стал брать поправку из системной переменной Netware
"Daylight Savings Time Offset = 1:00:00" (почему ?!!!).
Сделали "Daylight Savings Time Offset = 0:00:00" и время в GW стало в норме.
После этого чего только не перепробовали и не перечитали - проблема с доставкой осталась.
С GW работаем второй десяток лет...

"Письма лично на почту ношу..."
Novell еще спит после выходных, да и они такие вопросы задают детские...
Help!

[skoltogyan]

Если отправка >= 3-рем пользователям и все внутри почтового офиса,
например:
user1.post1.dom1 отсылает из клиента GW для
user2.post1.dom1,
user3.post1.dom1,
user4.post1.dom1,
user5.post1.dom1,
и всем получателям не доходит, то проблема только в почтовом офисе (не в gwia и не в mta).

Предпологаю, что да.
Какую именно проверку при помощи gwcheck standalone уже делали ?

Если предоставите удаленый доступ - могу удаленно посмотреть.

[Резников Максим]

Больше 3 строго (больше или равно 4).

Вот кстати да, при помощи gwcheck standalone проверок не делали.
Сейчас попробуем.

[skoltogyan]

каталог почтового офиса(базы) лежит на ext3 или nss ?

[Резников Максим]

Netware 6.5.8 (OES2) +постпатчи,
NSS volume с опциями /nosalvage, /noatime

[skoltogyan]

POA в ProtectionMemory или в обычной ?

Пробовали выгрузить PO , удалить каталоги wpcsin и wpcsout и опять запустить ?

nss тома чекали ?
такой использовали:
;File: SYS:\SYSTEM\GWTUNE.NCF
; Date: September 2, 2011
;
; Created & : Edward J. Hanley, Novell Consulting (2000-on)
; Maintained: Stuart Wolfgramm, Novell Consulting (2000)
; By: Tim C. Heywood , NDS8 (2004-on)
;
; Description: NetWare Command File to tune a NetWare 6.5.8 server for GroupWise v8+

;=== You need to modify 3 files outside of this GWTUNE.NCF file as shown next ===

;=== File: C:\CONFIG.SYS === Next 2 lines (minus the “# ” in front) go in the file
# Files=99
# Buffers=99

;=== File: C:\NWSERVER\STARTUP.NCF === Next 8 lines (minus the “# ” in front) go in the file
# ;— Use the next 5 lines ONLY if you are using Protected Memory Space to load the GW NLMs
# SET Memory Protection Restart Count = 9
# SET Memory Protection No Restart Interval = 10
# SET Memory Protection Abend After Restart Count = ON
# ;— For Cluster Services Unload Scripts for GWPOA NLM in Protected Memory Space —
# SET Hung Unload Wait Delay = 60
# ;— Conserves memory for TCP/IP only server environments (TID’s 10065644, 2953560) —
# SET Maximum Physical Receive Packet Size = 2048

; Novell recommends to only load the GW NLMs in OS Memory Space now. Avoid using Protected Memory Space
; even though Novell Cluster Services promotes Protected Memory Space. See TID 7006193 for solution.

;=== File: C:\NWSERVER\NSSSTART.CFG === Next 11 lines (minus the “#” in front) go in the file [file not created by default]
;=== See TIDs 10093351, 10096748 ===
# /AllocAheadBlks=0
# /MinBufferCacheSize=20000
# /MinOSBufferCacheSize=20000
# /CacheBalanceMaxBuffersPerSession=20000
# /NameCacheSize=200000
# /AuthCacheSize=20000
# /NumWorkToDos=100
# /FileFlushTimer=10
# /BufferFlushTimer=10
# /ClosedFileCacheSize=100000
# /CacheBalance=85

;=== NSS Volume Attributes === -> NoSalvage, NoATime, No Compression, No Disk Quotas

; Its highly recommended to disable the Salvage feature on the Volume hosting GroupWise.
; The following command can accomplish this for you:
; NSS /NoSalvage=GWVolumeName

; Its highly recommended to disable the updating of Last Access Time on Files on the Volume hosting GroupWise.
; The following command can accomplish this for you:
; NSS /NoATime=GWVolumeName

; Make sure the “NSS ReadAheadBlks” setting is set to 2 or lower (No higher than 2)
; If it is any higher, the slower the disk i/o is for GroupWise. If at 64, its a Killer at this point
; NSS /ReadAheadBlks=GWVolumeName:2

;=== GWPOA Tunning Tips ===
; MAX APP CONNECTIONS = 4096 (4/user)
; MAX PHYSICAL CONNECTIONS = 2048 (2/user)
; MSG HDLR THREADS = 12 (the sweet spot)
; C/S HDLR THREADS = 50 (auto allocates up to 99 under load, then auto deallocates back down to 50)

;=== You should apply NetWare 6.5 post SP8 TCPIP and NSS updates ===

;=== TCP/IP Stack Tuning Tips ===
;— These settings are very important for large file transfers —
;— The difference can be between a few seconds to a few minutes in throughput performance —
;— See: http://support.novell.com/techcenter/ar ... 20702.html —
; For a GW server that supports a POA and Windows clients, SET Minshall, Nagle and Delayed ACK to ON
; For a GW Webaccess or GWIA server or X-Plat clients, SET Minshall, Nagle and Delayed ACK to OFF
SET TCP Minshall Algorithm = ON
SET TCP Nagle Algorithm = ON
SET TCP Delayed Acknowledgement = ON

;— TID 10013542 increases small ECBS pool to avoid TCP hang —
SET TCP IP Maximum Small ECBS = 65534

;— TCP/IP Wait States —
; There are 4 states a TCP/IP connection can be in: FIN_WAIT1, FIN_WAIT2, CLOSING, and TIME_WAIT
; The below setting will force close a connection if there are more than 20 in any of these 4 states.
; Reducing this Setting will limit exposure to TCP Fin attacks
; The default is 0, which means Unlimited
; This also fixes WebAccess Agent connections to get cleared. See TIDs 10071321 and 10073428.
SET Maximum Wait States = 20

;=== The following corresponds with NetWare’s MONITOR parameter category order ===

;— Common File System —
SET Maximum Concurrent Directory Cache Writes = 500

;— Communications —
SET Maximum Pending TCP Connection Requests = 4096
;— If your server is exposed to the Internet, the next setting should be ON
SET TCP Defend Land Attacks = OFF
SET Maximum Packet Receive Buffers = 10000
SET Minimum Packet Receive Buffers = 3000
SET New Packet Receive Buffer Wait Time = 0.1
SET Maximum Interrupt Events = 50

;— Directory Services —
; If this server is a busy GW server, we recommend that it not host DS replicas

;— Disk —
SET Enable Disk Read After Write Verify = OFF
; The next setting makes a BIG difference to Performance
SET Sequential Elevator Depth = 3000
; If you have Battery Backed Cache on a RAID controller, SET hardware write back to ON
SET Enable Hardware Write Back = ON
SET Maximum Concurrent Disk Cache Writes = 4000
SET Maximum Transactions = 10000
SET Maximum Concurrent Directory Cache Writes = 200

;— Error Handling —
; nothing

;— Licensing Services —
; nothing

;— Memory —
; nothing

;— Miscellaneous —
;— The below value must be below the Cluster Heartbeat value (default —
SET CPU Hog Timeout Amount = 7 sec
;— The next two lines fix a NCS 1.6 & > Split Brain issue —
SET Minimum Service Processes = 500
SET Maximum Service Processes = 1000

;— Multiprocessor —
; nothing

;— NCP —
SET Level 2 Oplocks Enabled = OFF
SET Client File Caching Enabled = OFF
SET NCP Protocol Preferences = TCP UDP
SET Maximum Outstanding NCP Searches = 500

;— Novell Storage Services —
; See above C:\NWSERVER\NSSSTART.NCF section

;— Service Location Protocol —
; nothing

;— Time —
; nothing

;— Traditional File System (optional) —
;— Will not adversely effect a non TFS server —
SET Directory Cache Allocation Wait Time = 0.1 sec
SET Directory Cache Buffer Nonreferenced Delay = 30 sec
SET Maximum Directory Cache Buffers = 200000
SET Minimum Directory Cache Buffers = 1200
SET Maximum Number Of Internal Directory Handles = 1000
SET Maximum Number Of Directory Handles = 1000
SET Maximum Record Locks Per Connection = 10000
SET Maximum Record Locks = 20000
SET Maximum File Locks = 200000
SET Read Ahead Enabled = ON
SET Read Ahead LRU Sitting Time Threshold = 60 sec
SET Minimum File Cache Buffers = 200
SET Dirty Disk Cache Delay Time = 0.5 sec
SET Maximum Concurrent opens per file and connection = 1000000

;— Force Changes into the NetWare Registry —
FLUSH CDBE

;=== Other items to take care of ===
; (1)
; Ensure that all AV scanners are disabled for scanning the GW PO, Domain and Gateways file structures.
; If your AV will support it – you can scan the temp storage area for WebAccess attachments.
;
; (2)
; All NetWare servers should have Hyperthreading disabled – the second pipe
; has only 3 steps as opposed to the primary that has 7 – net result for a
; NetWare server is ~17% slow down (Windows folk noticed this 4 years later)
; To disable Hyperthreading – modify the BIOS of the server
;
; (3)
; With NetWare 6.5 SP8 there is a new option that will improve the speed of
; the POA in normal work, and dramatically improve performance of a GWCheck
; contents check. The option is based on a new NSS switch that disables
; “atime” and “diratime” on a volume. As GWCheck touches/reads each blob
; three times, the metadata for atime and diratime is updated three times
; or in other words for each blob check we have 6 writes
;
; NSS /NoATime=GWVolumeName
;
; If you need to re-enable the ATime feature, use this command:
; NSS /ATime=GWVolumeName
;
; (4)
; If your server is dedicated to GW, Set your hard disk controller Read/Write
; ratio to 80/20, if possible, most controllers can only be set to 75/25.
; Most disk controllers are set at 50/50 as their default R/W ratio.
; GW is mostly doing index read in small chunks of data.
; The GW average number of reads is 4 times more than writes
?

[Резников Максим]

POA работает в обычном режиме (не protected memory).

wpcsin и wpcsout не удаляли. Попадались такие рекомендации для GW5.5. Папки сами должны пересоздаться в GW8, проверяли?

Многое из приведённого конфигурационного файла сделано (не всё, но основное). Да и многое на производительность влияет.

[skoltogyan]

да. перевосстанавливаются.
начинать надо с gwcheck

[Павел Гарбар]

МТА c POA общаются по TCP/IP или через диск (Direct)?
Даже если они стоят на одном сервере, я бы сделал их общение по TCP/IP.

[Резников Максим]

Через диск общаются.
Идея интересная. Логичная. Надо порыться в документации.

З.Ы. Павел, приветствую!

[Резников Максим]

Не получилось перевести на TCP/IP. В LinkConfiguration перенастроили способ (и адрес) подключения почтового отделения. IP-адреса в домене и офисе настроены.
Post Office не хочет открываться. 2 раза пробовали. И агентов выгружали. Не хочет открываться. Непорядок какой-то.
Оставили direct пока.

Да, gwcheck внешний не дождались - долго очень (почти 200 ГБ база).
Папки WPCSOUT и WPCSIN удаляли -- они пересоздались.

[Ковалев Артем]

Да, gwcheck внешний не дождались - долго очень (почти 200 ГБ база).

А вот это зря. Мои 400 Гб чекаются часов за 15-20, если с контентом, если без - то за пару.

[Резников Максим]

Пробуем

[Андрей Троценко]

Не получилось перевести на TCP/IP. В LinkConfiguration перенастроили способ (и адрес) подключения почтового отделения. IP-адреса в домене и офисе настроены...
Post Office не хочет открываться. 2 раза пробовали. И агентов выгружали. Не хочет открываться. Непорядок какой-то...

А в конфигурационном файле для POA изменили ? Конфигурационный файл перекрывает настройки агента в БД.
Что интересно: после удачного старта АПО, можно убрать изменения из конфиг. файла, а АПО должен продолжить работать.

[Резников Максим]

Что именно надо изменить в конфигурационном файле? Там все заремарено кроме пути к папке офиса.
Или имелось в виду, что там есть какие-либо настройки. Нету.