Блин, не могу победить obituary

Обсуждение технических вопросов по продуктам Novell

Блин, не могу победить obituary

Сообщение Сергей Дубров » 13 янв 2005, 14:53

Вобщем и меня посетила чаша сия - обнаружились в дереве неудаляемые объекты (в основном юзеры после перемещения в другой OU). Перечитал все ТИДы, форумы и пр. - не могу убить последние пять штук, хоть тресни. Что делал:

По рекомендация Новела и местных уважаемых собаководов многократно пересаживал мастер-реплику на разные сервера, на них запускал dsrepair -OT и dsrepair -XK3 - не помогло. Удалось только добиться ситуации, когда external references остались только на одном сервере (в реплике 4 сервера).

Поразмыслив немного, я решил удалить реплику с этого сервера, благо есть ещё три копии, а потом создать её заново. Удаляю, удаляю, удаляю, со скрипом, но удалилась. Сервер при этом вообще встал колом, пришлось его перезаггружать с кнопки. Ну тут и посыпалась куча матов в связи с остутсвием реплики. Ладно, дождался, когда загрузка закончится, на консоли рядом стоящего сервера из C1 добавляю новую реплику к только что зашруженному серверу. Очень долго всё это длилось, но - добавилась успешно. Но вот тут вылезло самое интересное:

dsrepair -a|Advanced Options Menu | Check external references - опять вижу эти obituary INHIBIT_MOVE, НО(!) уже гораздо меньше - всего пять штук. Когда начинал бороться, было их под 70. Бегом проверяю external references на других серверах в реплике - пусто, т.е., как и было до того, как я реплику удалял/создавал.

1. Вопрос - откуда взялись obituary на этом сервере - ведь реплику на нём я удалял! А на других серверах перед удалением реплики (и после создания новой) никаких obituary нет.

2. Что же всё-таки делать? Упражнения с dsrepair -XK3 не помогают. Или надо попытаться проделывать это и на тех серверах, где obituary уже и так нету? Но это же локальные ссылки, лечить надо на "больном". Да и делал я это уже. Кстати, все ремонты Repair local DS database (и dsrepair -OT и dsrepair -XK3) дают ноль ошибок. А у этих зараз obituary FLAGS=0000 и не меняется - залипли :cry:

Сервера - 4.11 и 5.1, DS6.21 и 8.7.1.1 соответственно. Застрявшие obituary - на 4.11.
Аватара пользователя
Сергей Дубров
 
Сообщения: 2081
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Re: Блин, не могу победить obituary

Сообщение alexp_mac » 13 янв 2005, 15:54

Тут вопрос мутный, я тоже одно время боролся с этим, помню весь вечер убил.
У меня в памяти осталось только то, что сходу с налету они не лечатся.
Т.е. после выполнения шаманских действий от новела надо подождать несколько часов, и они уходят. Так что может просто расслабиться?
alexp_mac
 
Сообщения: 788
Зарегистрирован: 28 июн 2002, 10:50

Re: Блин, не могу победить obituary

Сообщение Сергей Дубров » 13 янв 2005, 17:49

Алексей Подгорчук писал(а):Тут вопрос мутный, я тоже одно время боролся с этим, помню весь вечер убил.

Я весь день на это угрохал, даже студентам билеты к экзамену отослать не успел... Админ-преподаватель - это чревато :oops:

Алексей Подгорчук писал(а):У меня в памяти осталось только то, что сходу с налету они не лечатся.

У меня под рукой есть тестовое дерево, в котором уже кто только не перебывал - от 4.11 до 6.5, - сейчас там 4.11 и 5.1. Сунулся туда - тоже есть obituary. Приступаю к шаманской пляске - dsrepair -OT -> dsrepair -XK3 - и всё лечится в течении пары минут. Даже успел увидеть как в Check external references Flags менялись 0000 -> 00001-> 0002 -> 0003 - и всё, проблема исчезла. Правда есть одно отличие - делал я это на 5.1, а в рабочем дереве у меня проблемный - 4.11. Завтра надо будет в тестовом дереве на 4.11 глянуть. Очень похоже, что 5-ка и выше лучше справляется с obituary, а на 4.11 и dsbrowse не загрузишь :cry: .

Алексей Подгорчук писал(а):Т.е. после выполнения шаманских действий от новела надо подождать несколько часов, и они уходят. Так что может просто расслабиться?

Теперь уже без вариантов - из дома пишу :wink: . Вот завтра утром и гляну. Не утерпел, сейчас посмотрел - всё так же, а прошло ~2 часа. Ладно, буду подождать и дальше подумать... :lol:

И всё-таки я не понял - откуда, при создании НОВОЙ реплики эти самые пять штук obituary взялись? Ведь на остальных серверах, держателях этой же реплики, их не было ни перед удалением реплики и нет сейчас. Откуда эта зараза их нашла? И, главное, даты у них самые разные - самая старая - март 2004, самая новая - сегодня. Причём сегодня я переносил содержимое двух OU, и все юзеры оттуда вначале были в obituary, но сейчас остался только один. Чудеса...
Аватара пользователя
Сергей Дубров
 
Сообщения: 2081
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Re: Блин, не могу победить obituary

Сообщение PavelKHTW » 13 янв 2005, 17:53

Сергей Дубров писал(а):2. Что же всё-таки делать?

Было похожее, вылечил шаманским способом - удалил все реплики, кроме мастера, на нем dsrepair, потом перезагрузка, опять dsrepair - помогло. Потом, через некоторое время вернул все реплики на старые места - главное в не спешить, и после каждого новой реплики пускать dsrepair на всех серверах с репликой.

ps Сервера NW5.1sp6.
PavelKHTW
 
Сообщения: 1037
Зарегистрирован: 08 окт 2003, 13:02
Откуда: Украина

Сообщение Сергей Дубров » 13 янв 2005, 18:21

Ну вот же, я именно так и делал - TID10073618 (сам додумался, о! :lol:):

"If the MOVED obituary is not found, check all replicas in the destination partition for the INHIBIT_MOVE obituary. If there is at least one R/W that does not show the INHIBIT_MOVE obituary, load DSREPAIR on the R/W replica server and change that server to be the Master replica using DSREPAIR | Advanced Options | Replica and Partition operations | Choose the Partition | Designate this server as the new Master replica. Once that server is the Master, use NDS Manager or ConsoleOne to remove the any other R/W replicas that have the obituary and then re-add the replica. It will will receive a new copy from the Master, which should be clean. "

Не понимаю, ведь действительно should be clean - откуда он эти пять покойников раскопал при добавлении реплики?
Аватара пользователя
Сергей Дубров
 
Сообщения: 2081
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Сообщение Музалёв Николай » 13 янв 2005, 18:31

...откуда...[покойники]

В порядке бреда: из бакапных копий файлов Дерева, что в каталоге _NW.
armoracia rusticana (lat.), "блины" и "фиги" всех видов, а также смайлики - крайне не желательны !
Музалёв Николай
 
Сообщения: 3027
Зарегистрирован: 04 июн 2002, 19:58
Откуда: Беларусь. МИНСК.

Сообщение Константин Ошмян » 13 янв 2005, 18:47

Сергей, а может, всё гораздо проще - из-за того, что при удалении реплики сервер "вообще встал колом" и "пришлось его перезаггружать с кнопки", то уделение реплики завершилось не вполне корректно и дальнейшие чудеса - следствие этого? Я имею в виду и "куча матов в связи с остутсвием реплики" (не должно было такого быть при корректном сносе реплики), и "очень долго всё это длилось" (про добавление реплики снова), и, наконец, главное - "но - добавилась успешно" под большим вопросом.

Резюме: Может, попытать счастья с удалением/добавлением реплики ещё раз? Только, как говорил тов. Саахов из "Кавказской пленницы" - "Торопиться не надо!" (ну да не тебя учить :wink: )
Аватара пользователя
Константин Ошмян
 
Сообщения: 986
Зарегистрирован: 13 авг 2002, 21:36
Откуда: Рига

Сообщение Сергей Дубров » 14 янв 2005, 06:59

Константин Ошмян писал(а):Сергей, а может, всё гораздо проще - из-за того, что при удалении реплики сервер "вообще встал колом" и "пришлось его перезаггружать с кнопки", то уделение реплики завершилось не вполне корректно и дальнейшие чудеса - следствие этого? Я имею в виду и "куча матов в связи с остутсвием реплики" (не должно было такого быть при корректном сносе реплики), и "очень долго всё это длилось" (про добавление реплики снова), и, наконец, главное - "но - добавилась успешно" под большим вопросом.

Да нет, вроде добавилась она действительно успешно, по-крайней мере все симпотмы указывают на это. Хотя зависание сервера при удалении реплики было действительно очень странным, я такого никогда не видел - когда пришёл в зал, к консоли, на экране не было НИЧЕГО, просто пусто (не было даже курсора!), на кнопки сервер не реагировал и не пинговался. При этом на двух из трёх оставшихся в реплике серверов этот сервер уже отсутствовал в replica ring, а в третьем был в состоянии dying и реально исчез минут через пять, я специально подождал. После этого dsrepair на трёх оставшихся по нескольку раз и добавление реплики по новой.

А ругань при перезагрузке без реплики была на невозможность проверки sequrity equivalence для пользователей и группы (у нас все юзеры, получающие почту, помещаются в спец. группу, точнее - группы). Поскольку юзеров много, ругань длилась долго, с полчаса, наверное. Я знаю, что ничего такого быть не должно, не впервой реплики удалять/добавлять, но тут вот так случилось, не понимаю почему. Какая-то из служб (не помню точно) ругнулась вполне конкретно - мол, не буду работать, коль копии реплики нет. Ну bindery context, понятно, тоже. Но вот с sequrity equivalence - непонятно.

Константин Ошмян писал(а):Резюме: Может, попытать счастья с удалением/добавлением реплики ещё раз? Только, как говорил тов. Саахов из "Кавказской пленницы" - "Торопиться не надо!" (ну да не тебя учить :wink: )

Да, я уже пришёл к выводу, что придётся повторить эту операцию. Изучив ситуацию поглубже и начитавшись ТИДов, я понял, что dsrepair -OT (-XK3) мне в данном конкретном случае не помогут, они решают немного другую проблему - подталкивают застрявшую транзакцию при переносе объекта, т.е., когда исходный (MOVED) объект ещё жив, но по какой-то причине target obituary остался в состоянии 0000. У меня же эти пять obituary, насколько я разобрался, то, что называется сиротки (orphan) :lol:, т.е., залипшие без ссылки на исходный объект. И единственный способ борьбы с этим (по Новелу и по PavelKHTW и как я сообразил сам) - удаление проблемной реплики.

Кстати, в одном из тидов на эту тему (там описывается борьба с помощью iManager-а) есть страшное предупреждение - если вы ошибочно посчитаете obituary сироткой и удалите его при наличие живого исходного MOVED объекта - дереву кирдык, оно перейдёт в inconsistent состояние и тогда только большой Брат, тьфу, Новелл :lol:, может спасти. Поэтому я "торопиться не буду", поизучаю ситуацию повнимательнее, вдруг где-то этот самый MOVED притаился :wink:.

P.S. Константин, как там тебя - не затопило?
Аватара пользователя
Сергей Дубров
 
Сообщения: 2081
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Сообщение Владимир Горяев » 14 янв 2005, 13:10

Может еще попробовать получить реплику с непроблемного сервера. Ну а на страшилки есть бекап :D
Бардак автоматизировать невозможно!!!
_________________
Аватара пользователя
Владимир Горяев
 
Сообщения: 3473
Зарегистрирован: 05 июн 2002, 13:37
Откуда: Смоленск

Сообщение Сергей Дубров » 14 янв 2005, 14:58

Владимир Горяев писал(а):Может еще попробовать получить реплику с непроблемного сервера.

Ты про "Receive all objects from the master to this replica"? Пробовал - те же яйца, только в профиль. Реплика на проблемном сервере перешла в состояние New, потом Transition, потом On - в общем всё так, как если бы я просто удалил/добавил реплику ("я так думаю" (с) Мимино). Но те же пять сирот-покойников - на месте. На мастере их нет, проверял до и после. Откуда он их берёт? Не нравится мне это... :cry:

Владимир Горяев писал(а):Ну а на страшилки есть бекап :D

Бэкап дерева? Есть, только вот что там получится с рестором в случае чего. И получится ли вообще :wink:
Аватара пользователя
Сергей Дубров
 
Сообщения: 2081
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Offtopic

Сообщение Константин Ошмян » 14 янв 2005, 15:00

(Небольшой оффтопик)
Сергей Дубров писал(а):P.S. Константин, как там тебя - не затопило?
Меня, к счастью нет (как и никого из моих родных-близких-знакомых), но ветер дул очень сильный (по официальным сообщениям - 40 м/с) и воды в город нагнал изрядно. Можно посмотреть "официальную хронику" (или, лучше тут, на ссылке справа "фотогалерея" есть фотографии) либо посмотреть "фотки читателей", например, вот тут или тут. Например, вышел из берегов городской канал (на фотографии - затопленный декоративный мостик через впадающий в канал ручей, так этот мостик расположен вдоль канала и на берегу над каналом), некоторым машинам не повезло - на кого-то упала крыша, а кого-то просто затопило, местами посрывало крышу. Пострадал даже памятник Барклаю (на него упала ветка, вонзив в спину острый сук). Но это всё ерунда, главное - то, что из-за порванных проводов было обесточено 2/3 территории республики, и в некоторых местах восстановить электроснабжение и связь удалось лишь через несколько дней.
Аватара пользователя
Константин Ошмян
 
Сообщения: 986
Зарегистрирован: 13 авг 2002, 21:36
Откуда: Рига

Сообщение Владимир Горяев » 14 янв 2005, 23:17

Сергей Дубров писал(а):Ты про "Receive all objects from the master to this replica"?
Угу.
Сергей Дубров писал(а): Бэкап дерева? Есть, только вот что там получится с рестором в случае чего. И получится ли вообще :wink:
dsrepair -rc рулит(соответственно на каждом сервере.), проверено на 4.11, 5.1 и 6.0, отчитывался я на нашем форуме, и одного сервера с деревом здесь же восстановили.

Константин Ошмян писал(а): (Небольшой оффПОтопик)
:lol:
Бардак автоматизировать невозможно!!!
_________________
Аватара пользователя
Владимир Горяев
 
Сообщения: 3473
Зарегистрирован: 05 июн 2002, 13:37
Откуда: Смоленск

Сообщение Сергей Дубров » 14 янв 2005, 23:38

Владимир Горяев писал(а):
Сергей Дубров писал(а):Ты про "Receive all objects from the master to this replica"?
Угу.

Дык не помогло, делал...

Владимир Горяев писал(а): dsrepair -rc рулит(соответственно на каждом сервере.),

Дык сделано уже давно, на всех серверах, как только начал разборки - условный рефлекс :lol: . Только, помнится, бывали проблемы с восстановлением (у меня лично и конкретно).

Владимир Горяев писал(а):проверено на 4.11, 5.1 и 6.0, отчитывался я на нашем форуме, и одного сервера с деревом здесь же восстановили.

Я помню, читал. Только у меня на стенде с рестором разок облом вышел вполне конкретный, вот и сумневаюсь. А так ещё арксерв каждый день дерево бэкапит.
Аватара пользователя
Сергей Дубров
 
Сообщения: 2081
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

И всё-таки что-то не так с obituary

Сообщение Сергей Дубров » 04 апр 2005, 08:59

Возвращаюсь к своим баранам, в смысле - obituary. Наконец-то выкроил время и в выходные прихлопнул пять висящих obituary-сироток. В этот раз всё прошло как надо (напомню: у меня торчали пять obituaries в состоянии Inhibed_move в одной из четырёх реплик). Убил реплику, перезагрузил сервер (на всякий случай), прогнал dsrepair -a на трёх оставшихся репликах - obituary нет. Снова добавляю реплику - всё, покойничков нет и в новой реплике (и во всех остальных тоже).

Но! Заметил такую вещь - в последнее время ВСЕ операции, порождающие obituaries - удаление, переименование, перемещение объектов - приводят к практически стопроцентному залипанию покойничков! При этом obituaries находится в состоянии unprocessed, т.е., в фазе ноль - возник obit - и всё, дальше он не получает никаких уведомлений и застревает в Flags=0000 (Issued). В реплике четыре сервера: три 4.11+ds6.21 и один 5.1+DS8.7.1.1. Что интересно - если мастер-реплика на 5.1 - obit-ы залипают и стандартные танцы с dsrepair -OT -XK3 не помогают. Пересаживаю мастер реплику на 4.11, делаю dsrepair -OT -> dsrepair -XK3 - всё, obituaries исчезли.

Такое ощущение, что проблемы с obit-ами возникают, когда мастером именно 5.1 с eDir. Перерыл все новеловские тиды, ничего не нашёл в этой связи, только стандартное предположение, что obit-ы могли залипнуть из-за того, что в момент в возникновения с каким-то из серверов не было связи. Но это не мой случай - связь наличествует, синхронизация в норме. Не понимаю, откуда проблема... Вот кусок dsrepair.log с одного из серверов, может сообщество что углядит:

Код: Выделить всё
Netware 4.1 Directory Services Repair 4.73a, DS 6.21
Log file for server "ASUS.CSD.BINP" in tree "BINP-TREE"
External Reference Check
Start:  Monday,  4 April 2005  11:06:25  Local Time
Found obituary at VID: 007279C0, EID: 01000614, DN: CN=Solomatin.OU=Lab5.O=BINP.BINP-TREE
  TV:  4.04.2005 10:52:57 0003, Type = 0003 INHIBIT_MOVE, Flags = 0000
Found obituary at VID: 00733500, EID: 8B000F60, DN: CN=Solomatin.OU=OOT.O=BINP.BINP-TREE
  TV:  4.04.2005 11:04:40 0003, Type = 0002 MOVED, Flags = 0000
  MoveObit: destID = 01000614, CN=Solomatin.OU=Lab5.O=BINP.BINP-TREE
Found obituary at VID: 00597880, EID: 8B000F60, DN: CN=Solomatin.OU=OOT.O=BINP.BINP-TREE
  TV:  4.04.2005 11:04:40 0003, Type = 0006 BACKLINK, Flags = 0000
  Backlink: Type = 00000002 MOVED, RemoteID = FFFFFFFF, ServerID = 010000B9, CN=ASUS.OU=CSD.O=BINP.BINP-TREE
Found obituary at VID: 006879C0, EID: 8B000F60, DN: CN=Solomatin.OU=OOT.O=BINP.BINP-TREE
  TV:  4.04.2005 11:04:40 0003, Type = 0006 BACKLINK, Flags = 0000
  Backlink: Type = 00000002 MOVED, RemoteID = FFFFFFFF, ServerID = 01000664, CN=NKOS.OU=NKO.O=BINP.BINP-TREE
Found obituary at VID: 006ADBC0, EID: 8B000F60, DN: CN=Solomatin.OU=OOT.O=BINP.BINP-TREE
  TV:  4.04.2005 11:04:40 0003, Type = 0006 BACKLINK, Flags = 0000
  Backlink: Type = 00000002 MOVED, RemoteID = FFFFFFFF, ServerID = 010000BA, CN=GHOST.OU=CSD.O=BINP.BINP-TREE
Checked 0 external references

Комментарий - ситуация возникла, когда я переместил пользователя Solomatin из контекста OOT.BINP в Lab5.BINP. В backlink-ах указываются сервера (почему-то все только с NW4.11!), с которыми должен провзаимодействовать текущий сервер, но у всех Flags = 0000. В момент перемещения мастер был на 5.1. В чём может быть причина такого поведения?
Аватара пользователя
Сергей Дубров
 
Сообщения: 2081
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Сообщение Галина Сторожева » 05 апр 2005, 11:23

Данный документ

http://support.novell.com/cgi-bin/searc ... 013126.htm

по этому поводу советует:

Use the following DSTRACE commands to start the backlink process:
Set DSTRACE=+blink
Set DSTRACE=*b

Мне это всегда помогало, когда dsrepair не лечит :roll:
Галина Сторожева
 
Сообщения: 31
Зарегистрирован: 12 ноя 2002, 14:39

След.

Вернуться в Novell

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 3

cron