Тормоза при копировании, что смотреть?

Обсуждение технических вопросов по продуктам Novell

Re: Тормоза при копировании, что смотреть?

Сообщение Ok » 05 апр 2004, 11:33

Алексей Соловьянов писал(а):
Ok писал(а):А надо ставить нетварь 6, там совсем другая дисциплина дискового обмена.

Вот только вряд ли дисковые блины об этой дисциплине что-то знают :D

И когда они про это не знают, тогда и скоростенка около 3... :(
Ok
 
Сообщения: 13
Зарегистрирован: 31 мар 2004, 20:44
Откуда: Около Москвы

Все, жажду подробностей!!

Сообщение Алексей Соловьянов » 05 апр 2004, 12:41

Ok писал(а):
Алексей Соловьянов писал(а):
Ok писал(а):А надо ставить нетварь 6, там совсем другая дисциплина дискового обмена.

Вот только вряд ли дисковые блины об этой дисциплине что-то знают :D

И когда они про это не знают, тогда и скоростенка около 3... :(

Простите, а где об этих новшествах можно почитать?
MCSE WinNT 4.0, MCSE W2K, MCSE W2K3
CNE 4-6
Аватара пользователя
Алексей Соловьянов
 
Сообщения: 179
Зарегистрирован: 16 июл 2002, 14:47
Откуда: Москва

Re: Тормоза при копировании, что смотреть?

Сообщение Сергей Дубров » 05 апр 2004, 13:32

Алексей Соловьянов писал(а):
Сергей Дубров писал(а):Вместо этого вы настойчиво предлагаете переход на новую версию - уж не манагером ли по продажам продуктов Новел вы подрабатываете?

Сергей, а Вы еще подеритесь :-)

Вот ещё :lol:

Алексей Соловьянов писал(а):А если серьезно, проблема в том, что все производители забивают на поддержку предыдущих версий своих систем. Причем как те, кто делает железки, так и эти, кто производит софт. Поэтому да, если есть возможность, лучше получать "удовольствие" от приживления последней версии операционки.

Это-то всё понятно, но предыстория спора немного другая - утверждалось, что все без исключения NW до NW 6.xx ведут себя при записи следущим образом: сначала dirty cache буфера нарастают до максимально возможной величины, а потом дисковая система начинает неторопливый сброс кешей на диск, что сопровождается ещё и отваливанием сетевых клиентов. На мои возражения, что это - аномалия и у меня без описываемых ужасов работает куча серверов версий ниже 6-ки (даже 3.12 есть) - следовало упоминание этих самых загадочных новшеств у 6-ки. У меня когда-то, очень давно, такого сорта неприятности вылезли на 3.12 с AHA2940 и я, после переписки с саппортом Адаптека, получил примерно через месяц правильно работающий драйвер. Вот, собственно, и вся история. Я ж не против перехода на новое, когда он оправдан и необходим, но когда его (переход) обосновывают исключительно тем, что все (якобы) версии NW до 6 ведут себя неправильно в части работы с дисками - я позволяю себе усомниться.
Аватара пользователя
Сергей Дубров
 
Сообщения: 2096
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Re: Все, жажду подробностей!!

Сообщение Ok » 05 апр 2004, 14:09

Алексей Соловьянов писал(а):Простите, а где об этих новшествах можно почитать?

А тут по соседству, потому что тема раз в месяц где-то всплывает:

http://webforum.land.ru/mes.php?id=8889 ... lst=&arhv=

Видите, участники почти те же, мнения такие же... :D

Чуть уточним. По мнению Сергея Дуброва и моему (остальные тоже как-то не возражают) количество грязных буферов растет до десятков тысяч. Да и Вы сами, наверное, на это обращали внимание. А вот дальше как раз и работают дисковые дрова. Почему я и говорю о дисциплине (концепции, алгоритме...), потому что похоже, что прежняя нетварь ждет, а вдруг кому нужен тот файл, и не спешит начинать дисковый обмен. Конечно, дровами тут горю особенно не поможешь, разве что улучшить их на финальной стадии досброса буферов на винты, что и видит Сергей Дубров. А напомню, что в нетвари 6 количество грязных кешей сильно меньше. Для нетвари до 5 вкл. скорость будет зависеть от того, насколько центральный вычислитель будет загружен дисковым обменом. Следует ожидать приличной скорости на многопроцессорках или на сказевых подсистемах с неслабым мозговитым контроллером (в т.ч. и на райдах). Поэтому и мнения слишком разнятся.

Как по мне, так это небрежность алгоритма и/или архитектуры. Вряд ли какая книжка Новелла об этом будет подробно говорить. Но, конечно, не факт.
Ok
 
Сообщения: 13
Зарегистрирован: 31 мар 2004, 20:44
Откуда: Около Москвы

Re: Все, жажду подробностей!!

Сообщение Сергей Дубров » 05 апр 2004, 14:31

Ok писал(а):Чуть уточним. По мнению Сергея Дуброва и моему (остальные тоже как-то не возражают) количество грязных буферов растет до десятков тысяч.

Нет. Я такого не говорил. На нормально работающей системе при максимально возможной нагрузке на запись я видел 4, от силы - 6 тысяч грязных буферов, никак не десятки тысяч, это вы мне приписали непонятно с чего. Вот как раз тогда, когда я вижу десятки тысяч - я и считаю это аномалией и разбираюсь с дисковой подсистемой. С адаптеком мне новые драйверы помогли однозначно - даже в пиках dirty cache не прыгали выше 1.5-2 тыс., тогда как с исходным драйвером как раз десятки тысяч и было.

Ok писал(а):потому что похоже, что прежняя нетварь ждет, а вдруг кому нужен тот файл, и не спешит начинать дисковый обмен.

Это ваши домыслы, не более. На ВСЕХ моих подопечных NW никто ничего не ждёт, интенсивная запись начинается с относительно небольшого числа грязных буферов. На мой прямой вопрос ответ когда нибудь последует? "Что я делаю направильно?" (с)

Ok писал(а):Конечно, дровами тут горю особенно не поможешь, разве что улучшить их на финальной стадии досброса буферов на винты, что и видит Сергей Дубров.

Нет, я вижу совершенно аналогичное поведение при записи как дисковой подсистемы на NW3.12/4.11/5.1 так и 6.0, вы мне опять пытаетесь навязать собственную точку зрения, а я вам уже устал повторять - НЕ ВЕДУТ СЕБЯ так NW версий до 6, по крайней мере у меня и у кучи моих знакомых, в первом приближении от 6-ки в этом плане я разницы НЕ ВИЖУ. "Что я делаю неправильно?".

Ok писал(а):А напомню, что в нетвари 6 количество грязных кешей сильно меньше. Для нетвари до 5 вкл. скорость будет зависеть от того, насколько центральный вычислитель будет загружен дисковым обменом. Следует ожидать приличной скорости на многопроцессорках или на сказевых подсистемах с неслабым мозговитым контроллером (в т.ч. и на райдах). Поэтому и мнения слишком разнятся.

У меня на 5.1 по тестам (без сети, portlock dsktest) - до 70-ти мбайт/сек, через сеть - 35-40 мбайт/сек, БЕЗ увеличения кол-ва грязных буферов до немыслимых значений - обычно держится в сотнях, иногда - до пары тысяч прыгает, не более. "Что я делаю неправильно?"

Ok писал(а):Как по мне, так это небрежность алгоритма и/или архитектуры. Вряд ли какая книжка Новелла об этом будет подробно говорить. Но, конечно, не факт.

Вся эта (мнимая) небрежность - результат исключительно вашего знакомства с конкретными представителями кривых дров/железок, но никак не свойств архитектуры NW дошестёрочных версий. Вы ведь так и не потрудились дать ссылки на источники, описывающие "новшества работы дисковой подсистемы NW6", все ваши утверждения надо сопровождать расхожим слоганом IMHO - тогда вопросов не будет, все поймут, что вам просто не повезло :lol: .
Аватара пользователя
Сергей Дубров
 
Сообщения: 2096
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Re: Все, жажду подробностей!!

Сообщение Ok » 05 апр 2004, 15:32

Сергей Дубров писал(а):
Ok писал(а):Чуть уточним. По мнению Сергея Дуброва и моему (остальные тоже как-то не возражают) количество грязных буферов растет до десятков тысяч.

Нет. Я такого не говорил. На нормально работающей системе при максимально возможной нагрузке на запись я видел 4, от силы - 6 тысяч грязных буферов, никак не десятки тысяч, это вы мне приписали непонятно с чего.


А Вы бы написали "сотен ИЛИ тысяч", а то как прикажете понимать?

Сергей Дубров писал(а):Нормальное поведение - рост до нескольких сотен-тысяч буферов - и дальнейшее балансирование на этом уровне, с интенсивной записью на диски. У меня так работают все подопытные дисковые подсистемы (AHA2940, MegaRAID, Mylex AcceleRAID 352, Adaptec RAID 2100S, Intel SRCU32 и пр.).


Собственно, тысячи и десятки тысяч - цифирь почти одного плана. Я, кстати, на 6 и тысяч не получил, а десятки или иногда сотни.

Сергей Дубров писал(а):На ВСЕХ моих подопечных NW никто ничего не ждёт, интенсивная запись начинается с относительно небольшого числа грязных буферов. На мой прямой вопрос ответ когда нибудь последует?

Нет, я вижу совершенно аналогичное поведение при записи как дисковой подсистемы на NW3.12/4.11/5.1 так и 6.0, вы мне опять пытаетесь навязать собственную точку зрения, а я вам уже устал повторять - НЕ ВЕДУТ СЕБЯ так NW версий до 6, по крайней мере у меня и у кучи моих знакомых, в первом приближении от 6-ки в этом плане я разницы НЕ ВИЖУ.

Вся эта (мнимая) небрежность - результат исключительно вашего знакомства с конкретными представителями кривых дров/железок, но никак не свойств архитектуры NW дошестёрочных версий. Вы ведь так и не потрудились дать ссылки на источники, описывающие "новшества работы дисковой подсистемы NW6", все ваши утверждения надо сопровождать расхожим слоганом IMHO - тогда вопросов не будет, все поймут, что вам просто не повезло :lol: .

Ну, слоган ИМХО мне просто нравится куда меньше, чем что-то стандартное вроде "надо думать" или "похоже". ИМХО, Вы это, возможно, увидели в репликах. :) Далее, как же Вы объясните изрядную повторяемость этой темы во всех конфах из месяца в месяц? Надеюсь, против такой статистики Вы возражать не будете? В конце концов ладно, пусть я чайник, но значительно более образованный народ тоже что-то молчит насчет литературных источников как подтверждающих, так и опровергающих это явление. А оно, безусловно, существует, иначе конфы бы о производительности не спрашивали. И ответы, кроме замены дисковых драйверов на нечто более новое и адекватное (против чего я ни в коем случае не возражаю и никогда не возражал), ничего другого не дают.

Иначе говоря, опираясь на Ваши выводы, можно подумать, что нетварь должна более-менее прилично работать только на изначально для нее предназначенном железе (т.е. на ооочень редких машинах - YES :) ). А по всем прочим пользователь системы (который сисадмин) должен контачить с разработчиками железа и, возможно, операционки. Или я неправ?
Ok
 
Сообщения: 13
Зарегистрирован: 31 мар 2004, 20:44
Откуда: Около Москвы

Наука...в этом мире...часто бывает неправа!!! :)

Сообщение Мещеряков Андрей » 05 апр 2004, 16:53

Самое интересное в этом споре то, что ТЕОРИТИЧЕСКИ с ростом версий NetWare ее быстродействие должно.. падать! Растет объем кода, растет алгоритмическая сложность (экспоненциально!), растет сложность резервирования памяти, растет сложность организации дисковой подсистемы (подблоки - то 3.х не случайно не резервировала :) ) Все вышеперечисленное, перечсчитанное в число инструкций мелкопроцессора сервера должно приводить только к одному: УМЕНЬШЕНИЮ быстродействия. А родина демагогии "о коренных новшествах .." якобы ставящих с головы на ноги привычное положение вещей, созданное (то есть оно, положение), кстати, неглупыми, а то и даровитыми людьми известна: ...флейм...
Аватара пользователя
Мещеряков Андрей
 
Сообщения: 1999
Зарегистрирован: 19 сен 2002, 14:55
Откуда: lipetsk

Сообщение Роман Иванов » 05 апр 2004, 17:11

внезависимости от нагрузки на сервер, колве памяти и т.д. грязные буфера сначала накапливаются, а поистечении параметра dirty disk cache delay time начинают фоновым процессом сбрасываться на диск, независимо от их колличества... имхо так...
Роман Иванов
 
Сообщения: 257
Зарегистрирован: 05 май 2003, 17:25
Откуда: Москва, Курск

Сообщение PavelKHTW » 05 апр 2004, 22:13

Что Вы спорите о размерах файлов и скорости работы дисковой подсистемы? - самый простой способ определения оптимальной настройки сервера и клиента(на 100Мб сетке) - заливаем на сервер и обратно на клиента фильм на 700Мб, если в 3мин укладываемся - все настроенно оптимально, что на "древнем" 4.11 и старинном железе, что на "супер современном" 6.х, причем IPX или IP значения не имеет :) 8-10Мбайт/c предел для 100Мб сетки.
PavelKHTW
 
Сообщения: 1037
Зарегистрирован: 08 окт 2003, 13:02
Откуда: Украина

Сообщение Роман Иванов » 06 апр 2004, 00:47

имхо это не показатель правильности настройки сервера-клиента :( ибо http://novell.org.ru/forum/viewtopic.php?t=3772 вот :(
Роман Иванов
 
Сообщения: 257
Зарегистрирован: 05 май 2003, 17:25
Откуда: Москва, Курск

Re: Все, жажду подробностей!!

Сообщение Сергей Дубров » 06 апр 2004, 06:14

Ok писал(а):Далее, как же Вы объясните изрядную повторяемость этой темы во всех конфах из месяца в месяц? Надеюсь, против такой статистики Вы возражать не будете?

Буду и вам сейчас станет смешно, когда вы поймёте, как глупо подставились :lol: . Сколько человек поднимает эту тему регулярно (читай - у кого возникают подобного рода проблемы)? 10? 20? 100? А сколько всего в мире работает NW, которые таких проблем не испытывают? Вам просто не повезло и вы попали в этот ничтожный процент аномальщиков, но почему-то упорно обобщаете свой опыт на все старые версии NW.

Ok писал(а):В конце концов ладно, пусть я чайник, но значительно более образованный народ тоже что-то молчит насчет литературных источников как подтверждающих, так и опровергающих это явление.

Подтверждать или опровергать ссылками можно то, что имеется в наличии. Все мои (и известные мне) случаи безудержного роста dirty буферов были вызваны кривыми драйверами, которые решались новой версией драйверов, а не операционки. На что тут давать ссылку? На мою переписку с адаптеком, где они подтверждали кривость их раннего драйвера для AHA2940? Так поверьте на слово - было это, и на исправленных драйверах я (и не только) уже (очень давно) никаких проблем не имею - за ссылку сойдет? :)

Ok писал(а):Иначе говоря, опираясь на Ваши выводы, можно подумать, что нетварь должна более-менее прилично работать только на изначально для нее предназначенном железе (т.е. на ооочень редких машинах - YES :) ).

Странный вывод. Я такого не то что не говорил, но дажи и не подразумевал :shock:.

Ok писал(а):А по всем прочим пользователь системы (который сисадмин) должен контачить с разработчиками железа и, возможно, операционки. Или я неправ?

Неправы. Несмотря на крайнюю желательность официального логотипа YES, ни на одном из моих серверов его нет. Вот такая селяви (много самосбора). Но работают они при этом без особых нареканий. Я везунчик? Так таких везунчиков - миллионы, вы что ж, думаете у всех NW работает исключительно на сертифицированном железе? Мне так не кажется, и очень редкие несчастливчики, вроде вас :nixweiss: - тому лишнее подтверждение.

Роман Иванов писал(а):внезависимости от нагрузки на сервер, колве памяти и т.д. грязные буфера сначала накапливаются, а поистечении параметра dirty disk cache delay time начинают фоновым процессом сбрасываться на диск, независимо от их колличества... имхо так...

Совершенно верно. Но бывают в природе неудачные сочетания железа/драйверов, когда эта самая фоновая запись жутко тормозит. Соответственно, если входящий поток превосходит поток исходящий (сброс на диски), то сервер начинает еле ворочаться, клиенты отваливаются, а дисковая подсистема при этом всего лишь лениво помаргивает глазом диска, не торопясь сбрасывая грязные буфера. Это однозначно - аномалия. Я уже приводил примеры с ранними версиями AHA2940, когда запись большого файла даже по 10-тимегабитной(!) сети забивала сервер до полного ступора. После замены драйверов на более правильные его не удаётся забить по одиночному стамегабитному интерфейсу (по двум - забивается, но там, извините, и просессор - P150 :lol: ).
Аватара пользователя
Сергей Дубров
 
Сообщения: 2096
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Сообщение Андрей Тр. aka RH » 06 апр 2004, 08:11

Уважаемые, вы в MONITOR что ли смотрите ? К слову - да у меня на некоторых серверах Netware dirty cache buffers никогда выше нуля не поднимаются .. :wink: а вы - сотни .. тысяч ..
Даешь отдельный раздел по ZENworks ... :bad-words: .. и печати !
Аватара пользователя
Андрей Тр. aka RH
 
Сообщения: 3937
Зарегистрирован: 18 июн 2002, 11:27

Сообщение Сергей Дубров » 06 апр 2004, 09:51

Андрей Тр. aka RH писал(а):Уважаемые, вы в MONITOR что ли смотрите ?

Да.

Андрей Тр. aka RH писал(а):К слову - да у меня на некоторых серверах Netware dirty cache buffers никогда выше нуля не поднимаются .. :wink: а вы - сотни .. тысяч ..

Дай угадаю - у тебя - readonly сервера :lol:
Аватара пользователя
Сергей Дубров
 
Сообщения: 2096
Зарегистрирован: 05 июн 2002, 06:07
Откуда: Новосибирск, ин-т ядерной физики СО РАН

Немного ответов

Сообщение Ok » 06 апр 2004, 13:01

...сразу на несколько реплик. Ничего, что без подробных цитат? :?

Для Мещерякова Андрея:
Действительно, скорострельность падает, но только какая-то удельная в пересчете на нечто опорное (килофлопы, мегагерцы, гигабайты... :) ). В жизни же она в целом растет, в общем, вместе с технологией железа, но медленнее, чем хотелось бы. Отсюда и удивление народа: представьте, что какую-нибудь семилетней давности машину (с 3.11) заменили на относительно приличную современную (с 5.1), а производительность выросла раз в 3-4, хотя машина вроде бы лучше по параметрам раз в 20.

Даровитость и талант разработчиков для безошибочной программы должны быть бесконечными. На практике же временами приходится сталкиваться с довольно странной логикой, а иногда и с откровенными ошибками, и нетварь тоже, как и все остальное, от этого не свободна. Почему и идут косяком всякие ТИДы и сервис-паки.

Для Романа Иванова:
Если кэш забит, досброс может наступить раньше времени задержки, потому что надо освобождать буферы. Почему для измерения и берут большие файлы. Фоновый процесс же можно считать низкоприоритетным. Если посмотреть на поведение системы, то складывается впечатление, что приоритеты процессов шибко уж резво перевычисляются. Ну чуть ли тумблер в мозгах системы. А это вроде бы неправильно, потому что более рационально смотрелась бы балансировка - дисковый и сетевой обмены ползли бы более-менее равномерно. А насколько быстро - это другое дело.

Для PavelKHTW:
Абсолютно правильно. Но: 1)если в тачке 2 ГБ или больше, то фильм может быть и маловат - надо тогда уж ДВДшный :) ; 2)дисковая производительность может оказаться выше предельного траффика, тогда для измерений надо заливать по разным подсеткам или увеличивать предел на подсетке (дуплекс там, распараллеливание. переход на ГГц или еще что...).

Для Сергея Дуброва:
Можно вспомнить старый разговор о дистрибутивах. По психологии человек не знает, что некое явление плохое (или неправильное), пока ему не скажут об этом и он сам не убедится (в нашем случае померит траффики сетевые и дисковые). Оч много народу этого не делают, а потому и не обращают внимание. Для многих и дисковая производительность не слишком актуальна просто по их задачам. А вот такого рода обсуждение их стимулирует что-то померить. Так что, наверное, процент аномальщиков, вроде меня, не так уж мал, просто по различным причинам народ на производительность не всегда смотрит. Потому тема поднимается регулярно, но и не очень часто.

А что он не мал, подтверждается комплектацией нетварных дистрибутивов. Как я понял, у Вас при генерации с комплектными драйверами тоже ничего хорошего не получалось, приходилось искать или дожидаться правильных. Я такого подхода Новелла к потребителям понять не могу. Ну, если уж железо всем хорошо известно и еще используется (ИДЕ там какие, Адаптеки всякие типа 78 или еще что - хотя бы с десяток позиций, которые все знают), то разработчик мог бы, ну, не то, чтобы вылизать драйверы, то хотя бы поставлять их не такие корявые. И по логике, если задача (тот же драйвер) доведена до ума, то она должна быть помещена в релизный дистрибутив очередной версии. А что мы видим в дистрибутивах Новелла? Опять-таки, при постоянном давлении недовольных потребителей на разработчика он просто обязан устранить причину. Если он этого не делает, значит, есть основания нам недоступные, по крайней мере, по информации разработчика. Он вряд ли станет говорить, что лопухнулся где-то основательно, но зато предложит попробовать то или попробовать это. Новые драйверы, например. А нам остается о причинах только догадываться или дожидаться новой версии.

Потому и возникают ответы в конфах (в произвольном переводе по смыслу) типа: "Ну какой же дурак ставит нетварь на ИДЕшники". А почему бы и не, если те же ИДЕшные драйверы идут в дистрибутиве.

Занятно, что драйверы стандартных и/или популярных сетевух Новелл все же заметно улучшает от версии к версии. А для дисков дело сильно хуже. Надо думать, причина заметно глубже, чем простая недоработка драйверов, и болтается она где-нибудь в базовой логике операционки. Или еще что, например, не хватает денег на оплату программистов - пусть поэтому драйвер устройства пишет разработчик этого устройства. Потому по раидам драйверы почти всегда правильные, а по, к примеру, ИДЕшным дискам - нет, потому что диски делают все, а, значит, и никто. Или, возможно, коммерческая политика, чтобы народ покупал железо с красными метками. Как бы то ни было, все это только догадки.

Ко всем:
Прошу прощения за длинноты. Но постоянные академические исследования по исправлению кривизны железа или программ меня уже достали. В той же нетвари все сталкиваются с настройками парметров серверной системы, клиентов, хабов с о свичами и всего остального, чему посвящена, наверное, половина вопросов в конфах. Все зыбкое, несбалансированное и очень капризное... :(
Ok
 
Сообщения: 13
Зарегистрирован: 31 мар 2004, 20:44
Откуда: Около Москвы

Сообщение Андрей Тр. aka RH » 06 апр 2004, 15:50

Сергей Дубров

:) Ага, включая реплики. Нет, просто у меня на них все тома - NSS ( включая SYS ). Кстати, это ты сюда флудера привел ?
Даешь отдельный раздел по ZENworks ... :bad-words: .. и печати !
Аватара пользователя
Андрей Тр. aka RH
 
Сообщения: 3937
Зарегистрирован: 18 июн 2002, 11:27

Пред.След.

Вернуться в Novell

Кто сейчас на конференции

Сейчас этот форум просматривают: Dick и гости: 77

cron