Netware, Arcserve и DLT-S4

**Kusian** » 10 янв 2008, 17:54

Добрый день!
Есть такая ситуация
Сервер ProLiant DL380G4 RAM 4Gb P-IVx2 Xeon 3.4 GHz
По FC подключен внешний массив MSA1000, так же внешний SCSI стример Quantum DLT-S4.
Установлен Novell Open Enterprise Server, NetWare 6.5 sp6 и CA Arcserve 11.1 sp3
данные разложены по разным каталогам средний объем каталога 400Гб. Имеется сложная разветвленная структура поддиректорий внутри каждого большого каталога. Файлы разнородные от небольших текстовых до баз в несколько сот Мб.
Проблема в следующем при записи на ленту скорость записи от 26 МБ/с до 42 МБ/с. Заявленная скорость DLT-S4 60МБ/с без сжатия.
Можно ли добиться такой скорости, ну или хотя бы скорости в 45-50 МБ/с, но постоянно. Проводил тюнинг tsafs и nss по советам найденным в разных ветках данного форума и на сайте novell, ничего не помогает, практически никаких изменений в скорости не видно. Да, вот еще, на больших файлах, скажем около 500Мб или 1Гига скорость возрастает, чуть ли не в 2 раза. Но это понятно, основное время уходит на открытие-закрытие файлов при чтении. Есть ли какие-либо идеи или предложения. Буду благодарен за любой совет, а то данные не успевают записываться в окно резервного копирования.
Заранее благодарен

**leonid** » 10 янв 2008, 20:13

Если тома NSS может быть стоит поиграться ReadAhead ? Меньше размера страйпа на массиве ставить странно.

**Kusian** » 11 янв 2008, 14:44

Поставил NSS /ReadAheadBlks=vol:1024, скорость похоже стабилизировалась где-то в районе 42МБ/с.
Отличный результат, но интересно можно ли догнать скорость по пределов DLT-S4?

**Музалёв Николай** » 11 янв 2008, 15:09

Предполагается, что изготовитель дает данные производительности своих железок всё-таки не на ординарных, а на несколько оптимизированных режимах ( например, именно на больших файлах и тд).
Потому я бы считал вашу производительность копирования вполне достаточной.

В связи с этим и предлагаю Вариант "вЛоб" - а разорить начальство на ещё один стример, мотивируя это сообр. увеличения отказоУстойчивости системы копирования.

А на два стримера вы нагрузку вполне распределите.

**Kusian** » 11 янв 2008, 15:33

Т.е. предлагается подключить 2 стримера к одному серверу и писать на них в паралель? Тогда нужно будет и 2 SCSI контроллера для каждого стримера свой, ибо при последовательном подключении один из них начинает писать крайне медленно, такой вариант я пробовал.

**Музалёв Николай** » 11 янв 2008, 15:42

и 2 SCSI контроллера

А у вас нету? только набортный??

Ну интересно!

Вы покупаете чертее какой дорогущий сервер, а хорошего SCSI к нему не берете?

Напрасно.

Надо было что нибудь типа 5304 (или из 6000-ной серии) обязательно брать: "как оно ещё в жизни повернется...."(с) вот сейчас бы и пригодилось.

**Kusian** » 11 янв 2008, 16:29

Есть, как раз 5304 и есть, просто я в паралель еще не пробовал включать :-)

)
Но это экстенсивный путь развития, интересно поднять скорость путем тюнинга

**Музалёв Николай** » 11 янв 2008, 18:35

Ну, на таком адаптере всё должно очень успешно работать: стримера по разным каналам развешиваете, модифицируете задания, чтобы в разные устройства сливалось с разных источников, и - вперед.

А по поводу тюнинга: а вы вообщето производительность ввода/вывода на вашем хранилище меряли (тем же портлоком в режиме random-доступа) ?

Может, она уже на указанном вами пределе и боле ничего выжать не сможете по опред. ?

**Kusian** » 15 янв 2008, 14:51

Провел еще ряд экспериментов и вот что заметил, если писать один большой каталог с разветвеленно внутренней структурой и разнотипными файлами (общий объем около 400 Гиг и около 1.8 млн файлов) скорость записи на ленту около 40 МБ/с.
Если же из этого каталога вынуть подкаталог и писать его отдельно (разветвеленная структура разные типы файлов объем 71Гб 74.5 тысячи файлов) скорость 60МБ/с.
Т.е. отдельно получается сильно быстрее. Понимаю что опять нужно что-то крутить с файловой системой, но вот что.
Заранее благодарен за любую помощь

**leonid** » 15 янв 2008, 23:07

Надо оптимизировать стратегию резервного копирования. Например раз в неделю полную копию, а в остальные дни инкрементальную или диференцальную.
А по скорости.... Вы средний размер файла в обоих случая не удосужились посчитать. Для "маленького" каталога средний размер файла ~ 1 Мбайт, а для "большого" ~ 200 килобайт!
Если правильно помню, ReadAhead более 1024 выставить нельзя. Кстати, это 4 Мбайта.
ReadAhead - это прочитаем еще Х страниц (по 4 Кб) за нужным куском, вдруг понадобятся. Значение должно быть не меньше размера страйпа RAID (и значения ReadAhead самого контроллера), чтобы контроллер не нервировать. И он сильно помогает при последовательном чтении и чтении больших файлов.
Если же ставить его слишком большим, то память кеша будет тратиться в пустую при случайном доступе к маленьким файлам на предчтение (ReadAhead ) и попадание в кеш, того что реально не понадобиться. Т.е. что-то типа файловой 1С может бестолково забивать кеш мусором предчтения и при недостаточном кол-ве памяти для хранения этого мусора сервер будет медленней работать, да еще нагрузка на диски возрастает.

P.S. Поправьте если был не прав. Кстати, может быть оформим это в ФАК?

**Kusian** » 16 янв 2008, 10:21

leonid писал(а):Надо оптимизировать стратегию резервного копирования. Например раз в неделю полную копию, а в остальные дни инкрементальную или диференцальную.

Против оптимизации стратегии возражений нет и сейчас именно этой задачей и занимаемся. Вопросы про скорость все равно остаются актуальными, по причине того что full бэкап нужно будет делать все равно, а время его выполнения получается большим, выходит за "окно".
Работать по вопросу нужно в 2 направлениях, чем я и пытаюсь заниматься

**leonid** » 16 янв 2008, 11:21

Так вы же достигли "заявленной скорости DLT-S4 60МБ/с без сжатия".
Насчет скорости с сжатием предлагаю не питать иллюзий. Сжатие хорошо работает на больших и хорошо жмущихся, что в современных файлах почти не встречается.
Если окно для полной копии расширить никак нельзя надо уже применять другие решения. Например SAN.

**Kusian** » 16 янв 2008, 11:38

leonid писал(а):Так вы же достигли "заявленной скорости DLT-S4 60МБ/с без сжатия".
Насчет скорости с сжатием предлагаю не питать иллюзий. Сжатие хорошо работает на больших и хорошо жмущихся, что в современных файлах почти не встречается.
Если окно для полной копии расширить никак нельзя надо уже применять другие решения. Например SAN.

Достиг, но это получается что мне нужно все задания декомпозировать на составляющие, и писать не одним большим каталогом, а множеством маленьких.

Netware, Arcserve и DLT-S4

Netware, Arcserve и DLT-S4

Кто сейчас на конференции