Вопрос о механизме кэширования ( большие файлы )

Обсуждение технических вопросов по продуктам Novell

Вопрос о механизме кэширования ( большие файлы )

Сообщение Андрей Тр. aka RH » 07 ноя 2002, 14:19

На досуге возник такой вопрос. Имеем некий сервер с набором пользовательских файлов на томе ( том хоть традиционный, хоть NSS ). Большая часть пользователей занимается традиционно офисными делами, плюс какая-то разработка - в общем, их рабочие файлы и файлы приложений ( размером от хКб до хМб ), запускаемых с сервера, успешно кэшируются ( размер под кэш-буфера - условно 512Мб ). Наиболее ощутимый вклад в эффективность вносят, разумеется, наиболее популярные файлы ( типа разделяемых профайлов, шаблонов и пр. ).

Пусть теперь есть отдельные пользователи, которые то и дело копируют с/на том файлы размером заведомо превосходящие возможности кэша ( к примеру, 1Гб ), или приближающиеся к ним. Вопрос такой - какой именно механизм предотвращает прокачивание больших файлов через кэш и его "опустошение" и какие параметры за это дело отвечают ? Что-то я не смог ничего путного на эту тему припомнить.
Даешь отдельный раздел по ZENworks ... :bad-words: .. и печати !
Аватара пользователя
Андрей Тр. aka RH
 
Сообщения: 3937
Зарегистрирован: 18 июн 2002, 11:27

Re: Идем сюда и жмем F1

Сообщение Андрей Тр. aka RH » 09 ноя 2002, 08:40

Андрей Фисенко писал(а):BM Server -> Options -> BM Setup -> Caching -> Cache Control -> Maximum Cached File Size (MB)


F1 - это хорошо .. только я о системном кэше спрашивал ( на файл-сервере NW ), а не о настройках прокси в ВМ ( такое в любом прокси-сервере есть ). С кэш у прокси ситуация несколько иная ( мягко говоря ).

Вопрос был, скорее, теоретический - на тему алгоритмов кэширования. Я вообще не уверен, что такой параметр там ( не в ВМ ) существует. ИМХО оно как-то саморегулируется .. но как ?
Даешь отдельный раздел по ZENworks ... :bad-words: .. и печати !
Аватара пользователя
Андрей Тр. aka RH
 
Сообщения: 3937
Зарегистрирован: 18 июн 2002, 11:27

Re: Идем сюда и жмем F1

Сообщение alexp_mac » 13 ноя 2002, 18:32

Вопрос был, скорее, теоретический - на тему алгоритмов кэширования. Я вообще не уверен, что такой параметр [i]там[/i] ( не в ВМ ) существует. ИМХО оно как-то саморегулируется .. но как ?[/quote]

вообще говоря, сервер именно файлы не кеширует, это слишком жирно будет. кешируются отработанные дисковые запросы, алгоритм кеширования last recently used, т.е. есть таблица, в которой записано когда было последнее обращение к блоку данных, соответственно самый редко востребованный блок удаляется из кеша и так по-кругу. вот собственно и все.
alexp_mac
 
Сообщения: 788
Зарегистрирован: 28 июн 2002, 10:50

Re: Идем сюда и жмем F1

Сообщение Андрей Тр. aka RH » 13 ноя 2002, 19:01

alexp писал(а):вообще говоря, сервер именно файлы не кеширует, это слишком жирно будет. кешируются отработанные дисковые запросы, алгоритм кеширования last recently used, т.е. есть таблица, в которой записано когда было последнее обращение к блоку данных, соответственно самый редко востребованный блок удаляется из кеша и так по-кругу. вот собственно и все.


Про LRU я знаю .. Кстати, что именно понимать под "блоком данных" применительно к файлам ? отдельные блоки файлов ( кэшируются все же не ссылки на эти блоки, а непосредственно данные ) ? Но ведь для того, чтобы определиться, насколько те или иные блоки будут часто востребованы ( чтобы в кэше оставались наилучшие ) надо при чтении файла его весь целиком (?) в кэш поместить ?

И если файл большой, то почему он не вытесняет предыдущие "хорошие" блоки ?
Даешь отдельный раздел по ZENworks ... :bad-words: .. и печати !
Аватара пользователя
Андрей Тр. aka RH
 
Сообщения: 3937
Зарегистрирован: 18 июн 2002, 11:27

Re: Идем сюда и жмем F1

Сообщение alexp_mac » 14 ноя 2002, 12:18

[quote="Андрей Тр. aka RH"][quote="alexp"]вообще говоря, сервер именно файлы не кеширует, это слишком жирно будет. кешируются отработанные дисковые запросы, алгоритм кеширования last recently used, т.е. есть таблица, в которой записано когда было последнее обращение к блоку данных, соответственно самый редко востребованный блок удаляется из кеша и так по-кругу. вот собственно и все.[/quote]

Про LRU я знаю .. Кстати, что именно понимать под "блоком данных" применительно к файлам ? отдельные блоки файлов ( кэшируются все же не [i]ссылки[/i] на эти блоки, а непосредственно данные )

грубо говоря дисковая система состоит из блоков данных, файл занимает сколько-то там блоков, размер блока по умолчанию 64 к, можно его менять при создании тома (мы ведем речь про класику) так вот ваш клиент читает файл (как он его читает спереди сзади с середины серверу пофигу) прочитанные данные поблочно кладутся в кеш. Естественно, есть алгоритмы предотвращающее "вырождение" кеша при чтении больших файлов.


? Но ведь для того, чтобы определиться, насколько те или иные блоки будут часто востребованы ( чтобы в кэше оставались наилучшие ) надо при чтении файла его весь целиком (?) в кэш поместить ?

зачем?


И если файл большой, то почему он не вытесняет предыдущие "хорошие" блоки ?[/quote]


см.выше.
alexp_mac
 
Сообщения: 788
Зарегистрирован: 28 июн 2002, 10:50

Re: Идем сюда и жмем F1

Сообщение Андрей Тр. aka RH » 14 ноя 2002, 13:01

alexp писал(а):грубо говоря дисковая система состоит из блоков данных .. так вот ваш клиент читает файл (как он его читает спереди сзади с середины серверу пофигу) прочитанные данные поблочно кладутся в кеш. Естественно, есть алгоритмы предотвращающее "вырождение" кеша при чтении больших файлов.

Но ведь для того, чтобы определиться, насколько те или иные блоки будут часто востребованы ( чтобы в кэше оставались наилучшие ) надо при чтении файла его весь целиком (?) в кэш поместить ?

зачем?

И если файл большой, то почему он не вытесняет предыдущие "хорошие" блоки ?

см.выше.


Естественно, есть алгоритмы предотвращающее "вырождение" кеша при чтении больших файлов.

Если отжать всю воду, то закончили тем, с чего начали ( то, как устроена традиционная ФС я, в общем, представляю ). Можно поподробнее про эти самые алгоритмы - для меня не "естественно". Собственно, про это изначально и был вопрос. Кстати, Вы про это "знаете" или "догадываетесь" ?

Напомню еще раз пример - читается файл размером 1Гб, видеоклип или МР3, к примеру. То есть клиенту нужен весь контент, и он не читает его "спереди сзади с середины".
Даешь отдельный раздел по ZENworks ... :bad-words: .. и печати !
Аватара пользователя
Андрей Тр. aka RH
 
Сообщения: 3937
Зарегистрирован: 18 июн 2002, 11:27

Re: Идем сюда и жмем F1

Сообщение alexp_mac » 14 ноя 2002, 19:19

[quote="Андрей Тр. aka RH"][quote="alexp"]грубо говоря дисковая система состоит из блоков данных .. так вот ваш клиент читает файл (как он его читает спереди сзади с середины серверу пофигу) прочитанные данные поблочно кладутся в кеш. Естественно, есть алгоритмы предотвращающее "вырождение" кеша при чтении больших файлов.

Но ведь для того, чтобы определиться, насколько те или иные блоки будут часто востребованы ( чтобы в кэше оставались наилучшие ) надо при чтении файла его весь целиком (?) в кэш поместить ?

зачем?

И если файл большой, то почему он не вытесняет предыдущие "хорошие" блоки ?

см.выше.[/quote]

[b]Естественно, есть алгоритмы предотвращающее "вырождение" кеша при чтении больших файлов.[/b]

Если отжать всю воду, то закончили тем, с чего начали ( то, как устроена традиционная ФС я, в общем, представляю ). Можно поподробнее про эти самые алгоритмы - для меня не "естественно". Собственно, про это изначально и был вопрос. Кстати, Вы про это "знаете" или "догадываетесь" ?

Напомню еще раз пример - читается файл размером 1Гб, видеоклип или МР3, к примеру. То есть клиенту нужен весь контент, и он не чи
ает его "спереди сзади с середины".[/quote]


Так если бы я знал как это все устроено, я бы работал в другом месте :)))

есть толькоь официальная информация, о том как это устроено и все, все алгоритмы и их реализации это секрет фирмы так сказать, тоже самое можно сказать про NSS, в теории известно что и как а вот конкретно извиние.

Да нафига это надо знать?
alexp_mac
 
Сообщения: 788
Зарегистрирован: 28 июн 2002, 10:50

Сообщение Иванов Роман » 19 ноя 2002, 16:14

а для того чтоб знать :)
а когда будешь знать, поймешь как лучше, оптимальнее использовать то что система умеет и может и будешь обходить то что не может... :)
Иванов Роман
 
Сообщения: 40
Зарегистрирован: 10 июн 2002, 02:32

Сообщение alexp_mac » 21 ноя 2002, 12:55

[quote="Иванов Роман"]а для того чтоб знать :)
а когда будешь знать, поймешь как лучше, оптимальнее использовать то что система умеет и может и будешь обходить то что не может... :)[/quote]

По-моему любая система нужна для работы и поддержки бизнеса, а не для самоудовлетворения админа :)))

Есть конкретные задачи бизнеса, если Вы используете какой-то сервис, который Вам нужен, и он глючит, то тогда надо искать решение, а если идете от того, что есть сервис, и надо придумать как его использовать, то это трата времени. Тормозит сервер, читаем TID Perfomance tuning and optimization. и т.д.

А клуб любознательных это где-то там....
alexp_mac
 
Сообщения: 788
Зарегистрирован: 28 июн 2002, 10:50

Сообщение Андрей Тр. aka RH » 21 ноя 2002, 13:44

alexp писал(а):По-моему любая система нужна для работы и поддержки бизнеса, а не для самоудовлетворения админа :)))

Есть конкретные задачи бизнеса, если Вы используете какой-то сервис, который Вам нужен, и он глючит, то тогда надо искать решение, а если идете от того, что есть сервис, и надо придумать как его использовать, то это трата времени. Тормозит сервер, читаем TID Perfomance tuning and optimization. и т.д.

А клуб любознательных это где-то там....


Понимаешь, alexp, если тебе для работы и поддержки бизнеса достаточно чтения TID'ов и документации, и то только в случаях, когда что-то начинает глючить, то я за тебя рад. Я же привык понимать принципы работы систем, с которыми имею дело. Возможно, у нас просто разный бизнес. :) Да и среди студентов моих, бывало, найдется любознательный такой ( ну в клубе какие только не попадаются ).

Так что если тебе есть что сказать по теме, в чем я сомневаюсь, то пожалуйста. А для флейма тут создан специальный раздел.
Даешь отдельный раздел по ZENworks ... :bad-words: .. и печати !
Аватара пользователя
Андрей Тр. aka RH
 
Сообщения: 3937
Зарегистрирован: 18 июн 2002, 11:27

Сообщение alexp_mac » 21 ноя 2002, 17:38

[quote="Андрей Тр. aka RH"][quote="alexp"]По-моему любая система нужна для работы и поддержки бизнеса, а не для самоудовлетворения админа :)))

Есть конкретные задачи бизнеса, если Вы используете какой-то сервис, который Вам нужен, и он глючит, то тогда надо искать решение, а если идете от того, что есть сервис, и надо придумать как его использовать, то это трата времени. Тормозит сервер, читаем TID Perfomance tuning and optimization. и т.д.

А клуб любознательных это где-то там....[/quote]

Понимаешь, [b]alexp[/b], если тебе для работы и поддержки бизнеса достаточно чтения TID'ов и документации, и то только в случаях, когда что-то начинает глючить, то я за тебя рад.

Я соблюдаю принцип работает-не трогай.

А про принципы могу сказать свое мнение: чем дальше, тем эти принципы становятся более сложными, и менее пуюличными к сожалению. Вплоть до того, что прсото-так получить формат NCP пакета невозможно, т.е. вроде как все известно давно, но на практике по-другому, т.е. стань девелопером получишь доступ к более продвинутой информации, и так далее.....



Я же привык понимать принципы работы систем, с которыми имею дело.

Я тоже, но выше головы как-говорится не прыгнешь, чтобы понимать принципы надо иметь информацию о внутреннем устройстве, а ее никто не даст, а занимать изучением типа сейчас жмем на кнопку и смотрим, что на выходе получится, это из серии околонауных исследований.




Возможно, у нас просто разный бизнес. :) Да и среди студентов моих, бывало, найдется любознательный такой ( ну в клубе какие только не попадаются ).

Если бы этот любознательный дал мне доступ с внутренним ресурсам корпорации новел, то я бы тут такую лекцию прочел! все эти хреновы сертифицированные учебные центры от зависти бы умерли! Ж8()



Так что если тебе есть что сказать по теме, в чем я сомневаюсь, то

больше того, что сказал, не скажу, да и вряд-ли кто еще скажет. Это не unix, хотя 7-я версия ну очень на него похожа.

пожалуйста. А для флейма тут создан специальный раздел.[/quote]
alexp_mac
 
Сообщения: 788
Зарегистрирован: 28 июн 2002, 10:50


Вернуться в Novell

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 5