Загрузчик и просмоторщик лог файлов Border Manager 3.X

Обсуждение технических вопросов по продуктам Novell

Загрузчик и просмоторщик лог файлов Border Manager 3.X

Сообщение Михаил Григорьев » 07 мар 2003, 15:39

Проблема анализа лог файлов Border Manager стоит уже слишком долго... Было написано несколько программ для анализа логов, но у всех у них есть свои проблемы и недочёты... Следует заметить что большинство программ имеющихся на сегодня работают как приложения Windows что требует их установку, я уже не говорю о методике работы и анализа логов...

В данном топике речь идёт о Загрузчик и просмоторщике лог файлов Border Manager 3.X/WanStat/TSE 0.93f

Автор:
Студент 4 курса ФМФ ЗабГПУ
Жестков Виктор

Руководитель проекта:
Ассистент кафедры информатики,
Зав. Лабораторией сетевых технологий ЦИТ ЗабГПУ
Квашук Сергей

Программа представляет собой скрипт написанный на языке Perl 5.8 (Загрузчик логов) и скрипт на PHP (Просмоторщик логов)

Загрузчик предназначен для загрузки лог файлов в базу данных MySQL.
Просмоторщик предназначен для наглядного отображения статистики в Web-браузере.

Наглядно посмотреть результат работы программы можно здесь

Привожу краткую инструкцию к программе:
(Пока проводятся тесты, принимаются исправления в инструкцию)

Загрузчик лог файлов Border Manager 3.X/WanStat/TSE 0.93f

Автор:
Студент 4 курса ФМФ ЗабГПУ
Жестков Виктор

Постановщик задачи:
Ассистент кафедры информатики
Зав. Лабораторией сетевых технологий ЦИТ ЗабГПУ
Квашук Сергей

Скрипты написаны на языке Perl 5.8 и PHP

Системные требования:

Платформа: *nux/Netware 6.x/WinNT/2000
Язык: Perl 5.8 с приложенными модулями PM, PHP 4.0.8 и выше
СУБД: MySQL не ниже версии 3

Инсталляция и эксплуатация:

1. На сервер соответствующий системным требованиям скопировать содержимое архива.
2. Проверить в настройках BOrder Manager (proxy.cfg) параметр [Log Format]
Он должен иметь значение Delimiter-Character=space

3. Выполнить nvstat.sql для создания необходимых таблиц
(рекомедую http://ems-hitech.com/mymanager/)

4. Отредактировать файл nvstat.conf в соответствии с настройками
вашей системы и вашими требованиями

Краткое описание параметров настройки файла nvstat.conf:

а) Настройки загрузчика логов BorderManager
# http statistic settings

Адрес сервера MySQL
http_sql_host localhost

Имя пользователя для доступа к базе данных
http_sql_user nvstat

Пароль
http_sql_pass nvstat

Имя базы
http_sql_base nvstat

Имя таблицы статистики серфинга
http_sql_proxy_tbl proxy_stat

Имя таблицы статистики закачки больших файлов
http_sql_files_tbl files_stat

Имя таблицы полной статистики (загрузка включается
параметром http_dumpfull)
http_sql_full_tbl full_proxy_stat

Расположение COMMON лога
http_common_log_dir sys:/etc/proxy/log/HTTP/Common/

Расположение EXTENDED лога (ВАЖНО !!! EXTENDED лог
должен присутствовать обязательно !!!!)
http_extended_log_dir sys:/etc/proxy/log/HTTP/Extended/

Маска имени фрйла %год%месяц%день (программа
рассчитана на работу с логом генерируемым BM с указанным
параметром Rollover every 1 days)
http_common_log_mask %y%m%d.LOG

Маска имени фрйла %год%месяц%день (программа
рассчитана на работу с логом генерируемым BM с указанным
параметром Rollover every 1 days)
http_extended_log_mask %y%m%d.LOG

Информация о загрузке: "имя файла" <позиция на которой
закончилось чтение>
http_position_file sys:/nvstat/http.pos

Минимальный объем файла регистрируемого в таблице
закачки "больших файлов"
http_critical_mass 500000

Необходимо чтобы скрипт автоматически загружал кусок
лога за предыдущий день тоесть например если вызывать
его в 23:10 а потом в 00:10 то лог возьмется только за
текущий день а auto_prevday включает проверку что если
текущее время меньше 00:15:00 то загружать еще и за
предыдущий день
http_auto_prevday yes

Расположение журнала работы загрузчика
http_logfile sys:/nvstat/nvstat.log

Удаление начальной точки в имени пользователя
http_dropdot yes

Включение полного лога т.е. отказ от агрегирования
информации с процессе загрузки
(например в промежуток между выполнениями данного
скрипта Вы скачали 2 файла по 10Кб при выключенном
данном параметре в лог запишется одна строка о том что с
данного сайта Вами взято 20Кб а также дата и время
будут соответствовать времени выполнения скрипта)
http_dumpfull no

Параметр указывающий на то строки с каким кодом HTTP
брать для формирования базы (коды указываются через ','
например: 200,403)
http_only_codes 200

Параметр указывающий на то брать строки взятые из кэша
или нет
http_only_noncached yes

Параметр задающий список игнорируемых юзеров тоесть
также через (ОБЯЗАТЕЛЬНО УЧИТЫВАТЬ РЕГИСТР)
запятую например: http_ignore_users - или
http_ignore_users -,victor.ZGPU
http_ignore_users -

Параметр задающий список игнорируемых хостов
например: http_ignore_url zgpu.chita.ru,192.168.1.1
вычленяет только то что в начале урла идет тоесть
http://(zgpu.chita.ru):8100/
играет роль только то что в скобках
http_ignore_url zgpu.chita.ru


б) Настройки загрузчика логов Трафик шейпера
(www.trafficshaper.com)
# shaper statistic settings

Адрес сервера MySQL
shaper_sql_host localhost

Имя пользователя для доступа к базе данных
shaper_sql_user nvstat

Пароль
shaper_sql_pass nvstat

Имя базы
shaper_sql_base nvstat

Имя таблицы статистики трафик шейпера
shaper_sql_table shaper_stat

Расположение лога
shaper_log_dir sys:/

Маска имени файла
shaper_log_mask SHAPER.ADT

Информация о загрузке: "имя файла" <позиция на которой
закончилось чтение>
shaper_position_file sys:/nvstat/shaper.pos

Необходимо чтобы скрипт автоматически загружал кусок
лога за предыдущий день
тоесть например если вызывать его в 23:10 а потом в 00:10
то лог возьмется только за текущий день а auto_prevday
включает проверку что если текущее время меньше
00:15:00 то загружать еще и за предыдущий день
shaper_auto_prevday yes

Расположение журнала работы загрузчика
shaper_logfile sys:/nvstat/nvstat.log

в) Настройки загрузчика логов Wanstat
(www.officenet.hu/utils/wanstat/index.htm)

# wan statistic settings

Адрес сервера MySQL
wan_sql_host localhost

Имя пользователя для доступа к базе данных
wan_sql_user nvstat

Пароль
wan_sql_pass nvstat

Имя базы
wan_sql_base nvstat

Имя таблицы статистики WanStat
wan_sql_table wan_stat

Имя таблицы статистики WanStat
wan_sql_table_last wan_stat_last

Расположение лог файлов
wan_log_dir sys:/etc/Wanstat/

Маска имени файла
wan_log_mask %Y%m%d.TXT

Информация о загрузке: "имя файла" <позиция на которой
закончилось чтение>
wan_position_file sys:/nvstat/wan.pos

Необходимо чтобы скрипт автоматически загружал кусок
лога за предыдущий день тоесть например если вызывать
его в 23:10 а потом в 00:10 то лог возьмется только за
текущий день а auto_prevday включает проверку что если
текущее время меньше 00:15:00 то загружать еще и за
предыдущий день
wan_auto_prevday yes

Расположение журнала работы загрузчика
wan_logfile sys:/nvstat/nvstat.log

5. Выполнить необходимый скрипт
например:
а) perl (путь)\http_rl.pl prev --noscreen (загрузка лога
текущего дня)

б) perl (путь)\http_rl.pl import "2003-02-01" "2003-03-01"
(загрузка лога за указанный промежуток времени)


Если возникли какие то вопросы и пожелания то думаю авторы программы на нах ответят...
Последний раз редактировалось Михаил Григорьев 25 сен 2003, 08:38, всего редактировалось 1 раз.
Аватара пользователя
Михаил Григорьев
 
Сообщения: 1462
Зарегистрирован: 04 июн 2002, 12:22
Откуда: Челябинск

Re: Загрузчик и просмоторщик лог файлов Border Manager 3.X

Сообщение Vitaly G. » 07 мар 2003, 18:23

Григорьев Михаил писал(а):Проблема анализа лог файлов Border Manager стоит уже слишком долго... Было написано несколько программ для анализа логов, но у всех у них есть свои проблемы и недочёты... Следует заметить что большинство программ имеющихся на сегодня работают как приложения Windows что требует их установку, я уже не говорю о методике работы и анализа логов...


Да.. на 4ке, это хрен запустишь.. Надо ставить mysql где-то еще.. стало-ть 2 машины...
Чтобы разобрать простенький лог файл на сервере, сервер должен быть nw6 иметь ко всему прочему php, apache, и mysql.
Нехилые требования, однако.
:-(
Vitaly G.
 
Сообщения: 101
Зарегистрирован: 10 окт 2002, 21:44
Откуда: Moscow

Давайте еще дос вспомним :-))

Сообщение Квашук aka Novell_maNiac! » 07 мар 2003, 18:51

Есть способ поднять это все на 5.1сп5 и на борту Volera Excelerator
такчто круг пользователей может существенно расширится ...
одно но в качестве сервера баз данных будет использоваться MySQL 4.0.3 со всеми присущими ему проблемами но главное система функциональна .... и работает супер быстро .... в 4.11 я уже зыбывать стал :-)))) такчто в отстой его пора
MasterCNE,CNE 6,MCP,CNS 2006
Аватара пользователя
Квашук aka Novell_maNiac!
 
Сообщения: 189
Зарегистрирован: 16 авг 2002, 04:38
Откуда: Национальный банк Траст

Сообщение Yuri Mischenko » 08 мар 2003, 10:41

Перловые скрипты, которые переносят данные из логов в mysql всасывают только последние изменения со времени последнего их запуска и отрабатывают за секунды (зависит от переодичности их запускания) и работают с бешенной скоростью
пхп-скрипт, который делает выборку отрабатывается тоже очень быстро и на проц нагрузку не делает, так что чем хороша сия система можно смотреть статистику "на лету" :D

И еще: кто вам сказал, что всё это должно выполнятся именно на нетвари? Все скрипты пишутся на линухе, а я и Сергей проверяем это на нетвари, т.к. у меня окромя них ни фига больше нету :twisted: но никто не запрещает вам выполнять это всё дело и на мастдае :D
Есть такой чудный набор, MyServer наз-ся, ставите и без каких либо настроек вы получаете на мастдае apache+php+mysql (perl придется доставлять)
А ведь могло быть и хуже...:bad-words:
Аватара пользователя
Yuri Mischenko
 
Сообщения: 164
Зарегистрирован: 19 июл 2002, 05:25
Откуда: Chita

Никто не мещает ...

Сообщение Квашук aka Novell_maNiac! » 09 мар 2003, 11:02

Система построена по принципу модульности т.е. роботы загрузчики могут работать на нетвари база может лежать на линуксе а ПХП просмотрщик может запускаться на виндовсе причем последнее может быть совсем исключено никто не мешает написать Вам программу на делфи или еще чем которая будет давать необходимые Вам отчеты ...
MasterCNE,CNE 6,MCP,CNS 2006
Аватара пользователя
Квашук aka Novell_maNiac!
 
Сообщения: 189
Зарегистрирован: 16 авг 2002, 04:38
Откуда: Национальный банк Траст

не спорю, никто..

Сообщение Vitaly G. » 11 мар 2003, 13:18

Квашук aka Novell_Maniac! писал(а):Система построена по принципу модульности т.е. роботы загрузчики могут работать на нетвари база может лежать на линуксе а ПХП просмотрщик может запускаться на виндовсе причем последнее может быть совсем исключено никто не мешает написать Вам программу на делфи или еще чем которая будет давать необходимые Вам отчеты ...

====
именно об этому я и поражаюсь/удивляюсь и одновременно огорчаюсь..
Что для такой примитивной задачи, как разборка элементарного лога нужно столько всего.. perl,php,apache,mysql и если база не на nw, то еще и какой-нибудь *NIX/WIN, для хранения базы.
4 компоненты, каждая со своей настройкой, а если еще NIX, то 5 против одного plain text bm лога.
Vitaly G.
 
Сообщения: 101
Зарегистрирован: 10 окт 2002, 21:44
Откуда: Moscow

А в что вам ненравится ?

Сообщение Квашук aka Novell_maNiac! » 11 мар 2003, 15:28

Если у Вас есть какоето решение то милости просим
Пока других вариантов переработки и поддержания десятков гигабайт текстовых логов я невижу ... что будет если например ваш босс попросит статистику за квартал ... поставите какойнить сервачек считать на пару выходных :-))) и что вы получите ? сиюминутный отчет ? это вам нужно ? неуверен ... и вы наверное не поняли что это комплексное решение которое дает отчет по ВСЕМУ что происходит на интерфесах нетваре сервера т.е. на его ВСЕХ TCP/UDP портах и по IP ... база трафик шейпера которая генерируется в результате работы скриптов может быть использована в качестве основы простенького биллинга ... напрмер сейчас на демонстрационном сайте работает база в которую загружено около 2 Gb лога .... причем каждый час данные принимаются от перловых скриптов ....
Еще раз повторяю если вам удалось сделать чтото более лучшее быстрое удобное мы готовы посмотреть и обсудить а критиковать все могут ....
MasterCNE,CNE 6,MCP,CNS 2006
Аватара пользователя
Квашук aka Novell_maNiac!
 
Сообщения: 189
Зарегистрирован: 16 авг 2002, 04:38
Откуда: Национальный банк Траст

А вот еще

Сообщение Квашук aka Novell_maNiac! » 11 мар 2003, 15:42

http://zgpu.chita.ru/nvstat - последняя версия пхпшника просмотрщика ...
MasterCNE,CNE 6,MCP,CNS 2006
Аватара пользователя
Квашук aka Novell_maNiac!
 
Сообщения: 189
Зарегистрирован: 16 авг 2002, 04:38
Откуда: Национальный банк Траст

Re: не спорю, никто..

Сообщение Владимир Ельников » 30 мар 2003, 18:07

Vitaly G. писал(а):
Квашук aka Novell_Maniac! писал(а):Система построена по принципу модульности т.е. роботы загрузчики могут работать на нетвари база может лежать на линуксе а ПХП просмотрщик может запускаться на виндовсе причем последнее может быть совсем исключено никто не мешает написать Вам программу на делфи или еще чем которая будет давать необходимые Вам отчеты ...

====
именно об этому я и поражаюсь/удивляюсь и одновременно огорчаюсь..
Что для такой примитивной задачи, как разборка элементарного лога нужно столько всего.. perl,php,apache,mysql и если база не на nw, то еще и какой-нибудь *NIX/WIN, для хранения базы.
4 компоненты, каждая со своей настройкой, а если еще NIX, то 5 против одного plain text bm лога.


На самом деле задача разбора лога не столь тривиальна как кажется на первый взгляд - есть несколько подходов к проблеме - заить на все и считать так как пишет кеш прокси (BM, Vovela Ex, Cisco CE, NetAppliance........ Squid) и иметь пролемы с провайдером, т.к. прокси сервера протоколируют размер КОНТЕНТА!, передаваемого от оригиналного сервера ии клиенту, а расхождение засчет перепередачи целого окна из-за одного битого пакета может быть на плохом канале до 2 более раз!, или считать так как подсчитывает провайдер т.е. объем данных вместе с заголовками и призязывать эти килобайты к каждому пользователю, что с помощью данного продукта и %:?*:?* матери :-) наконец можно сделать. SQL сервер помогает отказаться от услуг продвинутого программера, и обрабатывать логи разумной чайниковости администратору, что дя меня, к примеру, довольно приятно - программер из меня хреновый, а дя такой задачи и подавно (писать свои проги для построения хитрейших индексов для увязки всего и вся я просто не способен).
CNA 4.11 :-)
Владимир Ельников
 
Сообщения: 41
Зарегистрирован: 12 мар 2003, 14:38
Откуда: Москва

а можно спросить у разработчиков

Сообщение Sergey P. » 24 сен 2003, 17:00

а можно спросить у разработчиков :
что конкретно записывается в таблицу proxy_stat из логов
Sergey P.
 
Сообщения: 4
Зарегистрирован: 08 авг 2003, 10:43

Re: А вот еще

Сообщение Larico » 24 сен 2003, 23:44

Квашук aka Novell_Maniac! писал(а):http://zgpu.chita.ru/nvstat - последняя версия пхпшника просмотрщика ...


Интересно бы посмотреть, да оно Логин/Пароль хочет.
Аватара пользователя
Larico
 
Сообщения: 974
Зарегистрирован: 13 май 2003, 13:57
Откуда: Матрице все равно .....

Сообщение Михаил Григорьев » 25 сен 2003, 08:32

NVStat уже значительно развился... можно сказать монстриком становится...

Larico загляните в тему NVStat 2.1 RC4 - продолжаем тестирование :)

Там все есть что вас интересует
Аватара пользователя
Михаил Григорьев
 
Сообщения: 1462
Зарегистрирован: 04 июн 2002, 12:22
Откуда: Челябинск


Вернуться в Novell

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 55

cron