Postgres или MySQL

Обсуждение технических вопросов по продуктам Novell

Postgres или MySQL

Сообщение Vitaly G. » 11 фев 2003, 14:41

В общем встала задача написать разборщик логов для BM.
Язык разборщика - Perl. (за месяц изучил)
Думал обойтись без использования базы данных, но
подумав, пришел к выводу слишком уж сложно
получится (сортировки, фильтры, выборки самому
писать) ну и т.д.
SQL не знаю.. придется учить.
Читаю ANSI спецификацию SQL.
Все сделать хочу на платформе Netware, то есть Web
статистика, Perl и SQL база, все должно крутиться на
NW 5.1.
Собственно, вопрос:
Сориентируйте в плюсах и минусах MySQL и Postgres.
Что умеет один и что не умеет другой.
В общем, вопрос носит стратегический характер, в
каком направлении двигаться дальше, какой из этих
инструментов гибче.
Vitaly G.
 
Сообщения: 101
Зарегистрирован: 10 окт 2002, 21:44
Откуда: Moscow

Re: Postgres или MySQL

Сообщение Yuriy Levin » 11 фев 2003, 15:20

Vitaly G. писал(а):В общем встала задача написать разборщик логов для BM.
Язык разборщика - Perl. (за месяц изучил)
Думал обойтись без использования базы данных, но
подумав, пришел к выводу слишком уж сложно
получится (сортировки, фильтры, выборки самому
писать) ну и т.д.
SQL не знаю.. придется учить.

Вот именно, а главное, еще насколько медленно это будет работать, если все это написать.
Vitaly G. писал(а):Читаю ANSI спецификацию SQL.
Все сделать хочу на платформе Netware, то есть Web
статистика, Perl и SQL база, все должно крутиться на
NW 5.1.

А почему именно WEB-статистику? Чтобы юзеры сами видели, кто из них сколько порнухи смотрит? :)
Лично я подобную задачу (но без WEB) пробую решать с помощью локальной базы данных на Visual FoxPro 7.
Vitaly G. писал(а):Собственно, вопрос:
Сориентируйте в плюсах и минусах MySQL и Postgres.
Что умеет один и что не умеет другой.
В общем, вопрос носит стратегический характер, в
каком направлении двигаться дальше, какой из этих
инструментов гибче.

По поводу MySQL могу сказать следующее: есть программа Андрея Южанинова ViewLog 2.03, она как раз и создает базу на сервере MySQL. Взять ее можно по адресу
http://netware.nwsoft.ru/perl/utils.pl? ... =uzhaninov
Я пробовал использовать и ее, но мне не понравилось, что один лог размером около 3мБ у меня импортировался на сервер полчаса :( В конце концов понял, что нужно писать свою базу.
Yuriy Levin
 
Сообщения: 60
Зарегистрирован: 09 дек 2002, 13:24
Откуда: Минск

А какая постановка задачи?

Сообщение Андрей Фисенко » 11 фев 2003, 15:38

Дело в том, что толку в анализе COMMON лога особого нет.
Минимум три причины:
1. туда не пишется трафик https
2. туда не пишется трафик от динамических URL (типа, CGI)
3. туда не пишется, откуда взят трафик (из инета или из кэша бордюра)

Отсюда выводы:
1. анализировать надо COMMON + EXTENDED логи (сравнивая по IP + Time + URL) Из Extended нужно только значение поля cached, остальное брать из Common. Так будет яснее картиня юзанья кэша.
формат лога такой: cached [date-time] c-ip cs-method cs-uri

0 - CACHE_MISS: The document was not found in cache.
1 - CACHE_HIT: The document was found in local cache.
2 - ICP_HIT: The document was found in the cache of a hierarchy neighbor.
3 - ICP_MISS: The document was not found in the hierarchy.
4 - PASS_THRU: The request was a pass-thru request (eg. SSL).

2. Разобрать формат INDEXED лога и работать с ним. Туда пишется много чего полезного. По ходу, это битривовский файл.
Андрей Фисенко, Представитель Novell по Сибири и Дальнему Востоку
Изображение
Андрей Фисенко
 
Сообщения: 1308
Зарегистрирован: 05 июн 2002, 08:13
Откуда: Красноярск

Сообщение Yuriy Levin » 11 фев 2003, 16:33

А где именно HTTPS траффик виден? Я смотрел во всех трех логах, специально ходил на HTTPS ресурс и ничего не нашел. Может для его протоколирования нужно что-то включить?
Yuriy Levin
 
Сообщения: 60
Зарегистрирован: 09 дек 2002, 13:24
Откуда: Минск

Сначала научиться хотя-бы сделдать разбор чего-то одного.

Сообщение Vitaly G. » 11 фев 2003, 16:43

Андрей Фисенко писал(а):Отсюда выводы:
1. анализировать надо COMMON + EXTENDED логи (сравнивая по IP + Time + URL) Из Extended нужно только значение поля cached, остальное брать из Common.

2. Разобрать формат INDEXED лога и работать с ним. Туда пишется много чего полезного. По ходу, это битривовский файл.

=========
... а там доведу до точности.
В любом случае, писать надо, и надо определяться.
Кстати, по основоному вопросу (выбора SQL) так никто и не ответил.
Что касается Indexed..
То тут вообще задница.
Бордер пишет Indexed, Common и Extended.
Сколько раз я себе не пытался ответить на вопрос на кой черт было придумано сделать так, я не смог себе объяснить. В Com пишется то, что не пишется в Ext. и наоборот. Что пишется в csaudit.log - вообще неизвестно, так как средств доставания от туда информации нет никаких.
И видимо полную информацию можно достать только сопоставив 3 лога вместе. В такие моменты мне хочется, чтобы с программистами BM случилось что-нибудь очень нехорошее.
Идиотизм. Вершина. Яркая и сияющая.

Я конечно понимаю, что всегда остается способ реверсного инжениринга, в данном контексте BM модуля к nwadmin'у или (жавного скрипта к c1), но блин, надоело уже постигать принципы работы нетвари, изнутри. Хочется прочесть доку, и написать программу, а не тратить несколько недель на то чтобы отдизассемблить, понять алгоритм или что там еще нужно и только потом начать делать то, что нужно было еще в самом начале.

Интересно, а мне про SQL'и кто-нибудь расскажет....
Vitaly G.
 
Сообщения: 101
Зарегистрирован: 10 окт 2002, 21:44
Откуда: Moscow

Re: Postgres или MySQL

Сообщение Vitaly G. » 11 фев 2003, 16:57

Yuriy Levin писал(а):Вот именно, а главное, еще насколько медленно это будет работать, если все это написать.

Это, кстати, решаемая проблема..
Бить по месяцам, накпливать значения трафика в файлах. Решить все через cron... В общем, если подумать, то решить можно. Ни в реальном времени, конечно.
Yuriy Levin писал(а):А почему именно WEB-статистику? Чтобы юзеры сами видели, кто из них сколько порнухи смотрит? :)
Лично я подобную задачу (но без WEB) пробую решать с помощью локальной базы данных на Visual FoxPro 7.

Я не хочу у себя на машине что-либо таскать.
Сервера работают 24 часа в сутки, вот и пусть работают. Мне администрить хочется. Я могу заболеть, умереть, уволится, а статистика должна считаться и отдаваться людям.
Пусть смотрят сколько смотрели порнухи. Для низх это будет означать, что если видят они, то стало-ть вижу я и босс. За * по платному каналу, вкатят мало не покажется.

Yuriy Levin писал(а):По поводу MySQL могу сказать следующее: есть программа Андрея Южанинова ViewLog 2.03, она как раз и создает базу на сервере MySQL. Взять ее можно по адресу
http://netware.nwsoft.ru/perl/utils.pl? ... =uzhaninov
Я пробовал использовать и ее, но мне не понравилось, что один лог размером около 3мБ у меня импортировался на сервер полчаса :( В конце концов понял, что нужно писать свою базу.

Не хочу я ее брать. Она под Win. Без исходников, и не работает в автоматическом режиме и не обслуживает пользователей. Один, два раза воспользоваться.
Не прижилась она у меня, ни у моего прешественника.

Напишу свою. Сделаю freeware. Запускать можно будет на любой платформе в любом режиме.
Vitaly G.
 
Сообщения: 101
Зарегистрирован: 10 окт 2002, 21:44
Откуда: Moscow

Re: Postgres или MySQL

Сообщение Владимир Горяев » 11 фев 2003, 17:12

Vitaly G. писал(а):Напишу свою. Сделаю freeware. Запускать можно будет на любой платформе в любом режиме.

Ето было б здорово. Главное не растерять интузазизм по пути :D

Про траблы с MySQL народ уже высказывается - http://novell.org.ru/forum/viewtopic.php?t=1353

Yuriy Levin писал(а):А где именно HTTPS траффик виден?

В NWadmine можно кое-что увидеть.
Последний раз редактировалось Владимир Горяев 11 фев 2003, 17:32, всего редактировалось 1 раз.
Бардак автоматизировать невозможно!!!
_________________
Аватара пользователя
Владимир Горяев
 
Сообщения: 3473
Зарегистрирован: 05 июн 2002, 13:37
Откуда: Смоленск

Сообщение Владимир Горяев » 11 фев 2003, 17:21

Уже сегодня давал ету ссылку http://www.novell.com/coolsolutions/bor ... gs_bm.html
Пересекается. С исходниками. Мультиплаформенная вещь. CRON-ом можно запускать.
Бардак автоматизировать невозможно!!!
_________________
Аватара пользователя
Владимир Горяев
 
Сообщения: 3473
Зарегистрирован: 05 июн 2002, 13:37
Откуда: Смоленск

Сообщение Квашук aka Novell_maNiac! » 12 фев 2003, 07:06

Господа поддержите отечественного производителя :-))) и обратите внимание на http://novell.org.ru/forum/viewtopic.php?t=1353 зачем изобретать велосипед у нас уже написано то о чем вы мечтали :-)))
MasterCNE,CNE 6,MCP,CNS 2006
Аватара пользователя
Квашук aka Novell_maNiac!
 
Сообщения: 189
Зарегистрирован: 16 авг 2002, 04:38
Откуда: Национальный банк Траст

Сообщение Andrey Karyagin » 12 фев 2003, 20:21

Кто-нибудь пробовал сконфигурировать репликацию
баз данных в MySQL? Моя первая попытка пока закончилась неудачей. В качестве MASTER реплики
использовал WIN2000 и MySQL v3.23.55, а в качестве SLAVE реплики - NW6SP2 и MySQL v4.07Gamma. Вроде все сделал по документации - комбинация версий объявлена допустимой. Соединение между MySQL серверами устанавливается, но никакая активность MASTER'a не реплицируется в SLAVE.
Попутно обнаружил небольшие утечки памяти в MySQL утилитах и в самом сервере на NW.
Andrey Karyagin
 
Сообщения: 204
Зарегистрирован: 06 авг 2002, 15:56
Откуда: United Card Service

Re: Postgres или MySQL

Сообщение Vitaly G. » 14 фев 2003, 14:43

Владимир Горяев писал(а):Ето было б здорово. Главное не растерять интузазизм по пути :D

Про траблы с MySQL народ уже высказывается - http://novell.org.ru/forum/viewtopic.php?t=1353


2 Вопроса:
А что такого в nss от 6-ой NW придумали, что на нем не идут файловые операции из mysql/postgres ?

и второй:
Кто-нибудь пробовал в таком случае пересадить nss от 6ки на 5.1 ?
Vitaly G.
 
Сообщения: 101
Зарегистрирован: 10 окт 2002, 21:44
Откуда: Moscow

Сообщение Andrey Karyagin » 14 фев 2003, 15:22

Они переработали NSS как таковой!
Версия NSS в NW6.0 равна 3.x, а в NW5.x - 2.x и она
гораздо ближе к требованиям POSIX стандартов, чем
5.1. Пересадить NSS v.3 на NW5.1 не удастся, поскольку очень много скрытых различий в ядрах OS.
Ulrich Neumann, который портировал PostgreSQL,
обещает реализовать совместимость с 5.1 и Traditional File System для версии 7.3 PostgreSQL. Но случится это не раньше, чем через несколько месяцев.

P.S. А с репликацией MySQL я разобрался - заработала.
Andrey Karyagin
 
Сообщения: 204
Зарегистрирован: 06 авг 2002, 15:56
Откуда: United Card Service

Сообщение Vitaly G. » 14 фев 2003, 15:48

Andrey Karyagin писал(а):Они переработали NSS как таковой!
Версия NSS в NW6.0 равна 3.x, а в NW5.x - 2.x и она
гораздо ближе к требованиям POSIX стандартов, чем
5.1. Пересадить NSS v.3 на NW5.1 не удастся, поскольку очень много скрытых различий в ядрах OS.
Ulrich Neumann, который портировал PostgreSQL,
обещает реализовать совместимость с 5.1 и Traditional File System для версии 7.3 PostgreSQL. Но случится это не раньше, чем через несколько месяцев.

P.S. А с репликацией MySQL я разобрался - заработала.


Мдяя...
Получается, что реально никакую базу запустить под nw5.1 не удастся...
грустно, грустно...
Vitaly G.
 
Сообщения: 101
Зарегистрирован: 10 окт 2002, 21:44
Откуда: Moscow

Сообщение Andrey Karyagin » 14 фев 2003, 16:37

В сухом остатке для 5.1 имеем Btrieve, PervasiveSQL, безвременно усопший Oracle 8.1.x и усопший еще в эпоху 4.x Informix 7.x. Кроме того, вышеупомянутый г-н Neumann в свое время портировал BerkeleyDB v3.2.9.
Да еще некоторым удалось успешно запустить Java решение hSQL: http://hsqldb.sourceforge.net. Говорили, что работает весьма шустро, если памяти и процессоров в сервере хватает.
Andrey Karyagin
 
Сообщения: 204
Зарегистрирован: 06 авг 2002, 15:56
Откуда: United Card Service

Сообщение Vitaly G. » 14 фев 2003, 16:49

Andrey Karyagin писал(а):В сухом остатке для 5.1 имеем Btrieve, PervasiveSQL, безвременно усопший Oracle 8.1.x и усопший еще в эпоху 4.x Informix 7.x. Кроме того, вышеупомянутый г-н Neumann в свое время портировал BerkeleyDB v3.2.9.
Да еще некоторым удалось успешно запустить Java решение hSQL: http://hsqldb.sourceforge.net. Говорили, что работает весьма шустро, если памяти и процессоров в сервере хватает.


Что-ж, спасибо.
Vitaly G.
 
Сообщения: 101
Зарегистрирован: 10 окт 2002, 21:44
Откуда: Moscow

След.

Вернуться в Novell

Кто сейчас на конференции

Сейчас этот форум просматривают: Yahoo [Bot] и гости: 3

cron