кто-то kafka ставил ?

Для любителей просто поболтать

кто-то kafka ставил ?

Сообщение skoltogyan » 18 авг 2022, 13:36

кто-то kafka ставил ?
skoltogyan
 
Сообщения: 2037
Зарегистрирован: 12 июл 2002, 19:39
Откуда: Украина, Донецк

Re: кто-то kafka ставил ?

Сообщение Dimerson » 19 авг 2022, 07:06

это что такое ? какое-то новое чукалово ?
Аватара пользователя
Dimerson
 
Сообщения: 2951
Зарегистрирован: 15 сен 2002, 14:39
Откуда: Регион 70

Re: кто-то kafka ставил ?

Сообщение skoltogyan » 20 авг 2022, 21:11

skoltogyan
 
Сообщения: 2037
Зарегистрирован: 12 июл 2002, 19:39
Откуда: Украина, Донецк

Re: кто-то kafka ставил ?

Сообщение Dimerson » 21 авг 2022, 07:08

я поглядел - это гуй для управления контейнерами.
Аватара пользователя
Dimerson
 
Сообщения: 2951
Зарегистрирован: 15 сен 2002, 14:39
Откуда: Регион 70

Re: кто-то kafka ставил ?

Сообщение skoltogyan » 21 авг 2022, 14:26

это типа "доставщик сообщений"
источник сообщений подключается к этой хрени и шлет в канал данные последовательно
получатель подключается к системе и последовательно их вычитывает.. асинхронно это все.

это если очень вчерне про зверя
skoltogyan
 
Сообщения: 2037
Зарегистрирован: 12 июл 2002, 19:39
Откуда: Украина, Донецк

Re: кто-то kafka ставил ?

Сообщение Иван Левшин aka Ivan L. » 21 авг 2022, 22:38

Dimerson писал(а):я поглядел - это гуй для управления контейнерами.

Нет вообще, надо еще раз поглядеть :) Это балансировка нагрузки от апача. Ну и сообщения. Насколько я помню, глубоко не вникал.

P.S. Мне тоже надо было еще раз поглядеть, факт. Это именно маршрутизация сообщений/событий (Event Streaming) в сложных/распределенных системах. Такая себе "нервная система".
Иван Левшин aka Ivan L.
 
Сообщения: 2576
Зарегистрирован: 05 июн 2002, 18:36
Откуда: Новомосковск, Тул. обл.

Re: кто-то kafka ставил ?

Сообщение skoltogyan » 28 авг 2022, 15:43

Прикольная хрень.
Подымаешь на трех различный серверах.
Создаешь "Topic" с именем, например "my-topic", указав. при его создании, например, " --replication-factor 3" и будет этот топик автоматом синхронится на три сервака.
Topic - это типа каталог в котором все хранится, например:
/home/kafka/log/my-topic0
(0 - это порядковый номер партиции. поскольку создавал с одной партицией, то такой каталог ОДИН)
Если при создании топика указать, что "--partitions 2" ( все в ДВУХ партицииях. понятие - портиции тут свое, не как в файловой системе)), то будут созданы типа так 2 каталоги(партиции)
/home/kafka/log/my-topic0
/home/kafka/log/my-topic1
Вот такой один каталог - и есть партиция

Хранит полученные сообщения в файле типа так
/home/kafka/log/my-topic0/000000000000000000000.log
вот содержимое этого каталога
/home/kafka/log/my-topic0/ (если несколько партиций, то несколько таких каталогов синхронятся)
и реплицирует кафкк между серверами.
skoltogyan
 
Сообщения: 2037
Зарегистрирован: 12 июл 2002, 19:39
Откуда: Украина, Донецк


Вернуться в Флейм

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 2

cron