Apache Kafka – co to? Twój kompletny przewodnik po platformie strumieniowania danych

Chcę pokazać Ci technologię, która całkowicie zmieniła sposób, w jaki przesyłamy dane w czasie rzeczywistym. Zapewne widzisz na co dzień, jak szybko zmienia się świat technologii. Dawniej firmy zbierały dane w paczki i przetwarzały je raz na dobę. Dziś to już nie przejdzie – klienci chcą natychmiastowych reakcji na swoje kliknięcia. Właśnie dlatego programiści stworzyli platformę strumieniowania danych, która bez problemu łączy ze sobą wiele rozproszonych systemów IT. Z jej pomocą łatwiej zbudujesz stabilną architekturę w chmurze lub na własnych serwerach. Zapomnisz o pisaniu osobnych połączeń dla każdej pary aplikacji – połączysz je sprawnie w jednym miejscu. Z tego przewodnika dowiesz się dokładnie, jak działa ten system i dlaczego wywrócił do góry nogami dotychczasowe podejście do inżynierii danych.

Co to jest Apache Kafka i do czego służy?

Najprościej mówiąc, to rozproszona platforma, która przesyła strumienie danych w czasie rzeczywistym.

Inżynierowie z LinkedIn stworzyli ją na własne potrzeby, a dziś rozwija ją darmowo społeczność skupiona wzglądu Apache Software Foundation. Kiedy porównasz ją z tradycyjnymi brokerami wiadomości, szybko zauważysz różnicę. Projektanci od początku budowali ten system z myślą o przetwarzaniu gigantycznych ilości informacji. Całość opiera się na koncepcji uporządkowanego logu transakcyjnego (commit log), który system zapisuje bezpośrednio na dyskach twardych.

Dzięki temu wysłane wiadomości nie znikają, kiedy odbiorca je odczyta. Bezpiecznie przechowasz je przez taki czas, jaki sam ustawisz, a Twoje aplikacje wrócą do historycznych danych i przetworzą je ponownie w dowolnej chwili. Twoje systemy rozproszone zyskają stabilność i elastyczność, o jakich wcześniej można było tylko pomarzyć.

Dobrze wyjaśnia to jeden ze współtwórców projektu, Jay Kreps:

zamiast traktować dane jako statyczne tabele w bazie danych, postrzegajmy je jako ciągły, niekończący się strumień zdarzeń zachodzących w czasie rzeczywistym.

Jak wygląda architektura Apache Kafka i jak działa od środka?

Cała architektura opiera się na klastrach, czyli grupach połączonych ze sobą serwerów.

Te serwery nazywamy brokerami. Ich zadanie to bezpieczne przechowywanie danych oraz obsługa żądań zapisu i odczytu wiadomości. Kiedy połączysz je w klaster, zyskasz odporność na awarie całego środowiska. Jeśli nagle uszkodzi się jeden broker, jego zadania przejmą inne maszyny.

Tę odporność zyskujesz dzięki replikacji danych między serwerami. System automatycznie kopiuje każdy komunikat na kilka fizycznych maszyn, więc nie stracisz ważnych informacji biznesowych. Ta zdecentralizowana konstrukcja ułatwi Ci skalowanie horyzontalne – po prostu dodasz nowe serwery do działającego klastra.

Kim są producenci i konsumenci, od których zależy działanie systemu?

Producenci i konsumenci to po prostu nadawcy i odbiorcy wiadomości.

Producenci to aplikacje lub usługi generujące zdarzenia i wysyłające je do klastra. Robią to asynchronicznie, więc nie muszą wiedzieć, kto te informacje odbierze. W ten sposób całkowicie uniezależnisz (zrobisz decoupling) poszczególne elementy swojego systemu.

Konsumenci natomiast to aplikacje, które zapisują się na określone kanały i same pobierają nowe wiadomości. Projektanci zastosowali tu tak zwany model pull. Oznacza to, że odbiorca sam decyduje, kiedy i ile danych przetworzy. Dzięki temu nie przeciążysz swoich aplikacji, kiedy nagle wzrośnie ruch w sieci.

Jak działają tematy i partycje?

Tematy to po prostu kategorie wiadomości, które system dzieli na mniejsze, fizyczne części, nazywane partycjami.

Każdy komunikat trafiający do klastra ląduje w konkretnym temacie, który działa jak osobny kanał. Żeby zachować wysoką wydajność, system dzieli każdy temat na wiele fizycznych partycji i rozrzuca je po różnych maszynach w klastrze. Taki podział sprawia, że wiele niezależnych procesów może jednocześnie zapisywać i odczytywać dane.

Musisz wiedzieć, że platforma gwarantuje kolejność dostarczania wiadomości tylko w obrębie jednej, konkretnej partycji. Nowe zdarzenia trafiają zawsze na sam koniec fizycznego logu, a system określa ich pozycję za pomocą unikalnego numeru (offset). Ten mechanizm pozwoli Twoim aplikacjom precyzyjnie kontrolować stan odczytu i bez przeszkód wznawiać pracę, jeśli dojdzie do awarii.

Jak grupy konsumenckie pomagają w dużej skali?

Grupa konsumencka pozwala bezkonfliktowo rozdzielić obciążenie i przetwarzać komunikaty równolegle przez wiele instancji aplikacji.

Jeśli jedna aplikacja nie nadąża z odbieraniem wiadomości, bez problemu uruchomisz kolejne instancje tej samej usługi. Kafka automatycznie połączy je w jedną grupę i rozdzieli partycje danego tematu między konkretne procesy. Dzięki temu przetworzysz każdą wiadomość dokładnie raz, bez ryzyka, że dwa programy wykonają to samo zadanie.

System cały czas monitoruje stan zdrowia wszystkich odbiorców w grupie. Jeśli jeden z nich ulegnie awarii, Kafka automatycznie przebuduje przypisania i uruchomi rebalancing. Pozostałe programy natychmiast przejmą obsługę osieroconych partycji, co pozwoli zachować ciągłość działania.

Gdzie sprawdzi się Apache Kafka?

System ten wspiera procesy biznesowe w firmach, które przetwarzają gigantyczne ilości danych w czasie rzeczywistym.

Ponad 80% firm z listy Fortune 100 polega na tej technologii przy codziennej wymianie najważniejszych komunikatów. Znane marki – jak Netflix, Spotify, Uber czy Goldman Sachs – zbudowali na jej bazie swoje flagowe usługi. Ta elastyczność sprawia, że wdrożysz ją w wielu różnych scenariuszach:

• branży finansowej i bankowości: wykryjesz oszustwa transakcyjne w ułamku sekundy, przeanalizujesz ryzyko kredytowe i przetworzysz dane giełdowe bez opóźnień,
• sektorze e-commerce: dopasujesz oferty do klientów w czasie rzeczywistym, natychmiast zaktualizujesz stany magazynowe i prześledzisz ścieżkę zakupową użytkowników,
• mediach i streamingu: przeanalizujesz logi telemetryczne, dasz użytkownikom trafne rekomendacje wideo na żywo i zbadasz ich zaangażowanie,
• transporcie i logistyce: skoordynujesz lokalizację pojazdów na mapie, zoptymalizujesz trasy dostawców i dynamicznie wycenisz usługi,
• internecie rzeczy (IoT): zbierzesz gigantyczne strumienie danych z tysięcy czujników przemysłowych i automatycznie sprawdzisz stan maszyn.

Kiedy lepiej wybrać Kafkę, a kiedy RabbitMQ?

Wszystko zależy od tego, jak wygląda Twoja architektura danych oraz jak długo chcesz je przechowywać.

Kafka służy do ciągłego strumieniowania, pozwala na wielokrotny odczyt oraz długoterminowo przechowuje logi zdarzeń. RabbitMQ z kolei działa jak klasyczny broker wiadomości – dba o to, by szybko dostarczyć informację i natychmiast usunąć ją z pamięci, gdy odbiorca potwierdzi odebranie. Ta różnica w podejściu do trwałości danych decyduje o tym, którego rozwiązania użyjesz w swoim projekcie.

Skalowanie Kafki opiera się na fizycznych partycjach, dzięki czemu osiągniesz ogromną przepustowość przy minimalnym obciążeniu serwera. RabbitMQ daje Ci za to o wiele bogatsze możliwości kierowania wiadomości za pomocą skomplikowanych reguł i filtrów (exchanges). Zestawiłem dla Ciebie najważniejsze różnice w poniższej tabeli:

Cecha techniczna	Apache Kafka	RabbitMQ
Model działania	log rozproszony (commit log)	klasyczny broker kolejkowy
Trwałość danych	zapis na dysku (retencja danych)	wiadomości usuwane po przetworzeniu
Model odczytu	pull (odbiorca pobiera dane)	push (broker wysyła dane)
Przepustowość	bardzo wysoka (miliony zdarzeń)	średnia do wysokiej
Routing wiadomości	prosty (na podstawie tematu)	bardzo elastyczny i zaawansowany

Jak Kafka wpisuje się w architekturę sterowaną zdarzeniami?

W architekturze sterowanej zdarzeniami asynchroniczne przesyłanie komunikatów staje się główną drogą wymiany informacji między mikroserwisami.

W tym podejściu usługi nie odpytują się bezpośrednio – po prostu reagują na zdarzenia biznesowe publikowane w sieci. Kafka sprawdza się tu świetnie jako centralny układ nerwowy całej Twojej infrastruktury. Dzięki niej łatwo dodasz nowe moduły bez ruszania kodu w działających już aplikacjach.

Asynchroniczność daje ogromną elastyczność, ale zmusza też do odpowiedzialnego zarządzania stanem aplikacji. Koordynowanie wielu rozproszonych procesów bywa sporym wyzwaniem, dlatego najlepiej sięgać po sprawdzone wzorce architektoniczne. Potwierdzają to doświadczeni praktycy, którzy na co dzień projektują systemy dla milionów użytkowników. Martin Kleppmann, autor książek o systemach rozproszonych, pisze o tym tak:

architektura oparta na zdarzeniach całkowicie zmienia sposób, w jaki integrujemy systemy korporacyjne. Zamiast budować sztywne i zawodne połączenia punkt-punkt, tworzymy elastyczny ekosystem reagujący na zmiany w czasie rzeczywistym.

Dlaczego twórcy wybrali nazwisko Franza Kafki?

Jay Kreps, jeden z twórców oprogramowania, wybrał nazwisko pisarza Franza Kafki jako ironiczną i łatwą do zapamiętania nazwę dla nowego projektu.

Inżynierowie szukali krótkiego słowa kojarzącego się z systemem stworzonym do bardzo szybkiego, ciągłego zapisywania danych. A ponieważ Franz Kafka dużo pisał, jego nazwisko świetnie pasowało do tej metafory. Poza tym autorzy projektu mieli specyficzne, dość czarne poczucie humoru.

Słowo „kafkowski” kojarzy nam się zazwyczaj z absurdalną biurokracją, labiryntami urzędów i zawiłymi procesami. Twórcy uznali to za trafną aluzję do skomplikowanych struktur Big Data, które ich technologia miała pomóc uporządkować. Ostatecznie nazwa okazała się marketingowym strzałem w dziesiątkę i na stałe zapisała się w pamięci specjalistów IT na całym świecie.

Jak ułożyć to wszystko w całość?

Dziś Apache Kafka to absolutny standard, jeśli chodzi o przetwarzanie strumieniowe v nowoczesnym biznesie.

Łączy w sobie ogromną wydajność, łatwe skalowanie i wysokie bezpieczeństwo danych, dzięki czemu skutecznie zastępuje tradycyjne brokery wiadomości. Kiedy wdrożysz ją w swojej firmie, błyskawicznie zareagujesz na zachowania klientów i zmiany na rynku. Jeśli planujesz budowę nowoczesnej architektury IT, przemyśl dodanie tego rozwiązania do swojego stosu technologicznego.

Oto najważniejsze korzyści, jakie zobaczysz po jej uruchomieniu:

• przetwarzasz i analizujesz dane oparte na zdarzeniach w czasie rzeczywistym,
• bezpiecznie przechowujesz i replikujesz wiadomości, co chroni Cię przed ich utratą,
• skalujesz system horyzontalnie bez przestojów i dodatkowych kosztów,
• uniezależniasz od siebie poszczególne usługi w architekturze mikroserwisowej.

Chcesz poukładać architekturę danych w swojej firmie albo potrzebujesz pomocy przy wdrożeniu rozwiązań chmurowych? Skonsultuj swój projekt z naszymi architektami IT lub zapisz się na nasz newsletter, żeby regularnie dostawać praktyczną wiedzę o inżynierii danych i świecie Big Data.

FAQ – najczęściej zadawane pytania o Apache Kafka

Zebrałem poniżej odpowiedzi na najczęstsze pytania techniczne, które zadają programiści i menedżerowie IT.

Czy Apache Kafka rzeczywiście jest całkowicie darmowa?

Tak, to w pełni darmowe oprogramowanie open-source na licencji Apache License 2.0. Udostępnia je Apache Software Foundation, co oznacza, że możesz używać go bezpłatnie do celów komercyjnych i dowolnie zmieniać kod źródłowy.

Do czego służy partycjonowanie w architekturze Kafki?

Dzięki partycjonowaniu podzielisz tematy na mniejsze, fizyczne części. Pozwala to rozproszyć zapis i odczyt na wiele serwerów (brokerów), co daje niemal nieograniczone możliwości skalowania i ogromną przepustowość całego klastra.

Kiedy w pojedynku Kafka vs RabbitMQ lepiej postawić na to drugie rozwiązanie?

Wybierz RabbitMQ, jeśli zależy Ci na zaawancowanym kierowaniu wiadomościami, chcesz, aby natychmiast znikały po przetworzeniu lub budujesz prosty system kolejek w mikroserwisach i nie potrzebujesz odtwarzania historii zdarzeń.

Kim jest Jay Kreps i jaki miał wpływ na ten projekt?

To jeden z głównych twórców Kafki (gdy powstawała jeszcze w LinkedIn) i współzałożyciel firmy Confluent, która dostarcza komercyjne wsparcie dla tej technologii. Zaprojektował fundamenty systemu i pokazał światu, że log zdarzeń to świetny sposób na nowoczesną integrację danych.

 

Poszukujesz agencji SEO w celu wypozycjonowania swojego serwisu? Skontaktujmy się!