Migracja platformy Apache Kafka na platformę Azure
Apache Kafka to wysoce skalowalny i odporny na uszkodzenia system obsługi komunikatów rozproszonych, który implementuje architekturę publikowania-subskrybowania. Jest ona używana jako warstwa pozyskiwania w scenariuszach przesyłania strumieniowego w czasie rzeczywistym, takich jak Internet rzeczy i systemy monitorowania dzienników w czasie rzeczywistym. Jest ona również coraz częściej używana jako niezmienny magazyn danych tylko do dołączania w architekturach Kappa.
Apache®, Apache Spark®, Apache Hadoop®, Apache HBase, Apache Storm®, Apache Sqoop®, Apache Kafka® i logo płomienia są zastrzeżonymi znakami towarowymi lub znakami towarowymi platformy Apache Software Foundation w Stanach Zjednoczonych i/lub innych krajach. Użycie tych znaków nie oznacza autoryzacji przez Fundację Apache Software.
Podejście do migracji
W tym artykule przedstawiono różne strategie migracji platformy Kafka na platformę Azure:
- Migrowanie platformy Kafka do infrastruktury jako usługi platformy Azure (IaaS)
- Migrowanie platformy Kafka do usługi Azure Event Hubs dla platformy Kafka
- Migrowanie platformy Kafka w usłudze Azure HDInsight
- Używanie usługi Azure Kubernetes Service (AKS) z platformą Kafka w usłudze HDInsight
- Używanie platformy Kafka w usłudze AKS z operatorem Strimzi
Oto schemat blokowy podejmowania decyzji w celu podjęcia decyzji, która strategia ma być używana.
Migrowanie platformy Kafka do usługi IaaS platformy Azure
Aby uzyskać jeden ze sposobów migracji platformy Kafka do usługi Azure IaaS, zobacz Kafka na maszynach wirtualnych z systemem Ubuntu.
Migrowanie platformy Kafka do usługi Event Hubs dla platformy Kafka
Usługa Event Hubs udostępnia punkt końcowy zgodny z interfejsami API producenta i konsumenta platformy Apache Kafka. Większość aplikacji klienckich platformy Apache Kafka może używać tego punktu końcowego, więc możesz użyć go jako alternatywy dla uruchamiania klastra platformy Kafka na platformie Azure. Punkt końcowy obsługuje klientów korzystających z interfejsu API w wersji 1.0 lub nowszej. Aby uzyskać więcej informacji na temat tej funkcji, zobacz Event Hubs for Apache Kafka overview (Omówienie usługi Event Hubs dla platformy Apache Kafka).
Aby dowiedzieć się, jak migrować aplikacje platformy Apache Kafka do korzystania z usługi Event Hubs, zobacz Migrowanie do usługi Event Hubs dla ekosystemów platformy Apache Kafka.
Funkcje platformy Kafka i usługi Event Hubs
| Podobieństwa między platformą Kafka i usługą Event Hubs | Różnice w usługach Kafka i Event Hubs |
|---|---|
| Używanie partycji | Platforma jako usługa a oprogramowanie |
| Partycje są niezależne | Partycjonowanie |
| Używanie koncepcji kursora po stronie klienta | API-e |
| Skalowanie do bardzo dużych obciążeń | Środowisko uruchomieniowe |
| Prawie identyczne koncepcyjnie | Protokoły |
| Żaden z nich nie używa protokołu HTTP do odbierania | Trwałość |
| Bezpieczeństwo | |
| Ograniczanie prędkości |
Różnice partycjonowania
| Kafka | Centra zdarzeń |
|---|---|
| Liczba partycji zarządza skalowaniem. | Jednostki przepływności zarządzają skalą. |
| Należy równoważyć obciążenia partycji między maszynami. | Równoważenie obciążenia jest automatyczne. |
| Należy ręcznie ponownie podzielić i scalić. | Ponowne partycjonowanie nie jest wymagane. |
Różnice trwałości
| Kafka | Centra zdarzeń |
|---|---|
| Domyślnie nietrwałe | Zawsze trwałe |
| Replikowane po odebraniu potwierdzenia (ACK) | Replikowane przed wysłaniem usługi ACK |
| Zależy od dysku i kworum | Udostępniane przez magazyn |
Różnice w zabezpieczeniach
| Kafka | Centra zdarzeń |
|---|---|
| Secure Sockets Layer (SSL) i Simple Authentication and Security Layer (SASL) | Sygnatura dostępu współdzielonego (SAS) i SASL lub PLAIN RFC 4618 |
| Listy kontroli dostępu podobne do plików | Polityka |
| Opcjonalne szyfrowanie transportu | Obowiązkowe zabezpieczenia warstwy transportu (TLS) |
| Oparte na użytkowniku | Oparte na tokenach (nieograniczone) |
Inne różnice
| Kafka | Centra zdarzeń |
|---|---|
| Nie ogranicza przepustowości | Obsługuje ograniczanie przepustowości |
| Używa zastrzeżonego protokołu | Używa protokołu AMQP 1.0 |
| Nie używa protokołu HTTP do wysyłania | Używa wysyłania http i wysyłania wsadowego |
Migrowanie platformy Kafka w usłudze HDInsight
Platformę Kafka można migrować do platformy Kafka w usłudze HDInsight. Aby uzyskać więcej informacji, zobacz Co to jest platforma Apache Kafka w usłudze HDInsight?.
Używanie usługi AKS z platformą Kafka w usłudze HDInsight
Aby uzyskać więcej informacji, zobacz Use AKS with Apache Kafka on HDInsight (Używanie usługi AKS z platformą Apache Kafka w usłudze HDInsight).
Używanie platformy Kafka w usłudze AKS z operatorem Strimzi
Aby uzyskać więcej informacji, zobacz Deploy a Kafka cluster on AKS by using Strimzi (Wdrażanie klastra Kafka w usłudze AKS przy użyciu rozwiązania Strimzi).
Migracja danych platformy Kafka
Narzędzie MirrorMaker platformy Kafka umożliwia replikowanie tematów z jednego klastra do innego. Ta technika może ułatwić migrację danych po aprowizacji klastra platformy Kafka. Aby uzyskać więcej informacji, zobacz Używanie narzędzia MirrorMaker do replikowania tematów platformy Apache Kafka za pomocą platformy Kafka w usłudze HDInsight.
Następujące podejście do migracji korzysta z dublowania:
Najpierw przenieś producentów. Podczas migracji producentów zapobiegasz tworzeniu nowych komunikatów na źródłowej platformie Kafka.
Gdy źródło platforma Kafka używa wszystkich pozostałych komunikatów, można migrować użytkowników.
Implementacja obejmuje następujące kroki:
Zmień adres połączenia platformy Kafka klienta producenta, aby wskazywał nowe wystąpienie platformy Kafka.
Uruchom ponownie usługi biznesowe producenta i wyślij nowe komunikaty do nowego wystąpienia platformy Kafka.
Poczekaj na zużycie danych na źródłowym platformie Kafka.
Zmień adres połączenia platformy Kafka klienta odbiorcy, aby wskazywał nowe wystąpienie platformy Kafka.
Uruchom ponownie usługi biznesowe konsumenckie, aby korzystać z komunikatów z nowego wystąpienia platformy Kafka.
Sprawdź, czy konsumenci pomyślnie otrzymują dane z nowego wystąpienia platformy Kafka.
Monitorowanie klastra platformy Kafka
Dzienniki usługi Azure Monitor umożliwiają analizowanie dzienników generowanych przez platformę Apache Kafka w usłudze HDInsight. Aby uzyskać więcej informacji, zobacz Analizowanie dzienników dla Apache Kafka na HDInsight.
Interfejs API strumieni platformy Apache Kafka
Interfejs API strumieni platformy Kafka umożliwia przetwarzanie danych niemal w czasie rzeczywistym oraz łączenie i agregowanie danych. Aby uzyskać więcej informacji, zobacz Introducing Kafka Streams: Stream Processing Made Simple - Confluent (Wprowadzenie do strumieni platformy Kafka: Przetwarzanie strumieniowe wykonane proste — confluent).
Partnerstwo firmy Microsoft i Confluent
Platforma Confluent udostępnia natywną dla chmury usługę dla platformy Apache Kafka. Microsoft i Confluent mają strategiczny sojusz. Aby uzyskać więcej informacji, zobacz następujące zasoby:
- Confluent i Microsoft ogłaszają strategiczny sojusz
- Wprowadzenie bezproblemowej integracji między platformą Microsoft Azure i platformą Confluent Cloud
Współautorzy
Firma Microsoft utrzymuje ten artykuł. Następujący współautorzy napisali ten artykuł.
Główni autorzy:
- Namrata Maheshwary | Starszy architekt rozwiązań w chmurze
- Raja N | Dyrektor, Sukces klienta
- Hideo Takagi | Architekt rozwiązań w chmurze
- Ram Yerrabotu | Starszy architekt rozwiązań w chmurze
Inni współautorzy:
- Ram Baskaran | Starszy architekt rozwiązań w chmurze
- Jason Bouska | Starszy inżynier oprogramowania
- Eugene Chung | Starszy architekt rozwiązań w chmurze
- Pawan Hosatti | Starszy architekt rozwiązań w chmurze — inżynieria
- Daman Kaur | Architekt rozwiązań w chmurze
- Danny Liu | Starszy architekt rozwiązań w chmurze — inżynieria
- Jose Mendez Starszy architekt rozwiązań w chmurze
- Ben Sadeghi | Starszy specjalista
- Sunil Sattiraju | Starszy architekt rozwiązań w chmurze
- Amanjeet Singh | Główny menedżer programu
- Nagaraj Seeplapudur Venkatesan | Starszy architekt rozwiązań w chmurze — inżynieria
Aby wyświetlić niepubliczne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.
Następne kroki
Wprowadzenie do produktów platformy Azure
- Wprowadzenie do usługi Azure Data Lake Storage
- Co to jest platforma Apache Spark w usłudze HDInsight?
- Co to jest usługa Apache Hadoop w usłudze HDInsight?
- Co to jest baza danych Apache HBase w usłudze HDInsight?
- Co to jest platforma Apache Kafka w usłudze HDInsight?
- Omówienie zabezpieczeń przedsiębiorstwa w usłudze HDInsight
Dokumentacja produktu platformy Azure
- Dokumentacja firmy Microsoft Entra
- Dokumentacja usługi Azure Cosmos DB
- Dokumentacja usługi Azure Data Factory
- Dokumentacja usługi Azure Databricks
- Dokumentacja usługi Event Hubs
- Dokumentacja usługi Azure Functions
- dokumentacja HDInsight
- Dokumentacja ładu danych usługi Microsoft Purview
- Dokumentacja usługi Azure Stream Analytics
Pozostałe
- Pakiet Enterprise Security dla usługi HDInsight
- Tworzenie programów Java MapReduce dla platformy Apache Hadoop w usłudze HDInsight
- Korzystanie z programu Apache Sqoop za pomocą platformy Hadoop w usłudze HDInsight
- Omówienie przesyłania strumieniowego platformy Apache Spark
- Samouczek dotyczący przesyłania strumieniowego ze strukturą
- Korzystanie z usługi Event Hubs z poziomu aplikacji platformy Apache Kafka