Was ist Lakebase?

Von Bedeutung

Dieses Feature befindet sich in der öffentlichen Vorschau in den folgenden Regionen: westus, westus2, eastus, eastus2, centralus, southcentralus, northeurope, westeurope, australiaeast, brazilsouth, canadacentral, centralindia, southeastasia, uksouth.

Auf dieser Seite wird die Azure Databricks Lakebase eingeführt, ein vollständig verwaltetes OlTP-Datenbankmodul, das in die Databricks Data Intelligence Platform integriert ist. Eine Datenbankinstanz ist ein Typ von Azure Databricks Compute, der den Speicher und die Berechnung für die Ausführung eines Postgres-Servers bereitstellt, der mehrere Datenbanken verwaltet.

Überblick

Eine OLTP-Datenbank (Online Transaction Processing) ist eine spezielle Art von Datenbanksystem, mit der hohe Mengen von Transaktionsdaten in Echtzeit effizient verarbeitet werden können. Lakebase ermöglicht es Ihnen, eine OLTP-Datenbank auf Azure Databricks zu erstellen und OLTP-Workloads in Ihr Lakehouse zu integrieren. Mit dieser OLTP-Datenbank können Sie Datenbanken erstellen und verwalten, die in databricks-verwaltetem Speicher gespeichert sind.

Die Verwendung einer OLTP-Datenbank in Verbindung mit der Azure Databricks-Plattform reduziert die Anwendungskomplexität erheblich. Lakebase ist gut in databricks Feature Store, SQL Warehouses und Databricks Apps integriert. Die Verwendung von Synchronisierungstabellen bietet eine einfache und leistungsfähige Möglichkeit zum Synchronisieren von Daten zwischen OLTP- und OLAP-Workloads (Online Analytical Processing).

Basierend auf Postgres und vollständig in die Databricks Data Intelligence Platform integriert, erbt Lakebase mehrere Kernplattformfunktionen, darunter:

• Vereinfachte Verwaltung: Nutzt vorhandene Azure Databricks-Infrastruktur, um Instanzen mit entkoppelter Compute- und Speicherbereitstellung, verwalteter Änderungsdatenerfassung mit Delta Lake und Unterstützung für Multi-Cloud-Bereitstellungen bereitzustellen.
• Integrierte Funktionen im Bereich Künstlicher Intelligenz (KI) und Maschinellen Lernens (ML): Unterstützt Feature- und Modellbereitstellung, Abruf-unterstützte Generierung (RAG) und andere KI- und ML-Integrationen.
• Integrierte Authentifizierung und Governance: Optional können Sie den Unity-Katalog verwenden, um den sicheren Zugriff auf Daten zu erzwingen.

Beispielhafte Anwendungsfälle

Die folgenden Beispiele zeigen, wie Organisationen in verschiedenen Branchen Azure Databricks-Integrationen für die Entscheidungsfindung in Echtzeit und workflowautomatisierung verwenden:

• E-Commerce: Verwenden Sie vorab berechnete Kundensegmente und Einblicke, um Workflows wie bevorzugte Lieferung, Angebotsadressierung und personalisierte Produktempfehlungen zu unterstützen.
• Gesundheitswesen: Verwalten Sie klinische Testdaten und oberflächenrelevante Erkenntnisse über Empfehlungssysteme, die in klinische Workflows eingebettet sind.
• Finanzdienstleistungen: Aktivieren Sie den automatischen Markthandel basierend auf Streamingdaten und vortrainierten Modellen.
• Einzelhandel: Verwenden Sie einen Chatbot, der aktuelle Unterhaltungsverlauf und Echtzeitdaten (z. B. Einkaufswageninhalte) enthält, um Antworten zu personalisieren und das Engagement zu fördern.
• Herstellung: Nachverfolgen und Verwalten von Computertelemetrie- und IoT-Daten zur Unterstützung von Entscheidungsfindungs- und automatisierten Wartungsworkflows mit geringer Latenz.

Workloadtypen

• Datenbereitstellung: Bereitstellen von Erkenntnissen aus goldenen Tabellen zu Anwendungen mit geringer Latenz und hohem QPS.
• Store-Anwendungsstatus: Verwalten Sie Ihren Workflowstatus in unserem Transaktionsdatenspeicher.
• Feature Serving: Bereitstellung von mit Funktionen versehenen Daten mit einer geringen Latenzzeit für Modelle.

Databricks-Integration

Die folgenden Funktionen unterstützen die Integration von Lakebase in vorhandene Azure Databricks-Funktionen:

• Integration eines Online-Feature Stores: Verwenden Sie PostgreSQL-Tabellen als Online Store für die Bereitstellung von Funktionen in Echtzeit. Siehe Databricks Online Feature Stores.
• Speichern von Databricks-Apps-Daten: Fügen Sie Datenbankinstanzen als App-Ressource hinzu, um Daten in Azure Databricks Apps-Bereitstellungen zu speichern. Siehe Hinzufügen einer Lakebase-Ressource zu einer Databricks-App.
• Databricks Asset Bundles-Ressourcen: Definieren Sie Datenbankinstanzen und synchronisierte Tabellen als Ressourcen in einem Bündel, um komplexe Projekte zu verwalten. Siehe database_instance und synced_database_table.
• Databricks Terraform-Integration: Verwenden Sie den Databricks Terraform-Anbieter, um Lakebase-Ressourcen zu erstellen und zu verwalten. Terraform ermöglicht Es Ihnen, die kompliziertsten Aspekte der Bereitstellung und Verwaltung Ihrer Datenplattformen zu automatisieren. Siehe Databricks Terraform-Anbieter und die Terraform-Dokumentation.