Erstellen Sie Anwendungen und Agenten auf Lakehouse Real-Time

Important

Lakehouse Real-Time (Lakehouse//RT) ist in Beta. Wenden Sie sich an Ihr Databricks-Kontoteam, um dieses Feature in Ihrem Konto zu aktivieren.

Lakehouse//RT wird aktiv weiterentwickelt. Leistungsmerkmale und der unterstützte Funktionsumfang können sich ändern.

Verbinden Sie einen benutzerdefinierten Anwendungs- oder KI-Agenten mit einem Lakehouse//RT-Warehouse, um Abfrageergebnisse in unter einer Sekunde aus Ihren Tabellen in Unity Catalog bereitzustellen. Anwendungen und Agenten fragen die vorhandenen Tabellen ab, daher benötigen sie keine separate servierende Datenbank, die eine Kopie Ihrer Daten enthält.

Requirements

Um eine Anwendung oder einen Agenten mit Lakehouse//RT zu verbinden, benötigen Sie:

Verbindung aus einer Anwendung herstellen

Lakehouse//RT akzeptiert Verbindungen nur über die Statement Execution API. Rufen Sie die API direkt auf oder verwenden Sie einen dafür konfigurierten Treiber. Für die Liste der Treiber und deren Einstellungen, siehe Konnektivität.

So verbinden Sie sich mit einer Python-Anwendung mit dem Databricks SQL Connector für Python:

  1. Installieren Sie den Konnektor mit dem kernel Extra. Das Extra erfordert Python 3.10 oder höher. Version 4.9.0 und höher erkennt automatisch ein Lakehouse//RT-Warehouse, wenn das kernel Extra installiert wird.

    pip install "databricks-sql-connector[kernel]"
    
  2. Legen Sie die folgenden Umgebungsvariablen fest:

  3. Verbinden Sie sich und führen Sie parameterisierte Abfragen aus. Das folgende Beispiel wählt use_kernel=True explizit den Pfad der Statement Execution API aus, was auch auf Versionen älter als 4.9.0 funktioniert. Es authentifiziert sich als Service-Principal, legt eine Anweisung-Timeout für die Sitzung fest und gibt Benutzereingaben als Abfrageparameter weiter, anstatt die SQL-Zeichenfolge zu erstellen:

    import os
    from databricks import sql
    
    connection = sql.connect(
        server_hostname=os.getenv("DATABRICKS_SERVER_HOSTNAME"),
        http_path=os.getenv("DATABRICKS_HTTP_PATH"),
        oauth_client_id=os.getenv("DATABRICKS_CLIENT_ID"),
        oauth_client_secret=os.getenv("DATABRICKS_CLIENT_SECRET"),
        use_kernel=True,
        session_configuration={"STATEMENT_TIMEOUT": "30"},  # seconds
    )
    
    def get_account_summary(account_id):
        with connection.cursor() as cursor:
            cursor.execute(
                "SELECT region, sum(revenue) AS revenue "
                "FROM main.sales.account_daily "
                "WHERE account_id = ? GROUP BY region",
                parameters=[account_id],
            )
            return cursor.fetchall()
    

    Das Aufrufen get_account_summary gibt die passenden Zeilen zurück, und die Abfrage erscheint im Abfrageverlauf des Warehouses.

    Mit , geben Sie use_kernel=Truedie Qualifikationen des Service Principals als oauth_client_id und oauth_client_secretweiter. Der Connector akzeptiert auf diesem Pfad kein benutzerdefiniertes credentials_provider.

Wiederverwenden von Verbindungen

Erstellen Sie die Verbindung einmal, sobald Ihre Anwendung startet, und verwenden Sie sie für jede Anfrage wieder, anstatt sich für jede Abfrage zu verbinden. Das Öffnen einer neuen Verbindung für jede Anfrage erhöht die Latenz jeder Abfrage. Öffnen Sie für jede Abfrage einen Cursor und schließen Sie ihn, wenn die Abfrage abgeschlossen ist.

Setzen Sie ein Statement-Timeout

Setzen Sie eine Anweisung-Timeout, sodass eine langsame Abfrage schnell fehlschlägt, anstatt eine Anfrage offen zu halten. Eine Abfrage, die länger läuft als das Timeout der Anweisung, gibt einen QUERY_EXECUTION_TIMEOUT_EXCEEDED Fehler zurück. Das Standardtimeout beträgt 1 Minute. Setzen Sie ihn für die Sitzung mit dem STATEMENT_TIMEOUT Parameter, der einen Wert in Sekunden annimmt (das vorherige Beispiel legt 30 Sekunden fest), oder mit einer SET STATEMENT_TIMEOUT Anweisung. Der Wert darf die Abfrage-Laufzeitschutzleiste nicht überschreiten. Siehe STATEMENT_TIMEOUT.

Abfrage von einem KI-Agenten

Um einem KI-Agenten schnellen Zugriff auf Ihre Daten zu ermöglichen, definieren Sie ein Tool, das der Agent aufruft, und lassen Sie das Tool SQL im Lakehouse//RT-Warehouse über einen Treiber oder die Statement Execution API ausführen. Genie läuft nicht auf Lakehouse//RT. So richten Sie das Tool ein:

  1. Schreiben Sie eine Funktion, die die Eingaben des Agenten als Argumente nimmt und eine parametrisierte Abfrage ausführt, wie get_account_summary im vorherigen Beispiel.
  2. Registrieren Sie die Funktion als Werkzeug in Ihrem Agenten-Framework. Siehe Lokale Python-Funktionswerkzeuge definieren.
  3. Führen Sie den Agenten als Service Principal aus, der SELECT nur für die Tabellen Berechtigungen hat, die das Tool benötigt.

Agenten können für jedes Gespräch viele Abfragen senden, also dimensionieren Sie das Warehouse für Parallelität. Siehe Dimensionierung für Parallelität.

Zusätzliche Ressourcen