Verwenden von Genie Code für die Pipelineentwicklung

Genie Code ist der KI-Data-Engineering-Partner für Entwickler im Lakeflow Pipelines Editor. Es untersucht Daten, generiert und führt Pipelinecode aus und behebt Fehler aus einer einzigen Eingabeaufforderung.

Hinweis

Verwenden Sie Genie Code, um Pipelines zu entwickeln und zu migrieren. Um Alt-SQL aus anderen Dialekten wie T-SQL, Snowflake oder Oracle in ANSI SQL umzuwandeln, verwenden Sie stattdessen Genie Migr. SQL-Skripte und ETL-Pipelines mit Genie Migrate konvertieren.

Was ist Genie Code für die Pipelineentwicklung?

Genie Code ist ein autonomer Partner, der komplette mehrstufige Data-Engineering-Workflows im Lakeflow Pipelines Editor automatisieren kann.

Verwenden Sie den Data Engineering Agent.

Genie Code kann komplette Pipelines von Grund auf komplett planen und erstellen oder die Arbeit an einer bestehenden Pipeline beschleunigen. Der Agent arbeitet mit Ihnen zusammen, um seine Pläne zu genehmigen und die nächsten Schritte zu bestätigen, bevor Sie fortfahren. Mit Ihrer Genehmigung kann Genie Code Tools verwenden, um Aufgaben wie das Durchsuchen von Tabellen, das Bearbeiten einer SQL- oder Python Quelldatei, das Ausführen von Pipelineupdates und das Lesen von Pipeline-Datasets auszuführen.

Der Zugriff und die Aktionen von Genie Code unterliegen den Berechtigungen des Benutzers. Sie kann nur auf Daten zugreifen, für die Sie Zugriff haben und Vorgänge ausführen, für die Sie über Berechtigungen verfügen.

Hinweis

Genie Code passt seine Fähigkeiten basierend auf der Funktion an, die Sie in Azure Databricks verwenden. Im Lakeflow Pipelines Editor konzentriert sich Genie Code beispielsweise auf Pipelinebearbeitungs- und Datentechnikaufgaben. In Notizbüchern und dem SQL-Editor unterstützt Genie Code die Datensuche und -analyse. Weitere Informationen finden Sie unter Verwenden von Genie Code für Data Science .

Anforderungen

Um Genie Code für Data Engineering zu verwenden, benötigt Ihr Arbeitsbereich Folgendes:

Verwenden von Genie Code für die Pipelineentwicklung

So verwenden Sie die agentischen Funktionen von Genie Code für die Pipelineentwicklung:

  1. Öffnen Sie im Lakeflow Pipelines Editor das Randfenster von Genie Code, indem Sie auf das Symbol Genie Code in der oberen rechten Ecke Ihres Arbeitsbereichs.

  2. Geben Sie eine Eingabeaufforderung für Genie Code ein. Sie können z. B. Fragen zu Ihrer Pipeline stellen, z. B. "diese Pipeline beschreiben". Sie können sie auch bitten, neue Datasets hinzuzufügen, z. B. "erstellen Sie silver_sales_data in einer neuen Datei, die aus bronze_sales_data liest, und bereinigt die Daten und fügt nützliche Qualitätserwartungen hinzu."

    Hinweis

    Genie Code respektiert die Unity-Katalogberechtigungen des Benutzers, sodass er nur auf die Daten und Pipelinequelle zugreifen kann, auf die Sie Zugriff haben.

  3. Da Genie Code seine Antwort generiert, hält er oft an, um Ihre Eingabe zu erhalten:

    • Für komplexere Aufgaben kann Genie Code einen schrittweisen Plan erstellen und Fragen stellen. Beantworten Sie ihre klarstellenden Fragen, damit sie ihren Plan verbessern können.

    • Wenn Genie Code ausführen oder eine Pipeline aktualisieren muss, fordert er Ihre Genehmigung an, bevor Sie fortfahren. Erlauben Sie oder lehnen Sie die Anfrage ab. Sie können auch "Zulassen" in diesem Thread (verweisen auf den Unterhaltungsthread "Genie Code") oder "Immer zulassen" auswählen.

      Von Bedeutung

      Genie Code kann Code in deiner Pipeline generieren und ausführen. Obwohl es Schutzschienen hat, um gefährliche Aktionen zu verhindern, besteht immer noch Gefahr. Sie sollten sie nur mit Daten verwenden, denen Sie vertrauen, und Sie sollten den Code überprüfen, bevor Sie ihn ausführen.

    • Wie Genie Code seine Arbeit fortsetzt, werden Sie möglicherweise aufgefordert, "Weiter" oder "Ablehnen" auszuwählen. Überprüfen Sie die vorhandene Arbeit, und wählen Sie dann "Weiter" aus, damit sie mit den nächsten Schritten fortfahren kann, oder "Ablehnen ", um sie anzuweisen, etwas anderes zu versuchen.

    • Klicken Sie auf das rote Stoppsymbol, um Genie Code während der Arbeit zu beenden.

Genie Code kann neue Dateien erstellen, Text, Abfragen und Code generieren, die Dateien oder Pipelines ausführen und auf die Ausgabedatensätze zugreifen, um die Ergebnisse zu interpretieren.

Hinweis

Damit Genie Code seine Arbeit fortsetzen und die nächsten Schritte unternehmen kann, müssen Sie auf der aktuellen Registerkarte bleiben, in der es arbeitet.

Tipp

Sie können Anweisungen für Genie Code hinzufügen, um sie in den meisten Antworten zu verwenden. Wenn Sie z. B. Über Codekonventionen verfügen, die Sie verwenden möchten, oder bevorzugte Bibliotheken, können Sie diese Richtlinien den Anweisungen für Genie Code hinzufügen. Sie können auch Fähigkeiten erstellen, um Genie Code mit speziellen Fähigkeiten für Ihre domänenspezifischen Aufgaben zu erweitern. Weitere Details und andere Tipps finden Sie unter Tipps zur Verbesserung von Genie Code-Antworten.

Capabilities

Genie Code kann bei den meisten Aufgaben der Pipeline-Entwicklung helfen. Wichtige Funktionen sind:

  • Datenentdeckung: Genie Code kann Tabellen im Arbeitsbereich durchsuchen, um Ihnen zu helfen, die benötigten Daten für eine Aufgabe zu finden.
  • Pipeline-Code-Bearbeitungen: Genie Code kann mehrere Dateien gleichzeitig erstellen und bearbeiten. Es informiert Sie darüber, welche Dateien sie ändern, und zeigt Ihnen den Code-Diff in jeder Datei, damit Sie die Änderungen einzeln oder alle am Ende überprüfen können.
  • Pipeline-Ausführung: Genie Code kann einzelne Dateien ausführen, einen Probelauf der Pipeline durchführen/die Pipeline ausführen oder eine vollständige Aktualisierung durchführen. Wenn Genie Code fortfahren möchte, fordert es ihre Bestätigung, bevor es dies tut.
  • Verständnis und Verbesserung des Pipeline-Verhaltens: Genie Code kann Datensätze und Pipeline-Ausgaben inspizieren, um zu verstehen, was eine Pipeline von Anfang bis Ende macht und warum. So können Sie beispielsweise Transformationen zusammenfassen, nachverfolgen, wie Daten in nachgeschaltete Tabellen fließen, und unerwartete Änderungen in Zeilenanzahlen oder Schemas hervorheben. Wenn potenzielle Probleme mit der Datenqualität auftreten, kann Genie Code Ihnen helfen, ihre Ursache zu begründen und vorzuschlagen, wo und wie sie in der Pipeline behandelt werden.

Diese Funktionen unterstützen häufige Anwendungsfälle wie:

  • Erstellung einer neuen Pipeline: Genie Code kann bei allen Schritten zur Erstellung einer neuen Medallion-Architektur-Pipeline helfen, von der Datenaufnahme über die Standardisierung und Bereinigung der Daten bis hin zur Transformation und Analyse der Daten.
  • Erkläre eine Pipeline: Genie Code kann eine bestehende Pipeline analysieren und erklären, um dir einen schnellen Einstieg zu erleichtern.
  • Probleme beheben: Wenn Sie Fehler haben, kann Genie Code bei der Diagnose und Behebung helfen, indem er mehrere Dateien durchgeht, bis das Problem behoben ist.
  • Inkrementelle Aktualisierung beheben: Wenn materialisierte Ansichten in Ihrer Pipeline mit der vollständigen Recompute-Strategie aktualisiert werden, kann Genie Code die Ursache aus den Inkrementellisierungseinsichten der Pipeline diagnostizieren, Abfrageverbesserungen vorschlagen und anwenden, die sie besser für inkrementelle Aktualisierungen geeignet machen, und harte Blocker markieren.

Migrieren von anderen ETL-Frameworks zu Lakeflow-Pipelines

Von Bedeutung

Dieses Feature befindet sich in der Betaversion.

Genie Code kann ein vorhandenes Datentransformationsprojekt in eine Lakeflow-Pipeline migrieren. Sie richten es auf Ihr hochgeladenes Projekt, und es plant und führt die Migration durchgängig aus. Diese Migrationsfunktion ist Teil von Lakebridge und ist auch über den Lakebridge Switch Transpiler verfügbar.

Hinweis

Die Migration unterstützt derzeit nur dbt- und Informatica-Projekte. Die Unterstützung für zusätzliche Quellen ist geplant.

Migrieren eines Projekts

  1. Laden Sie das Projekt in Databricks hoch. Verwenden Sie eine der folgenden Möglichkeiten:

    • Katalog: Öffne ein Volume, dann In dieses Volume hochladen.
    • Arbeitsbereich: Öffne ein Verzeichnis, dann klicke auf das Kebab-Menü-Icon.>Importieren.
  2. Erstellen Sie eine leere Lakeflow-Pipeline. Wechseln Sie zu Jobs & Pipelines , und erstellen Sie eine ETL-Pipeline.

  3. Bitten Sie Genie Code, ihn zu migrieren. Öffnen Sie Genie Code, und fordern Sie ihn mit dem Pfad zu Ihrem hochgeladenen Projekt auf, z. B.:

    Tipp

    Migrieren des Projekts unter /Volumes/my_catalog/my_schema/my_volume/my_project

Funktionsweise der Migration

Nachdem Sie die Migration gestartet haben, generiert Genie Code einen Plan und führt ihn dann aus:

  1. Lesen Sie die Quelle. Es liest das Quellprojekt, um seine Modelle, Transformationen und Abhängigkeiten zu verstehen.
  2. Sammeln Sie Eingaben. Es hält an, um erforderliche Eingaben anzufordern, z. B. ob SQL- oder Python-Pipelinequellcode generiert werden soll.
  3. Recherchiere und generiere eine Zwischendarstellung (IR). Es analysiert das Projekt und erstellt eine Zwischendarstellung, die die Logik der Pipeline unabhängig vom Quelltool erfasst.
  4. Konvertieren, Überprüfen und Reparieren. Es konvertiert die IR in Pipeline-Quellcode, validiert das Ergebnis und wiederholt den Reparaturzyklus, bis die Pipeline korrekt ist.

Hinweis

Überprüfen Sie die migrierte Pipelinequelle und führen Sie die Pipeline aus, um zu bestätigen, dass die Ergebnisse mit dem ursprünglichen Projekt übereinstimmen, bevor Sie sie in der Produktion verwenden.

Examples

Probieren Sie die folgenden Eingabeaufforderungen aus, um zu beginnen:

  • „Erstelle und führe eine Medallion-Architekturpipeline zur Betrugserkennung mithilfe der Tabellentransaktionen und Kunden in my_catalog.my_schema aus.“
  • "Erklären Sie jeden Schritt dieser Pipeline."
  • "Beheben des Fehlers in dieser Pipeline."

Weitere Ressourcen