Verwenden von Copilot mit Microsoft Fabric-Datenpipelines

  • 4 Minuten

Copilot kann beim Erstellen einer Datenpipeline helfen, die Daten aus einer öffentlichen oder internen Datenquelle zur Analyse in ein Lakehouse kopiert. Anstelle eines Klick-by-Click-Lernprogramms liegt der Fokus hier auf dem Verständnis der Konzepte, des Flusses und der Rationale hinter jedem Schritt.

Bevor eine Pipeline ausgeführt werden kann, müssen einige grundlegende Elemente vorhanden sein: Zugriff auf einen Fabric-Mandanten mit einem Arbeitsbereich und ein Lakehouse als Ziel. Dies sind die Bausteine, die sicherstellen, dass sowohl eine Quelle als auch ein Ziel für den Datenintegrationsprozess vorhanden sind.

Verbindung erstellen

Verbindungen sind für die Verknüpfung von Fabric mit externen Datenquellen unerlässlich. Konzeptionell definiert eine Verbindung , wo die Daten stammen und wie darauf zugegriffen wird. Öffentliche Datasets können häufig mit anonymer Authentifizierung aufgenommen werden, während Unternehmensquellen möglicherweise strengere Anmeldeinformationen erfordern.

Es ist wichtig, dass die Verbindungen bereit sind, bevor Sie sie in einer Datenpipeline verwenden können. Verbindungen können verwaltet werden, indem Sie das Zahnradsymbol in der oberen rechten Ecke des Fabric-Portals auswählen und "Verbindungen und Gateways verwalten" auswählen. Von dort aus können Sie neue Verbindungen erstellen oder vorhandene verbindungen aktualisieren.

Screenshot einer Datenpipelineverbindung.

Datenaufnahme mit Copilot

Sobald die Verbindungen vorhanden sind, muss die Pipeline wissen, was kopiert und wo es abgelegt werden soll. Copilot schlägt die Eingabeaufforderung zum Aufnehmen von Daten vor und unterstützt sie, indem eine Kopierdatenaktivität generiert wird. Sie müssen weiterhin fehlenden Kontext bereitstellen, z. B.:

  • Quellverbindung
  • Zielverbindung
  • Zieltabellenname
Source connection of CopyDataActivity is [source]; destination connection is [lakehouse]; table name is [tablename].

Screenshot einer Kopieraktivität in einer Datenpipeline.

Copilot erstellt ein Gerüst für die Aktivität, aber der Benutzer muss die Aktivität überprüfen und abschließen (z. B. Angeben des Dateipfads, Festlegen des Dateiformats und Auswählen des richtigen Spaltentrennzeichens). Dies verstärkt die Fähigkeit, Standardwerte zu überprüfen und kontextabhängige Details auszufüllen.

Transformieren von Daten

Pipelines stoppen selten bei der Aufnahme. Copilot kann den Workflow erweitern, indem Datentransformationstätigkeiten vorgeschlagen werden. Als Beispiel können Sie Copilot um die folgende Eingabeaufforderung bitten:

Can you add a delete activity as the first activity?

Hier fügt Copilot eine Löschaktivität in die Pipeline ein und veranschaulicht, wie Benutzer Workflows mithilfe natürlicher Sprache neu strukturieren können. Sie müssen immer noch Details konfigurieren, z. B. aus welcher Quelle gelöscht werden soll, wobei das Gleichgewicht zwischen Automatisierung und menschlicher Aufsicht hervorgehoben wird.

Konzeptionell zeigt diese Phase, wie Copilot die Pipeline-Orchestrierung erleichtert, während Sie für Präzision und Governance verantwortlich sind.

Zusammenfassen der Pipeline

Copilot kann die Pipeline auch in einfacher Sprache beschreiben. Dies hilft Ihnen:

  • Stellen Sie sicher, dass die Pipeline mit ihrer Absicht übereinstimmt.
  • Stärken Sie das Verständnis der Komponenten des Workflows.
  • Reflektieren Sie, wie Aufnahme, Transformation und Orchestrierung zusammenpassen.

Betrachten Sie beispielsweise die folgende Eingabeaufforderung:

Summarize this pipeline, turning the technical configuration into a conceptual narrative.

Problembehandlung mit dem Fehlermeldungs-Assistenten

Wenn eine Pipelineausführung fehlschlägt, kann Copilot den Fehler analysieren und umsetzbare Korrekturschritte in einfacher Sprache vorschlagen. Dadurch wird die Notwendigkeit entfernt, unformatierte Fehlerprotokolle manuell zu analysieren, und hilft Ihnen beim Beheben von Problemen im Kontext. Beispiel:

Why did this pipeline fail?

Copilot erklärt die Ursache des Fehlers und empfiehlt spezifische Schritte, um ihn zu beheben – die Lücke zwischen einem technischen Fehler und einer sinnvollen Lösung zu überbrücken.

Erstellen von Pipelineausdrücken

Pipelines erfordern häufig dynamische Ausdrücke, z. B. das Erstellen von Dateipfaden, das Formatieren von Datumsangaben oder die bedingte Logik. Copilot ist in den Ausdrucks-Generator integriert, um diese Ausdrücke mithilfe natürlicher Sprache zu generieren und zu erklären.

Create an expression that builds a dynamic output file path using today's date in yyyy-MM-dd format.

Über die Generation hinaus können Sie Copilot auch bitten, zu erklären, was ein vorhandener Ausdruck tut – hilft Ihnen, die Ausdruckssprache inkrementell zu erlernen, ohne den Pipeline-Editor zu verlassen.

Copilot unterstützt den Weg des Aufbaus einer Pipeline: Es bietet Verbindungen, Einbinden, Transformationsaktivitäten, Fehlerbehebung und Ausdrücke in natürlicher Sprache. Es unterstützt auch den Grund: Ermutigen Sie, jede Phase zu überprüfen, zu konfigurieren und zu reflektieren, um sowohl Vertrauen als auch übertragbare Datentechnikkenntnisse zu schaffen.