Verwenden von Copilot mit Microsoft Fabric Dataflow Gen2

  • 5 Minuten

Die Datenintegration ist für Contoso Health entscheidend, um Informationen aus verschiedenen Quellen zu konsolidieren. Dataflow Gen2 in der Data Factory von Microsoft Fabric bietet eine visuelle Schnittstelle zum Erstellen von Datenflüssen, sodass Benutzer Daten nahtlos aufnehmen und transformieren können. Mit der Integration von Copilot können Benutzer natürliche Sprache verwenden, um Datentransformationsschritte zu definieren, wodurch der ETL-Prozess intuitiver wird.

Stellen wir uns vor, wie Contoso Health strukturierte Daten wie Patientenzufriedenheitsumfragen in einem einheitlichen Workflow kombiniert, um umfassendere Analysen und Erkenntnisse zu ermöglichen. Die von Copilot erweiterte Dataflow Gen2 von Microsoft Fabric optimiert diesen Prozess, indem Benutzer Transformationen in natürlicher Sprache beschreiben können.

Anstatt sich auf jeden Schaltflächenklick zu konzentrieren, untersucht diese Einheit, wie sich der Prozess konzeptionell entwickelt und warum jeder Schritt wichtig für die Erstellung von Fähigkeiten bei der Datentransformation ist.

Funktionsweise

Stellen Sie sich den Prozess als einen Zyklus der Eingabeaufforderung → Ausgabe → Validierung → Einschränkung vor. Jede Phase baut auf der letzten auf, und verschiedene Arten von Transformationen veranschaulichen diesen Zyklus:

Diagramm, das den Prozess als Zyklus zeigt.

Die Datenaufnahme ist der Ausgangspunkt. Ohne Daten gibt es nichts zu transformieren. Sie können mit dem Generieren von Beispieldatensätzen beginnen, um mit Transformationen zu experimentieren. Copilot kann Beispieltabellen direkt generieren, und als Vorschaufunktion unterstützt Copilot im Assistenten zum Abrufen von Daten jetzt auch das Aufnehmen von zuletzt verwendeten Tabellen mit natürlicher Sprache – Sie können Filter und Transformationen beschreiben, bevor Sie die Daten laden. Hier ist eine Beispielaufforderung zum Generieren von Beispieldaten:

Create a new query with 50 patient records including patient-id, age, gender, and satisfaction-score.

Hier ist ein Beispiel dafür, was Copilot generieren könnte:

Screenshot einer Mit Copilot generierten Tabelle

Stellen Sie als Nächstes sicher, dass die Daten in den richtigen Formaten gespeichert werden. Korrigieren sie Datentypen , um Fehler in Berechnungen zu vermeiden und spätere Schritte zuverlässiger zu machen. Wenn Sie möchten, können Sie mehrere Datentyptransformationen gleichzeitig kombinieren, wie in der folgenden Beispielaufforderung:

Change Age and SatisfactionScore to numbers; set Department as text.

Das Gestalten der Daten bedeutet häufig das Hinzufügen neuer Felder , die das Interpretieren des Datasets vereinfachen. Abgeleitete Werte wie Altersgruppen oder Kategorien können geschäftsorientierte Analysen unterstützen. Hier sind zwei Beispielaufforderungen, die eine neue Spalte hinzufügen, basierend auf einer Klassifizierungsregel, die Sie in natürlicher Sprache definieren:

Add a new column AgeRange that groups patients into categories: 18–24 as Young Adults, 25–34 as Early Career, etc.

Create a flag column that marks patients with SatisfactionScore below 4 as AtRisk.

Durch das Filtern wird das Dataset auf die wichtigsten Aspekte beschränkt. Durch das Entfernen von lauten oder irrelevanten Datensätzen wird die Datenqualität verbessert. Hier sind zwei Beispielaufforderungen, mit denen die Daten nach einer Regel gefiltert werden, die Sie in natürlicher Sprache definieren:

Remove rows where SatisfactionScore is less than 3.

Exclude records where Department is ENT.

Manchmal müssen Felder kombiniert werden, um die Analyse zu optimieren. Das Zusammenführen eines Datumsfelds mit einem Uhrzeitfeld vermeidet beispielsweise die Notwendigkeit zusätzlicher Verknüpfungen oder Nachschlagevorgänge.

Merge DateOfVisit and HourOfVisit into a new column called VisitDateTime of type DateTime.

Schließlich ist die Iteration der Schlüssel. Überprüfen Sie nach jeder Transformation die Ergebnisse, und verfeinern Sie die Anweisungen, wenn etwas falsch aussieht. Diese Schleife hilft dabei, die Fähigkeit zu entwickeln, präzise Anweisungen zu formulieren, und das Verständnis dafür, wie Copilot sie interpretiert. Manchmal kann es so einfach sein, copilot mitzuteilen, was zu tun ist, wie in der folgenden Beispielaufforderung. Sie können einen von Copilot erstellten Transformationsschritt entfernen und Ihre verfeinerte Eingabeaufforderung erneut übermitteln.

The VisitDateTime field didn’t parse correctly—recreate it using the format yyyy-MM-dd HH:mm.

Erklärung des M-Codes

Copilot führt nicht nur Transformationen aus; außerdem wird der zugrunde liegende Mashup-Code (M) erläutert. Diese Transparenz schafft Vertrauen, indem gezeigt wird, was unter der Haube passiert, bietet einen graduellen Pfad zum Erlernen der Abfragesyntax während der Arbeit in natürlicher Sprache und fördert die Reflexion, während Sie Ihre Absicht mit der generierten Logik vergleichen.

Es stehen zwei Erklärungsebenen zur Verfügung:

  • Erläutern Sie diese Abfrage: Rufen Sie eine Nur-Sprache-Beschreibung der vollständigen Abfrage ab, einschließlich aller angewendeten Schritte. Führen Sie dies im Copilot-Bereich aus oder klicken Sie im Bereich „Abfragen“ mit der rechten Maustaste auf eine Abfrage und wählen Sie „Beschreiben“ aus.

    Describe this query

  • Erläutern Sie diesen Schritt: Erhalten Sie eine Erläuterung für einen einzelnen Transformationsschritt. Klicken Sie mit der rechten Maustaste auf einen beliebigen Schritt in der Liste "Angewendete Schritte ", und wählen Sie "Erläutern" aus. Dies ist besonders hilfreich, wenn Sie eine Transformation isoliert verstehen möchten, anstatt den gesamten M-Ausdruck gleichzeitig zu analysieren.

Bewährte Methoden für die Arbeit mit Copilot für Dataflow Gen2

  • Copilot ist am besten ausgestattet, um Themen zur Datenintegration zu behandeln, daher empfiehlt es sich, Ihre Fragen auf diesen Bereich zu beschränken.
  • Beginnen Sie einfach. Testen Sie jeweils eine Transformation, bevor Sie mehrere Schritte verketten.
  • Wenn Sie Beschreibungen wie Abfragenamen, Spaltennamen und Werte in die Eingabe einschließen, generiert Copilot wahrscheinlicher nützliche Ausgaben.
  • Versuchen Sie, komplexe Eingaben in präzisere Aufgaben zu unterteilen. Dies hilft Copilot, Ihre Anforderungen besser zu verstehen und eine genauere Ausgabe zu generieren.
  • Validieren Sie nach jedem Schritt, indem Sie die Ausgabetabelle prüfen.
  • Iterieren Sie schrittweise – betrachten Sie Copilot als einen Partner, mit dem Sie gemeinsam verfeinern, nicht als eine einmalige Lösung.
  • Nutzen Sie Prompts für klare Ergebnisse (z. B. „füge eine Spalte hinzu, die Altersgruppen gruppiert“) anstelle von vagen Befehlen.
  • Verwenden Sie die Codeerklärungen, um das Lernen zu stärken und technische Fähigkeiten zu vertiefen.
  • Überprüfen Sie regelmäßig, wie Copilot Aufforderungen interpretiert, um Ausdrücke und Klarheit im Laufe der Zeit zu verbessern.