Starten Sie mit dem Fabric Data Engineering Agent (Project Osmos) (Vorschau)

In diesem Quickstart installiert man die Fabric Data Engineering Agent (Project Osmos) Skill für GitHub Copilot CLI, Claude Code oder Codex, erstellt eine Aufgabe für ein Fabric Lakehouse und öffnet die Aufgabe in Fabric.

In dieser Schnellstartanleitung führen Sie die folgenden Schritte aus:

  • Überprüfen Sie Fabric und die lokalen Voraussetzungen
  • Installiere das Skills for Fabric-Plug-in, das die Kompetenz „Data-Engineering-Agent (Project Osmos)“ enthält
  • Erstellen Sie eine Aufgabe, die eine Retail-Medallion-Architektur implementiert
  • Überprüfen Sie die Betriebseinstellungen
  • Überwachen Sie die Aufgabe in Ihrem Fabric-Seehaus

Important

Der Data-Engineering-Agent (Project Osmos) ist als Vorschau verfügbar. Vorschaufunktionen werden mit begrenzten Funktionen veröffentlicht und unterliegen separaten ergänzenden Vorschaubedingungen. Sie sind nicht für den Produktionsgebrauch gedacht, unterliegen keinen Service-Level-Vereinbarungen und sind möglicherweise nur in ausgewählten Regionen verfügbar. Weitere Informationen finden Sie unter Microsoft Fabric Preview-Informationen.

Voraussetzungen

Bestätigen Sie diese Anforderungen, bevor Sie beginnen:

  • Ein Fabric-Arbeitsbereich, der einer berechtigten Fabric-Kapazität zugewiesen ist. Fabric Trial SKUs werden nicht unterstützt.
  • Ein Seehaus in diesem Arbeitsbereich
  • Beitragsautor oder höhere Berechtigung im Arbeitsbereich
  • Aktivieren Sie die folgenden Mietereinstellungen für Ihr Konto und Ihre Kapazität:
    • Benutzer können Copilot und andere Features verwenden, die von Azure OpenAI unterstützt werden.
    • Nutzer können Copilot, KI-Agenten und andere KI-Erlebnisse, die von OpenAI betrieben werden, als Microsoft-Subprozessor nutzen (dringend empfohlen für beste Leistung, aber nicht zwingend erforderlich)
  • Die folgenden Mietereinstellungen gelten nur, wenn sich Ihre Kapazität in einer Region befindet, in der OpenAI nicht verfügbar ist:
    • Daten, die als Microsoft-Unterprozessor an OpenAI gesendet werden, können außerhalb der geografischen Region, der Compliance-Grenze oder der nationalen Cloud-Instanz Ihrer Kapazität verarbeitet werden
    • An Azure OpenAI gesendete Daten können außerhalb der geografischen Region Ihrer Kapazität, der Compliancegrenze oder der nationalen Cloudinstanz gespeichert werden.
  • In deinen Kapazitätseinstellungen wird die Aktivierung der KI-Datentransformation empfohlen, aber nicht zwingend erforderlich
  • Azure CLI
  • Ein unterstützter lokaler Agent:

Für Konfigurationshinweise siehe Enable and configure Copilot in Microsoft Fabric.

Installiere die Data-Engineering-Agenten-Fähigkeit (Project Osmos)

Die Fähigkeit Data Engineering Agent (Project Osmos) ist in der Sammlung Skills for Fabric enthalten.

  1. Melden Sie sich bei Azure mit einer Identität an, die auf den Zielarbeitsbereich und das Lakehouse zugreifen kann:

    az login

    Wenn Sie Zugriff auf mehrere Microsoft Entra-Tenants haben, melden Sie sich bei dem Tenant an, der Ihren Fabric-Arbeitsbereich enthält.

  2. Dann nutze die Befehle deines lokalen Agenten, um den Skills for Fabric-Marktplatz hinzuzufügen und die Fabric-Kollektion zu installieren.

    Starten Sie die GitHub Copilot CLI:

    copilot

    Führe diese Befehle innerhalb der GitHub Copilot CLI aus:

    /plugin marketplace add microsoft/skills-for-fabric
/plugin install fabric-skills@fabric-collection

  1. Starte GitHub Copilot CLI neu, damit die neuen Fähigkeiten geladen werden.

    /quit

  2. Überprüfe die Installation. Starte GitHub Copilot CLI erneut und führe aus:

    /skills

Bestätigen Sie, dass Project Osmos, angezeigt als project-osmos, verfügbar ist.

Verwenden Sie den Data Engineering Agent (Project Osmos)

Beschreiben Sie das vollständige Data-Engineering-Ergebnis, das Sie vom Data-Engineering-Agent (Project Osmos) liefern sollen. Beziehen Sie den Arbeitsbereich, das Seehaus, Quelldaten, Transformationen, erwartete Ausgaben und Validierungsanforderungen ein:

Beschreiben Sie die vollständige End-to-End-Data-Engineering-Aufgabe. Der Data Engineering Agent (Project Osmos) erhält es als ein Projekt.

Einfügen:

  • Quellen: Tabellen, Ordner, Dateien, Notizbücher oder OneLake-Ressourcen
  • Transformationen: Datenbereinigung, Verknüpfungen, Filter, Berechnungen oder Schemaänderungen
  • Ausgaben: Tabellen, Notizbücher, Dateien oder Zusammenfassungen
  • Validierung: Zeilenanzahl, Nullprüfungen, Eindeutigkeit, Abstimmung oder Geschäftsregeln

Quellen und Ausgaben sind nicht auf den Arbeitsbereich beschränkt, in dem du die Aufgabe erstellt hast. Wenn Sie berechtigt sind, auf eine Ressource zuzugreifen, kann die Aufgabe in Ihrem Namen auf diese Ressource zugreifen.

Beispiel:

Use Project Osmos in the Fabric workspace Sales Analytics and the lakehouse
SalesLakehouse.

Load the Orders and Customers tables, remove orders without a customer ID,
join the tables on customer ID, and calculate monthly revenue by customer
segment. Save the result as a Delta table named monthly_segment_revenue.
Validate row counts, null customer IDs, and negative revenue values.

Ihr lokaler Agent bearbeitet den Arbeitsbereich und das Seehaus, sammelt alle erforderlichen Sicherheits- und Produktionsoptionen und erstellt eine entfernte Project Osmos-Aufgabe. Es stellt einen Link zu einer Fabric-Aufgabe zum Überwachen des Fortschritts bereit.

Du musst die Arbeitsplatz- oder Lakehouse-IDs nicht suchen oder die Arbeit in einfachere Schritte aufteilen. Gib ihre Namen an oder gib eine Fabric Lakehouse-URL an und reiche das gesamte Ergebnis als eine Aufgabe ein. Project Osmos übernimmt die Planung, Sequenzierung und Validierung.

Überprüfen Sie die Aufgabeneinstellungen

Bevor der Durchlauf beginnt, klassifiziert der Data-Engineering-Agent (Project Osmos) die Aufgabe und empfiehlt Einstellungen.

Setting Rezensionsfrage
Berechtigungsgrenze Welche benannten Ressourcen sollte die Aufgabe als schreibgeschützt oder beschreibbar behandeln?
Sicherheitsmuster Sollten Schreibvorgänge Staging, Clone-and-Promote oder direkte Iteration verwenden?
Förderschritt Wie sollte die verifizierte stufenweise Ausgabe zur endgültigen Ausgabe werden?
Wiederholungssemantik Sollte eine erneute Ausführung fehlschlagen, sollen dann vorhandene Daten angehängt, Duplikate entfernt oder ersetzt werden?
Schemaentwicklung Kann sich das Ausgabeschema ändern, und unter welchen Einschränkungen?
Format des Artefakts Sollte Project Osmos ein Notizbuch oder ein anderes Artefakt speichern?
Ziel von Artefakten Wo sollten erzeugte Artefakte gespeichert werden?
Begründungsaufwand Wie umfassend sollte Project Osmos Implementierungsoptionen prüfen?

Du kannst jede der empfohlenen Einstellungen ändern.

Important

Die Genehmigungsgrenze leitet die Aufgabe, aber Fabric- und OneLake-Genehmigungen bleiben die Durchsetzungsgrenze. Schützen Sie sensible Ressourcen mit Plattformberechtigungen.

Überwachen Sie die Aufgabe

Nachdem du die Einstellungen akzeptiert hast, führt der Fabric Data Engineering Agent (Project Osmos) die Aufgabe mit spezialisierten Agenten in SparkCore aus, gibt eine Task-ID zurück und öffnet eine Fabric Lakehouse-Seite, die enthält:

  • Details aus dem Aufnahmefragebogen
  • spec
  • Derzeitiger Status
  • Agent-Aktivität

Da die Aufgabe in Fabric auf SparkCore statt auf deinem lokalen Rechner läuft, läuft sie weiter, wenn dein Computer aus ist. Um den Fortschritt zu verfolgen, wähle dein Seehaus in Fabric und dann die Aufgabe im Seehaus-Explorer. Du kannst auch deinen lokalen Agenten nach dem Status der Aufgabe fragen.

Verwendungsleitfaden

  • Verwenden Sie Project Osmos über einen lokalen Agenten wie GitHub Copilot CLI, Claude Code oder Codex. Direkte Interaktion mit Project Osmos von Copilot im Fabric-Portal wird derzeit nicht unterstützt.
  • Gib den vorgesehenen Arbeitsbereich und das Seehaus nach Namen an oder gib eine Fabric Lakehouse-URL an. Du musst die Ausweise nicht selbst finden.
  • Nutzen Sie Project Osmos für End-to-End-Datenentwicklung, die Lakehouses, OneLake, Spark, Notizbücher und Tabellen umfasst.
  • Bitten Sie Ihren lokalen Agenten, den Status einer entfernten Aufgabe zu überprüfen, Folgeanweisungen zu senden, die Aufgabe abzubrechen oder zu löschen.
  • Um weiterhin mit einer bestehenden Aufgabe zu arbeiten, geben Sie deren Aufgaben-ID oder Fabric-Aufgabenlink an.
  • Überprüfen Sie die vorgeschlagenen Ausführungs- und Sicherheitsentscheidungen, bevor Sie Änderungen an wichtigen oder Produktionsdaten zulassen.

Erstelle deine erste Aufgabe

Dieses Beispiel benötigt nur ein leeres Seehaus. Project Osmos erstellt die Beispieldaten und alle erforderlichen Artefakte, sodass du das Produkt nutzen kannst, ohne vorher das Seehaus vorbereiten zu müssen.

Nutze Project Osmos, um eine kleine Retail-Medallion-Architektur zu erstellen. Frage zunächst deinen lokalen Ansprechpartner, Project Osmos zu verwenden:

Create a Project Osmos task

Nachdem Sie Ihr Seehaus mit Namen oder URL identifiziert haben, werden Sie gebeten, ein Ergebnis für Ihr Projekt zu definieren. Geben Sie Folgendes ein:

Use Project Osmos to set up a simple retail medallion architecture in this
empty lakehouse. Create small sample CSV files for customers, products, and
sales under Files/landing. Build bronze tables that preserve the source data,
silver tables that clean and standardize it, and gold tables named
gold_daily_sales and gold_customer_sales.
Create three notebooks named 01_load_bronze, 02_transform_silver, and
03_build_gold that move the data through the layers. Run the notebooks in
order, and validate row counts, key uniqueness, referential integrity, and
revenue totals at each layer.

Reichen Sie den vollständigen Prompt als eine einzige Aufgabe ein. Project Osmos plant und sequenziert die Arbeit, erstellt die Beispieldaten, Tabellen und Notizbücher, führt die Notizbücher in SparkCore aus und prüft die Ergebnisse.

Wenn die Aufgabe abgeschlossen ist, überprüfen Sie diese Artefakte:

  • Bronze-Kunden-, Produkt- und Vertriebstabellen, die die Beispiel-Quelldaten beibehalten
  • Silbertabellen mit standardisierten Datentypen, gültigen Schlüsseln und bereinigten Datensätzen
  • Gold-Tabellen mit täglichen Verkaufszusammenfassungen und Verkaufszusammenfassungen auf Kundenebene
  • Drei Notizbücher, die die Bewegung zwischen den Schichten dokumentieren und ausführen
  • Validierungsergebnisse für die Anzahl der Zeilen, Schlüssel, Beziehungen und Gesamtumsätze

Zusätzliche Beispiele für Projektergebnisse für komplexe Anwendungsfälle

Project Osmos ist für vollständige Data-Engineering-Ergebnisse konzipiert, einschließlich Arbeiten, die Kenntnisse über Unternehmensanwendungen, Lakehouse-Entdeckung, Implementierungsexperimente und Validierung erfordern. Eine Anfrage, die an GitHub Copilot ohne Project Osmos gesendet wird, könnte ein plausibles Notizbuch oder eine Code-Gliederung erzeugen, aber sie verwendet nicht den Project Osmos-Workflow, um das Live-Seehaus zu inspizieren, Implementierungsoptionen zu vergleichen, den Code in Fabric SparkCore auszuführen und die Lösung basierend auf den tatsächlichen Ergebnissen weiter zu verfeinern.

Erstellen Sie ein Dynamics 365-Kundenlebenszyklusmodell

Dieses prägnante Projekt-Ergebnis fordert Project Osmos auf, die verfügbaren Anwendungsdaten zu entdecken:

Use Project Osmos to create a trusted customer lifecycle model from the Microsoft Dynamics 365 data in this lakehouse.

Wie Project Osmos es angehen könnte: Project Osmos untersucht das Seehaus, um herauszufinden, welche Dynamics 365-Anwendungen und Dataverse-Tabellen verfügbar sind. Es identifiziert Strukturen wie Konten, Kontakte, Leads, Opportunities, Aktivitäten, Fälle, Bestellungen und Rechnungen; kartiert deren Beziehungen und Statuswerte; und bewertet, wie die Customer Journey von der Akquise über Vertrieb und Service repräsentiert werden kann. Es führt SparkCore-Code aus, um Beziehungsabdeckung, doppelte Kunden, verwaiste Aktivitäten, Pipeline-Gesamtsummen, Auftrags- und Rechnungsabstimmung sowie Berechnungen in der Lebenszyklusphase zu validieren.

Warum Project Osmos besser geeignet ist: Ohne Project Osmos ist GitHub Copilot darauf angewiesen, dass du die relevanten Dynamics 365- und Dataverse-Tabellen identifizierst, deren Beziehungen und Optionsset-Werte erklärst und jede Version ausführt. Project Osmos kann vom Ergebnis ausgehen, das Seehaus untersuchen und die Umsetzung auf Basis der gemessenen Ergebnisse verfeinern.

Modellieren SAP-Order-to-Cash-Daten

Dieses prägnante Projektergebnis fordert Project Osmos auf, zu ermitteln, wie die SAP-Daten in Ihrem Lakehouse dargestellt werden, und ein nützliches Order-to-Cash-Modell zu erstellen:

Use Project Osmos to build an order-to-cash model from the SAP data in this lakehouse.

Wie Project Osmos es angehen könnte: Project Osmos erkundet das Lakehouse, um die verfügbaren SAP-Verkaufs-, Liefer-, Abrechnungs-, Kunden- und Dokumentenflussdaten zu identifizieren. Es sucht nach Strukturen wie VBAK/VBAP, LIKP/LIPS, VBRK/VBRP, KNA1 und VBFA oder gleichwertigen extrahierten Ansichten. Es untersucht Schemata und Beispielwerte, bestimmt, ob die Extraktion SAP S/4HANA oder SAP ECC-Strukturen ähnelt, und testet alternative Joins und Dokumentenflusslogik. Anschließend erstellt es kuratierte Tabellen und Notizbücher und führt SparkCore-Prüfungen auf doppelte Geschäftsschlüssel, fehlende Dokumentenverknüpfungen, Mengenabweichungen und Auftrags-zu-Rechnung-Abstimmung durch.

Warum Project Osmos besser geeignet ist: GitHub Copilot ohne Project Osmos würde erfordern, dass Sie die relevanten Tabellen finden, die SAP-Beziehungen erklären, Schemata bereitstellen, den generierten Code ausführen und für jede Version Fehler oder Ergebnisse zurückgeben. Project Osmos führt diese Entdeckung und Ausführung als Teil einer persistenten Fabric-Aufgabe durch, die autonom auf SparkCore ausgeführt wird.

NetSuite-Finanzen abgleichen

Dieses detaillierte Projekt-Ergebnis liefert die Geschäftsregeln, während die Implementierungsdetails Project Osmos überlassen werden:

Use Project Osmos to create a financial reconciliation model from the NetSuite
data already loaded in this lakehouse. Preserve subsidiary, accounting period,
transaction, transaction line, account, accounting book, department, class,
location, transaction currency, and base currency. Build a monthly trial
balance with debit, credit, and net balances by subsidiary and account. Account
for intercompany transactions, elimination subsidiaries, and exchange rates.
Identify unbalanced entries, unmapped accounts, and periods that don't reconcile
to the source. Save the transformation and validation notebooks, and don't
modify the source tables.

Wie Project Osmos es angehen könnte: Project Osmos untersucht, wie NetSuite-Transaktionen, Transaktionslinien, Konten, Tochtergesellschaften, Buchhaltungsperioden, Währungen und Buchhaltungsbücher im Seehaus dargestellt sind. Es bewertet Optionen für Veröffentlichung, Konsolidierung, Eliminierung und Währungsumrechnung und verwendet gestufte Ausgaben, um die Ergebnisse zu vergleichen. Es führt die Notebooks in SparkCore aus und prüft die Ausgeglichenheit des Journals, die Vollständigkeit der Dokumente, die Mapping-Abdeckung und die Summen vom Quellsystem bis zur Ausgabe, bevor die finalen Tabellen erzeugt werden.

Warum Project Osmos besser geeignet ist: Codegenerierung allein kann Joins und Berechnungen kodieren, aber sie kann nicht zuverlässig ableiten, wie eine bestimmte NetSuite-Extraktion Buchungen, Buchhaltungsbücher, Eliminationen und Wechselkurse repräsentiert, oder beweisen, dass das Ergebnis ohne iterative Ausführungs- und Validierungsschleife abgestimmt wird.

Erstellen Sie eine Salesforce-Pipeline und prognostizieren Sie Kennzahlen

Use Project Osmos to build a trusted sales pipeline and forecast model from the
Salesforce data in this lakehouse. Preserve account, opportunity, owner,
product, stage, amount, probability, close date, forecast category, creation
date, and stage-history details. Produce current pipeline, stage conversion,
sales-cycle duration, pipeline coverage, forecast accuracy, and slipped-deal
metrics by region, segment, product, and owner. Handle deleted records, currency
conversion, changing opportunity ownership, and historical stage snapshots.
Save the notebooks, and validate the metrics against available Salesforce
totals and prior-period snapshots.

Wie Project Osmos es angehen könnte: Project Osmos kartiert verfügbare Salesforce-Objekte und extrahiert Account-, Opportunity-, OpportunityHistory-, OpportunityLineItem-, Product2-, Benutzer- und Prognosedaten. Es vergleicht aktuelle Zustands-, historienbasierte und periodische Snapshot-Ansätze und testet, wie die Extraktion Währung, Löschungen, Besitzeränderungen und Stufenübergänge darstellt. Es führt Kandidatenimplementierungen in SparkCore aus und vergleicht Pipeline-Gesamtwerte, Konversionsraten, Prognoseergebnisse und historische Schnappschüsse.

Warum Project Osmos besser geeignet ist: Dieses Ergebnis erfordert mehr als nur syntaktisch korrekte Spark. Project Osmos kombiniert Salesforce-Domänenlogik mit Live-Dateninspektion, wiederholter Ausführung und Abstimmung, um eine Implementierung zu finden, die mit der tatsächlichen Extraktions- und Historienstrategie des Kunden funktioniert.

Modernisierung einer bestehenden Seehaus-Pipeline

Use Project Osmos to assess the existing sales ingestion and transformation
notebooks in this lakehouse. Replace full reloads with an idempotent incremental
design, preserve late-arriving updates, prevent duplicate business keys, add
quarantine handling for invalid records, and create validation tables that
compare each run with the source. Keep existing downstream table names and
schemas unless a change is required. Test the new design against representative
data, compare it with the current implementation, and document the migration
and rollback steps.

Wie Project Osmos es angehen könnte: Project Osmos untersucht die aktuellen Notizbücher, Tabellen, Schemata und Datenmuster; vergleicht Wasserzeichen-, Zusammenführungs- und Änderungsverfolgungsoptionen; und testet Fehler- und Wiederholungsverhalten. Es führt beide Implementierungen in SparkCore gegen gestufte Ziele aus und vergleicht Zeilenanzahl, Duplikatschlüssel, Late-Update-Handling, Schema-Kompatibilität und Ausgabesummen.

Warum Project Osmos besser geeignet ist: Allein verwendete Coding-Agenten können ein inkrementelles Muster vorschlagen, aber du musst den Implementierungskontext bereitstellen und jeden Test ausführen. Project Osmos bewertet das bestehende Seehaus und validiert konkurrierende Entwürfe, bevor es den sichereren Ansatz empfiehlt und umsetzt.

Kompetenzen für Fabric aktualisieren

In GitHub Copilot CLI oder Claude Code aktualisieren Sie die installierte Fabric-Sammlung:

/plugin update fabric-skills@fabric-collection

Für Codex führe codex plugin marketplace upgrade fabric-collection aus und dann codex plugin add fabric-skills@fabric-collection.

Aktuelle Einschränkungen

  • Data Engineering Agent (Project Osmos) ist derzeit nicht für Arbeitsbereiche mit aktiviertem Outbound-Zugriffsschutz verfügbar.

Verwandte Inhalte

  • Zuletzt aktualisiert um