Freigeben über


Was ist der Kopierauftrag in Data Factory für Microsoft Fabric?

Data Factory in Fabric ermöglicht Es Benutzern, Daten aus über 100 integrierten Connectors zu integrieren, die drei Schlüsselfunktionen bieten: Datenaufnahme, Datentransformation und Daten-Orchestrierung. Dataflow Gen2 verarbeitet Datentransformationen, während Pipelines und Airflow Integrationsflüsse verwalten. Der Copy-Job vereinfacht die Datenübernahme mit integrierten Mustern für Batch- und inkrementelles Kopieren, sodass keine Pipelineerstellung erforderlich ist.

Vorteile des Kopierauftrags

Während die Copy-Aktivität in Datenpipelines die Datenerfassung mit Massen-/Batchvorgängen verarbeitet, ist das Erstellen von Datenpipelines in Data Factory für viele Benutzende, die neu in dem Bereich sind, durch eine steilere Lernkurve weiterhin eine Herausforderung. Wir freuen uns, den Kopierauftrag einzuführen, der den Datenaufnahmeprozess zu einem effizienteren und benutzerfreundlicheren Erlebnis von einer beliebigen Quelle zu einem beliebigen Ziel macht. Jetzt können Sie den Copy-Job verwenden, um die Datenaufnahme zu vereinfachen, ohne dass Pipelines erstellt werden müssen. Darüber hinaus unterstützt der Copy Job verschiedene Datenübermittlungsstile, einschließlich sowohl eingebauter Batch-Kopie als auch inkrementeller Kopie, und bietet somit Flexibilität, um Ihre spezifischen Bedürfnisse zu erfüllen.

Screenshot des Kopierauftrags und des Ergebnisbereichs.

Einige Vorteile des Kopierauftrags gegenüber anderen Datenverschiebungsmethoden sind:

  • Intuitives Erlebnis: Keine Kompromisse beim Kopieren von Daten, einschließlich Konfiguration und Überwachung, was es einfacher denn je macht.
  • Effizienz: Ermöglichen Sie das inkrementelle Kopieren mühelos, wodurch manuelle Eingriffe reduziert werden. Diese Effizienz führt zu einer geringeren Ressourcenauslastung und schnelleren Kopierdauern.
  • Flexibilität: Während Sie die Einfachheit genießen, können Sie Ihren Datenverkehr flexibel steuern. Wählen Sie aus, welche Tabellen und Spalten kopiert werden sollen, ordnen Sie die Daten zu, definieren Sie das Lese-/Schreibverhalten, und legen Sie Zeitpläne gemäß Ihren Anforderungen fest, unabhängig davon, ob es sich um einen einmaligen oder einen wiederkehrenden Vorgang handelt.
  • Robuste Leistung: Eine serverlose Einrichtung, welche die Datenübertragung mit großer Parallelität ermöglicht und den Datenbewegungsdurchsatz für Ihr System maximiert.

Unterstützte Anschlüsse

Sie können den Kopierauftrag verwenden, um Ihre Daten über Cloud-Datenspeicher oder lokale Datenspeicher hinter einer Firewall oder in einem virtuellen Netzwerk über ein Gateway zu verschieben. Der Kopierauftrag unterstützt die folgenden Datenspeicher sowohl als Quelle als auch als Ziel:

Verbinder Quelle Bestimmungsort Vollständige Last Inkrementelle Last (Vorschau) Anfügen Überschreiben Zusammenführen Lokales Datengateway
Azure SQL-Datenbank
Orakel
Lokale SQL Server-Instanz
Fabric Warehouse
Fabric Lakehouse-Tisch
Fabric Lakehouse-Datei
Amazon S3
Azure Data Lake Storage Gen2
Azure Blob Storage (Speicher für unstrukturierte Daten)
Verwaltete Azure SQL-Instanz
Schneeflocke
Azure Synapse Analytics
Azure Data Explorer (Ein Tool zur Datenanalyse)
Azure PostgreSQL
Google Cloud Storage
MySQL
Azure MySQL

Hinweis

Das Produktteam fügt zügig weitere Connectoren und Kopierfunktionen hinzu, also geben Sie Ihr Feedback zu Fabric Ideas ab.

Kopierverhalten

Sie können aus den folgenden Datenübermittlungsformaten wählen.

  • Vollkopiemodus: Jeder Kopierauftrag kopiert alle Daten aus der Quelle auf einmal an das Ziel.

  • Inkrementeller Kopiermodus: Der anfangs ausgeführte Auftrag kopiert alle Daten, und der nachfolgende Auftrag führt nur Kopieränderungen seit der letzten Ausführung aus. Beim Kopieren aus einer Datenbank werden neue oder aktualisierte Zeilen erfasst und an Ihr Ziel verschoben. Beim Kopieren aus einem Speicher werden neue oder aktualisierte Dateien, die durch ihre LastModifiedTime identifiziert werden, erfasst und an Ihr Ziel verschoben.

    Hinweis

    Der inkrementelle Kopiermodus befindet sich noch in der Vorschau. Möchten Sie frühzeitig auf die Erfassung systemeigener Änderungen zugreifen? Registrieren Sie sich hier.

Sie können auch auswählen, wie Daten in Ihren Zielspeicher geschrieben werden.

Standardmäßig fügt ein Kopierauftrag Daten an Ihr Ziel an, sodass Sie keine Änderungen verpassen. Aber Sie können die Updatemethode auch so anpassen, dass sie zusammenführt oder überschreibt. Beim Mergen müssen Sie eine Schlüsselspalte angeben. Standardmäßig wird der Primärschlüssel verwendet, falls vorhanden.

  • Beim Kopieren von Daten in den Speicher: Neue Zeilen aus den Tabellen oder Dateien werden in neue Dateien im Ziel kopiert. Wenn eine Datei mit demselben Namen bereits im Zielspeicher vorhanden ist, wird sie überschrieben.
  • Beim Kopieren von Daten in die Datenbank: Neue Zeilen aus den Tabellen oder Dateien werden an Zieltabellen angefügt. Sie können die Aktualisierungsmethode ändern, um sie für unterstützte Datenspeicher auf Zusammenführen oder Überschreiben einzustellen.

Spalte „Inkrementell“

Im inkrementellen Kopiermodus müssen Sie eine inkrementelle Spalte für jede Tabelle auswählen, um Änderungen zu identifizieren. Der Kopierauftrag verwendet diese Spalte als Wasserzeichen, wobei der Wert mit dem von der letzten Ausführung verglichen wird, um nur die neuen oder aktualisierten Daten zu kopieren. Die inkrementelle Spalte kann ein Zeitstempel oder eine ansteigende ganze Zahl (INT) sein.

Regionale Verfügbarkeit

Der Kopierauftrag hat die gleiche regionale Verfügbarkeit wie die Pipeline.

Preise

Der Kopierauftrag verwendet denselben Abrechnungszähler: Datenverschiebung mit identischer Verbrauchsrate.