Freigeben über

Verwenden von Azure Data Factory zum Erfassen von Daten in einem Azure Operator Insights-Datenprodukt

  • Artikel

In diesem Artikel wird beschrieben, wie Sie Azure Data Factory einrichten, um Daten in einem Azure Operator Insights-Datenprodukt zu erfassen. Weitere Informationen zu Azure Data Factory finden Sie unter Was ist Azure Data Factory?.

Warnung

Datenprodukte unterstützen keine privaten Verbindungen. Es ist nicht möglich, eine private Verbindung zwischen einem Datenprodukt und Azure Data Factory einzurichten.

Voraussetzungen

  • Ein bereitgestelltes Datenprodukt: Informationen finden Sie unter Erstellen eines Azure Operator Insights-Datenprodukts.
  • Die Berechtigung zum Hinzufügen von Rollenzuweisungen zur Azure Key Vault-Instanz für das Datenprodukt.
    • Um den Schlüsseltresor zu finden, suchen Sie nach einer Ressourcengruppe mit einem Namen, der mit <data-product-name>-HostedResources- beginnt. Der Schlüsseltresor befindet sich in dieser Ressourcengruppe.
  • Eine bereitgestellte Azure Data Factory-Instanz.
  • Die Rolle Data Factory-Mitwirkender für die Data Factory-Instanz.

Erstellen eines mit dem Key Vault verknüpften Dienstes

Um Azure Data Factory mit einem anderen Azure-Dienst zu verbinden, müssen Sie einen verknüpften Dienst erstellen. Erstellen Sie zunächst einen verknüpften Dienst, um Azure Data Factory mit dem Schlüsseltresor des Datenprodukts zu verbinden.

  1. Suchen Sie im Azure-Portal die Azure Data Factory-Ressource.
  2. Starten Sie im Bereich Übersicht das Azure Data Factory Studio.
  3. Wechseln Sie zur Ansicht Verwalten, suchen Sie dann Verbindungen, und wählen Sie Verknüpfte Dienste aus.
  4. Erstellen Sie mithilfe der Schaltfläche Neu einen neuen verknüpften Dienst.
    1. Wählen Sie als Typ Azure Key Vault aus.
    2. Legen Sie den Schlüsseltresor des Datenprodukts als Ziel fest (der Schlüsseltresor befindet sich in der Ressourcengruppe mit dem Namen, der mit <data-product-name>-HostedResources- beginnt und aoi-<uid>-kv heißt).
    3. Legen Sie als Authentifizierungsmethoden systemseitig zugewiesene verwaltete Identität fest.
  5. Gewähren Sie für die Key Vault-Ressource Azure Data Factory-Berechtigungen.
    1. Wechseln Sie im Azure-Portal zum Schlüsseltresor des Datenprodukts.
    2. Fügen Sie im Bereich Zugriffssteuerung (IAM) eine neue Rollenzuweisung hinzu.
    3. Weisen Sie der verwalteten Data Factory-Identität (sie hat denselben Namen wie die Data Factory-Ressource) die Rolle „Key Vault-Geheimnisbenutzer“ zu.

Erstellen eines mit Blob Storage verknüpften Dienstes

Datenprodukte machen einen Blob Storage-Endpunkt zum Erfassen von Daten verfügbar. Verwenden Sie den verknüpften Key Vault-Dienst, um Azure Data Factory mit dem Erfassungsendpunkt des Datenprodukts zu verbinden.

  1. Suchen Sie im Azure-Portal die Azure Data Factory-Ressource.
  2. Starten Sie im Bereich Übersicht das Azure Data Factory Studio.
  3. Wechseln Sie zur Ansicht Verwalten, suchen Sie dann Verbindungen, und wählen Sie Verknüpfte Dienste aus.
  4. Erstellen Sie mithilfe der Schaltfläche Neu einen neuen verknüpften Dienst.
    1. Wählen Sie den Typ „Azure Blob Storage“ aus.
    2. Legen Sie den Authentifizierungstyp auf SAS URI fest.
    3. Wählen Sie als Quelle Azure Key Vault aus.
    4. Wählen Sie den verknüpften Key Vault-Dienst aus, den Sie in Erstellen eines mit dem Key Vault verknüpften Dienstes erstellt haben.
    5. Legen Sie input-storage-sas als Namen des Geheimnisses fest.
    6. Behalten Sie die geheime Version als Standardwert („Neueste Version“) bei.

Die Data Factory ist jetzt mit dem Erfassungsendpunkt des Datenprodukts verbunden.

Erstellen von Blob Storage-Datasets

Um das Datenprodukt als Senke für eine Data Factory-Pipeline zu verwenden, müssen Sie eine Senkendataset erstellen.

  1. Suchen Sie im Azure-Portal die Azure Data Factory-Ressource.
  2. Starten Sie im Bereich Übersicht das Azure Data Factory Studio.
  3. Wechseln Sie zur Ansicht Autor –> Ressource hinzufügen –> Dataset.
  4. Erstellen Sie ein neues Azure Blob Storage-Dataset.
    1. Wählen Sie Ihren Ausgabetyp aus.
    2. Legen Sie den verknüpften Dienst auf den verknüpften Erfassungsdienst des Datenprodukts fest, den Sie in Erstellen eines mit Blob Storage verknüpften Dienstes erstellt haben.
    3. Legen Sie den Containernamen auf den Namen des Datentyps fest, dem das Dataset zugeordnet ist.
      • Diese Informationen finden Sie im Abschnitt Erforderliche Erfassungskonfiguration der Dokumentation für Ihr Datenprodukt.
      • Ein Beispiel hierfür wäre der Abschnitt Erforderliche Erfassungskonfiguration für das Monitoring – MCC Data Product.
    4. Stellen Sie sicher, dass der Ordnerpfad mindestens ein Verzeichnis enthält. Dateien, die in das Stammverzeichnis des Containers kopiert werden, werden nicht ordnungsgemäß erfasst.
    5. Legen Sie die anderen Felder passend zu ihren Daten fest.
  5. Führen Sie die Schritte in der Dokumentation zu Azure Data Factory aus (z. B. Erstellen einer Pipeline mithilfe der UI), um eine Pipeline mit diesem neuen Dataset als Senke zu erstellen.

Wiederholen Sie diesen Schritt für alle erforderlichen Datasets.

Wichtig

Das Datenprodukt verwendet möglicherweise das Ordnerpräfix oder Dateinamenpräfix (dies kann als Teil der Pipeline festgelegt werden, z. B. in der Kopieraktivität), um zu bestimmen, wie eine erfasste Datei verarbeitet werden soll. Informationen zu den Anforderungen Ihres Datenprodukts hinsichtlich Ordnerpräfixe oder Dateinamenpräfixe finden Sie im Abschnitt Erforderliche Erfassungskonfiguration der Dokumentation für das Datenprodukt. Ein Beispiel hierfür wäre der Abschnitt Erforderliche Erfassungskonfiguration für das Monitoring – MCC Data Product.

Erstellen von Datenpipelines

Ihre Azure Data Factory ist jetzt konfiguriert, um eine Verbindung mit Ihrem Datenprodukt herzustellen. Um Daten mithilfe dieser Konfiguration zu erfassen, müssen Sie die Vorgaben der Data Factory-Dokumentation befolgen.

  1. Richten Sie eine Verbindung in Azure Data Factory mit dem Dienst ein, der die Quelldaten enthält.
  2. Richten Sie Pipelines in Azure Data Factory ein, um mithilfe der Datasets, die im letzten Schritt erstellt wurden, Daten aus der Quelle in Ihr Datenprodukt zu kopieren.

Zugehöriger Inhalt

In diesem Artikel werden folgende Themen erläutert: