Abrufen von Daten aus Azure Storage

  • Artikel

Die Datenerfassung ist der Prozess, der zum Laden von Daten aus einer oder mehreren Quellen in eine Tabelle in Azure Data Explorer verwendet wird. Nach der Erfassung sind die Daten für Abfragen verfügbar. In diesem Artikel erfahren Sie, wie Sie Daten aus Azure Storage (ADLS Gen2-Container, Blobcontainer oder einzelne Blobs) in eine neue oder vorhandene Tabelle abrufen.

Die Erfassung kann als einmaliger Vorgang oder als kontinuierliche Methode erfolgen. Die fortlaufende Erfassung kann nur über das Portal konfiguriert werden.

Allgemeine Informationen zur Datenerfassung finden Sie unter Azure Data Explorer Übersicht über die Datenerfassung.

Voraussetzungen

Abrufen von Daten

  1. Wählen Sie im linken Menü die Option Abfrage aus.

  2. Klicken Sie mit der rechten Maustaste auf die Datenbank, in der Sie die Daten erfassen möchten. Wählen Sie Daten abrufen aus.

    Screenshot der Registerkarte

Quelle

Im Fenster Daten abrufen ist die Registerkarte Quelle ausgewählt.

Wählen Sie die Datenquelle aus der liste verfügbar aus. In diesem Beispiel erfassen Sie Daten aus Azure Storage.

Screenshot: Fenster

Konfigurieren

  1. Wählen Sie eine Zieldatenbank und -tabelle aus. Wenn Sie Daten in einer neuen Tabelle erfassen möchten, wählen Sie + Neue Tabelle aus, und geben Sie einen Tabellennamen ein.

    Hinweis

    Tabellennamen können bis zu 1024 Zeichen umfassen, einschließlich Leerzeichen, alphanumerischer Zeichen, Bindestrichen und Unterstrichen. Sonderzeichen werden nicht unterstützt.

  2. Um Ihre Quelle hinzuzufügen, wählen Sie Container auswählen oder URI hinzufügen aus.

    1. Wenn Sie Container auswählen ausgewählt haben, füllen Sie die folgenden Felder aus:

      Screenshot der Registerkarte

      Einstellung Feldbeschreibung
      Subscription Die Abonnement-ID, in der sich das Speicherkonto befindet.
      Speicherkonto Der Name, der Ihr Speicherkonto identifiziert.
      Container Der Speichercontainer, den Sie erfassen möchten.
      Dateifilter (optional)
      Ordnerpfad Filtert Daten, um Dateien mit einem bestimmten Ordnerpfad zu erfassen.
      Dateierweiterung Filtert Daten nur, um Dateien mit einer bestimmten Dateierweiterung zu erfassen.

    2. Wenn Sie URI hinzufügen ausgewählt haben, fügen Sie Ihren Speicher Verbindungszeichenfolge für einen Blobcontainer oder einzelne Dateien in das URI-Feld ein, und wählen Sie dann aus+.

      Hinweis

      • Sie können bis zu 10 einzelne Blobs hinzufügen. Jedes Blob kann maximal 1 GB unkomprimiert sein.
      • Sie können bis zu 5.000 Blobs aus einem einzelnen Container erfassen.

      Screenshot der Registerkarte

  3. Wählen Sie Weiter aus.

Überprüfen

Die Registerkarte Überprüfen wird mit einer Vorschau der Daten geöffnet.

Um den Erfassungsprozess abzuschließen, wählen Sie Fertig stellen aus.

Screenshot der Registerkarte

Optional:

Spalten bearbeiten

Hinweis

  • Bei tabellenbasierten Formaten (CSV, TSV, PSV) können Sie eine Spalte nicht zweimal zuordnen. Löschen Sie bei einer Zuordnung zu einer vorhandenen Spalte zunächst die neue Spalte.
  • Der Typ einer vorhandenen Spalte kann nicht geändert werden. Wenn Sie als Zuordnungsziel eine Spalte mit einem anderen Format verwenden, erhalten Sie ggf. leere Spalten.

Die Änderungen, die Sie an einer Tabelle vornehmen können, hängen von den folgenden Parametern ab:

  • Die Tabelle ist neu oder vorhanden.
  • Die Zuordnung ist neu oder vorhanden.
Tabellentyp Zuordnungstyp Verfügbare Anpassungen
Neue Tabelle Neue Zuordnung Spalte umbenennen, Datentyp ändern, Datenquelle ändern, Zuordnungstransformation, Spalte hinzufügen, Spalte löschen
Vorhandene Tabelle Neue Zuordnung Spalte hinzufügen (in der Sie den Datentyp ändern, umbenennen und aktualisieren können)
Vorhandene Tabelle Vorhandene Zuordnung Keine

Screenshot: Geöffnete Spalten zur Bearbeitung.

Zuordnungstransformationen

Einige der Datenformatzuordnungen (Parquet, JSON und Avro) unterstützen einfache Transformationen während der Erfassung. Um Zuordnungstransformationen anzuwenden, erstellen oder aktualisieren Sie eine Spalte im Fenster Spalten bearbeiten .

Zuordnungstransformationen können für eine Spalte vom Typ string oder datetime ausgeführt werden, wobei die Quelle den Datentyp "int" oder "long" aufweist. Die folgenden Zuordnungstransformationen werden unterstützt:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Erweiterte Optionen basierend auf dem Datentyp

Tabellarisch (CSV, TSV, PSV):

  • Wenn Sie tabellarische Formate in einer vorhandenen Tabelle erfassen, können Sie Erweitertes>Tabellenschema beibehalten auswählen. Tabellendaten enthalten nicht unbedingt die Spaltennamen, die verwendet werden, um Quelldaten den vorhandenen Spalten zuzuordnen. Wenn diese Option aktiviert ist, erfolgt die Zuordnung nach Reihenfolge, und das Tabellenschema bleibt unverändert. Wenn diese Option deaktiviert ist, werden unabhängig von der Datenstruktur neue Spalten für eingehende Daten erstellt.

  • Um die erste Zeile als Spaltennamen zu verwenden, wählen Sie Erweiterte>erste Zeile ist Spaltenüberschrift aus.

    Screenshot: Erweiterte CSV-Optionen

JSON:

  • Um die Spaltenteilung von JSON-Daten zu bestimmen, wählen Sie Erweiterte>geschachtelte Ebenen von 1 bis 100 aus.

  • Wenn Sie Erweiterte>Datenformatfehler ignorieren auswählen, werden die Daten im JSON-Format erfasst. Wenn Sie das Kontrollkästchen nicht aktivieren, werden die Daten im MultiJSON-Format erfasst.

    Screenshot der erweiterten JSON-Optionen

Zusammenfassung

Im Fenster Datenaufbereitung sind alle drei Schritte mit grünen Häkchen gekennzeichnet, wenn die Datenerfassung erfolgreich abgeschlossen wurde. Sie können die Befehle anzeigen, die für jeden Schritt verwendet wurden, oder einen Karte auswählen, um die erfassten Daten abzufragen, zu visualisieren oder zu löschen.

Screenshot der Zusammenfassungsseite mit erfolgreicher Erfassung.

Verwandte Inhalte