Hinzufügen und Verwalten von Daten in Ihrem Azure KI Foundry-Projekt

Von Bedeutung

Die in diesem Artikel markierten Elemente (Vorschau) sind aktuell als öffentliche Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.

In diesem Artikel wird beschrieben, wie Sie Daten im Azure KI Foundry-Portal erstellen und verwalten. Daten können als Quelle für die Indizierung im Azure KI Foundry-Portal verwendet werden.

Daten können Ihnen helfen, wenn Sie die folgenden Funktionen benötigen:

• Versionsverwaltung: Die Versionsverwaltung von Daten wird unterstützt.
• Reproduzierbarkeit: Nachdem Sie eine Datenversion erstellt haben, ist sie unveränderlich. Sie kann nicht geändert oder gelöscht werden. Daher lassen sich Aufträge oder prompt flow-Pipelines, die die Daten nutzen, reproduzieren.
• Überprüfbarkeit: Da die Datenversion unveränderlich ist, können Sie die Ressourcenversionen, die Person, die eine Version aktualisiert hat, und das Datum jeder Versionsaktualisierung nachverfolgen.
• Datenherkunft: Sie können für alle Daten anzeigen, welche Aufträge oder prompt flow-Pipelines die Daten verwenden.
• Benutzerfreundlichkeit: Azure KI Foundry-Daten ähneln Lesezeichen (Favoriten) in Webbrowsern. Anstatt sich lange Speicherpfade zu merken, die auf Ihre häufig verwendeten Daten in Azure Storage verweisen, können Sie eine Datenversion erstellen und dann mit einem Anzeigenamen auf diese Version der Ressource zugreifen.

Voraussetzungen

Hinweis

Sie müssen ein hubbasiertes Projekt für dieses Feature verwenden. Ein Foundry-Projekt wird nicht unterstützt. Sehen Sie Wie kann ich feststellen, welche Art von Projekt ich habe? und Erstellen Sie ein Hub-basiertes Projekt.

• Ein Azure-Abonnement. Wenn Sie kein Azure-Abonnement besitzen, können Sie ein kostenloses Konto erstellen.
• Wenn Sie kein Projekt haben, erstellen Sie ein Hub-basiertes Projekt.

Daten erstellen

Ihnen wird der von Ihren Daten genutzte Speicherplatz in Rechnung gestellt. Um die Kosten zu schätzen, können Sie den Azure-Preisrechner verwenden. Die Daten werden in einem Container namens workspaceblobstore in Ihrem Azure-Speicherkonto gespeichert.

Wenn Sie Ihre Daten erstellen, müssen Sie den Datentyp festlegen. Azure KI Foundry unterstützt diese Datentypen:

Typ	Kanonische Szenarien
file Verweis auf eine einzelne Datei	Lesen einer einzelnen Datei in Azure Storage (die Datei kann ein beliebiges Format haben).
folder Verweis auf einen Ordner	Einlesen eines Ordners mit Parquet-/CSV-Dateien in Pandas/Spark. Lesen unstrukturierter Daten (z. B. Bilder, Text oder Audio), die sich in einem Ordner befinden

Azure KI Foundry zeigt die unterstützten Quellpfade an. Sie können Daten aus einem Ordner oder einer Datei erstellen:

• Wenn Sie den Ordnertyp auswählen, können Sie das URL-Format für Ordner auswählen. Azure KI Foundry zeigt die unterstützten Ordner-URL-Formate an. Sie können eine Datenressource wie gezeigt erstellen:

• Wenn Sie den Dateityp auswählen, können Sie das URL-Format für Dateien auswählen. Die unterstützten Datei-URL-Formate werden im Azure KI Foundry-Portal angezeigt. Sie können eine Datenressource wie gezeigt erstellen:

Erstellen von Daten: Dateityp

Eine Datenressource vom Dateityp (uri_file) verweist auf eine einzelne Datei im Speicher (z. B. eine CSV-Datei).

Tipp

Da Sie den linken Bereich im Azure AI Foundry-Portal anpassen können, werden möglicherweise unterschiedliche Elemente angezeigt als in diesen Schritten. Wenn Sie nicht sehen, wonach Sie suchen, wählen Sie ... Mehr am unteren Rand des linken Bereichs.

In diesen Schritten wird erläutert, wie Sie im Azure AI Foundry-Portal Daten vom Typ „Datei“ erstellen:

1. Navigieren Sie zu Azure KI Foundry.

2. Wählen Sie das Projekt aus, in dem Sie die Daten erstellen möchten.

3. Wählen Sie im reduzierbaren Menü Meine Ressourcen auf der linken Seite die Option Daten + Indizes aus, und wählen Sie dann wie im folgenden Screenshot Neue Daten aus:

   

4. Wählen Sie Ihre Datenquelle aus. Zum Auswählen einer Datenquelle haben Sie zwei Optionen.

   • Sie können Daten mit der Speicher-URL abrufen auswählen, wenn Sie über eine direkte URL zu einem Speicherkonto oder einem öffentlich zugänglichen HTTPS-Server verfügen.

   • Sie können Dateien/Ordner hochladen auswählen, um einen Ordner von einem lokalen Laufwerk hochzuladen.

     • Daten mit Speicher-URL abrufen: Sie können als Typ die Option „Datei“ auswählen und dann wie im folgenden Screenshot eine URL basierend auf den unterstützten URL-Formaten bereitstellen, die auf dieser Seite aufgeführt sind:

     

     • Dateien/Ordner hochladen: Sie können Dateien/Ordner hochladen, dann Dateien hochladen und anschließend die lokale Datei auswählen, die hochgeladen werden soll. Die Datei wird in die Standardverbindung „workspaceblobstore“ hochgeladen.

   1. Wählen Sie Weiter aus, nachdem Sie die Datenquelle ausgewählt haben.

   2. Geben Sie einen benutzerdefinierten Namen für Ihre Daten ein, und wählen Sie dann Erstellen aus.

   

Erstellen von Daten: Ordnertyp

Eine Datenressource vom Ordnertyp (uri_folder) ist eine Ressource, die auf einen Ordner in einer Speicherressource verweist (z. B. auf einen Ordner, der mehrere Unterordner mit Bildern enthält). Führen Sie die folgenden Schritte aus, um im Azure KI Foundry-Portal eine Datenressource vom Typ „Ordner“ zu erstellen:

1. Navigieren Sie zu Azure KI Foundry.

2. Wählen Sie das Projekt aus, in dem Sie die Daten erstellen möchten.

3. Wählen Sie im reduzierbaren Menü Komponenten auf der linken Seite die Option Daten aus.

   

4. Wählen Sie Ihre Datenquelle aus. Zum Auswählen einer Datenquelle haben Sie zwei Optionen.

   1. Wählen Sie Daten mit der Speicher-URL abrufen aus, wenn Sie über eine direkte URL zu einem Speicherkonto oder einem öffentlich zugänglichen HTTPS-Server verfügen.
   2. Wählen Sie Dateien/Ordner hochladen aus, um einen Ordner von einem lokalen Laufwerk hochzuladen.

   • Daten mit Speicher-URL abrufen: Sie können unter Typ die Option „Ordner“ auswählen und eine URL basierend auf den unterstützten URL-Formaten bereitstellen, die auf dieser Seite aufgeführt sind.

     

   • Dateien/Ordner hochladen: Sie können Dateien/Ordner hochladen, dann Ordner hochladen und anschließend die lokale Datei auswählen, die hochgeladen werden soll. Die Dateiressourcen werden in die Standardverbindung „workspaceblobstore“ hochgeladen.

     

5. Wählen Sie Weiter aus, nachdem Sie die Datenquelle ausgewählt haben.

6. Geben Sie einen benutzerdefinierten Namen für Ihre Daten ein, und wählen Sie dann Erstellen aus.

   

Verwalten von Daten

Löschen von Daten

Von Bedeutung

Das Löschen von Daten wird nicht unterstützt. Daten sind im Azure KI Foundry-Portal unveränderlich. Nachdem Sie eine Datenversion erstellt haben, kann sie nicht mehr geändert oder gelöscht werden. Diese Unveränderlichkeit von Daten bietet einen gewissen Schutz bei der Arbeit in einem Team, das Produktionsworkloads erstellt.

Wenn Azure KI Foundry das Löschen von Daten zuließe, hätte dies die folgenden nachteiligen Auswirkungen:

• Produktionsaufträge, die später gelöschte Daten nutzen, schlagen fehl.
• Die Reproduktion des Experiments für maschinelles Lernen würde schwieriger werden.
• Die Datenherkunft des Auftrags wäre nicht mehr nachvollziehbar, da es unmöglich wäre, die gelöschte Datenversion anzuzeigen.
• Sie könnten die Ressourcen nicht mehr ordnungsgemäß nachverfolgen und überwachen, da Versionen fehlen könnten.

Wenn eine Datenressource falsch erstellt wurde (z. B. mit einem falschen Namen, einem falschen Typ oder einem falschen Pfad), bietet Azure KI Lösungen, mit dieser Situation ohne die negativen Folgen des Löschens umzugehen:

Grund für das Löschen von Daten	Lösung
Der Name ist falsch.	Archivieren der Daten
Das Team verwendet die Daten nicht mehr.	Archivieren der Daten
Die Auflistung der Daten wird verkompliziert.	Archivieren der Daten
Der Pfad ist falsch.	Erstellen Sie eine neue Version der Daten (mit demselben Namen) mit dem richtigen Pfad. Weitere Informationen finden Sie unter Erstellen von Daten.
Der Typ ist falsch.	Derzeit lässt Azure KI die Erstellung einer neuen Version, die einen anderen Typ als die ursprüngliche Version hat, nicht zu. (1) Archivieren der Daten (2) Erstellen Sie neue Daten mit einem anderen Namen und dem richtigen Typ.

Daten archivieren

Durch die Archivierung einer Datenressource wird diese standardmäßig bei Listenabfragen (z. B. in az ml data list der CLI) und bei der Datenauflistung im Azure KI Foundry-Portal ausgeblendet. Sie können in Ihren Workflows weiterhin auf eine archivierte Datenressource verweisen und diese verwenden. Sie können eine der folgenden Archivierungen ausführen:

• alle Versionen der Daten unter einem bestimmten Namen
• eine bestimmte Datenversion

Archivieren aller Datenversionen

Derzeit unterstützt Azure KI Foundry die Archivierung aller Versionen der Datenressource unter einem bestimmten Namen nicht.

Archivieren einer bestimmten Datenversion

Derzeit unterstützt Azure KI Foundry die Archivierung einer bestimmten Version der Datenressource nicht.

Wiederherstellen von archivierten Daten

Sie können eine archivierte Datenressource wiederherstellen. Wenn alle Versionen der Daten archiviert werden, können nicht einzelne Versionen der Daten wiederhergestellt werden. Sie müssen alle Versionen wiederherstellen.

Wiederherstellen aller Datenversionen

Derzeit unterstützt Azure KI Foundry die Wiederherstellung aller Versionen der Daten unter einem bestimmten Namen nicht.

Wiederherstellen einer bestimmten Datenversion

Von Bedeutung

Wenn alle Datenversionen archiviert werden, können nicht einzelne Versionen der Daten wiederhergestellt werden. Sie müssen alle Versionen wiederherstellen.

Derzeit unterstützt Azure KI Foundry die Wiederherstellung einer bestimmten Datenversion nicht.

Datentagging

Beim Datentagging werden zusätzliche Metadaten in Form eines Schlüssel-Wert-Paars auf die Datenressource angewendet. Datentagging bietet viele Vorteile:

• Beschreibung der Datenqualität. Wenn Ihre Organisation beispielsweise eine Medallion Lakehouse-Architektur verwendet, können Sie Ressourcen mit medallion:bronze (roh), medallion:silver (überprüft) und medallion:gold (angereichert) markieren.
• Das ermöglicht ein effizientes Suchen und Filtern von Daten, um die Datenerkennung zu unterstützen.
• Es hilft bei der Identifizierung vertraulicher personenbezogener Daten, um den Datenzugriff ordnungsgemäß zu verwalten und zu steuern. Beispiel: sensitivity:PII/sensitivity:nonPII.
• Es ermittelt, ob Daten von einer verantwortungsvollen KI-Überwachung (Responsible AI, RAI) genehmigt wurden. Beispiel: RAI_audit:approved/RAI_audit:todo.

Sie können vorhandenen Daten Tags hinzufügen.

Datenvorschau

Auf der Seite „Datendetails“ können Sie die Ordnerstruktur durchsuchen und eine Vorschau der Datei anzeigen. Wir unterstützen die Datenvorschau für die folgenden Typen:

• Folgende Datendateitypen werden mit der Vorschau-API unterstützt: „.tsv“, „.csv“, „.parquet“ und „.jsonl“.
• Bei anderen Dateitypen versucht das Azure AI Foundry-Portal, eine Vorschau der Datei nativ im Browser anzuzeigen. Die unterstützten Dateitypen können vom Browser selbst abhängen. Normalerweise werden folgende Dateibildtypen unterstützt: „.png“, „.jpg“ und „.gif“. Normalerweise werden die folgenden Dateitypen unterstützt: „.ipynb“, „.py“, „.yml“ und „.html“.

Nächste Schritte

• Erfahren Sie, wie Sie ein Projekt im Azure KI Foundry-Portal erstellen.