Lägga till och hantera data i ditt Azure AI Foundry-projekt
Viktigt
Objekt markerade (förhandsversion) i den här artikeln är för närvarande i offentlig förhandsversion. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade. Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.
Den här artikeln beskriver hur du skapar och hanterar data i Azure AI Foundry-portalen. Data kan användas som en källa för indexering i Azure AI Foundry-portalen.
Data kan vara till hjälp när du behöver följande funktioner:
- Versionshantering: Dataversioner stöds.
- Reproducerbarhet: När du har skapat en dataversion är den oföränderlig. Det går inte att ändra eller ta bort den. Därför kan jobb eller promptflödespipelines som använder data återskapas.
- Granskningsbarhet: Eftersom dataversionen är oföränderlig kan du spåra tillgångsversionerna, vem som uppdaterade en version och när versionsuppdateringarna inträffade.
- Ursprung: För alla angivna data kan du visa vilka jobb eller promptflödespipelines som använder data.
- Användarvänlighet: En Azure AI Foundry-data liknar webbläsarbokmärken (favoriter). I stället för att komma ihåg långa lagringssökvägar som refererar till dina data som används ofta i Azure Storage kan du skapa en dataversion och sedan komma åt den versionen av tillgången med ett eget namn.
För att skapa och arbeta med data behöver du:
- En Azure-prenumeration Om du inte har en skapar du ett kostnadsfritt konto.
- Ett AI Foundry-projekt.
När du skapar dina data måste du ange datatypen. AI Foundry stöder följande datatyper:
Typ | Kanoniska scenarier |
---|---|
file Referera till en enskild fil |
Läs en enda fil i Azure Storage (filen kan ha valfritt format). |
folder Referera till en mapp |
Läs en mapp med parquet-/CSV-filer till Pandas/Spark. Läs ostrukturerade data (till exempel bilder, text eller ljud) som finns i en mapp. |
Azure AI Foundry visar de källsökvägar som stöds. Du kan skapa data från en mapp eller fil:
Om du väljer mapptyp kan du välja mapp-URL-format. Azure AI Foundry visar mapp-URL-format som stöds. Du kan skapa en dataresurs enligt följande:
Om du väljer filtyp kan du välja fil-URL-format. De fil-URL-format som stöds visas i Azure AI Foundry-portalen. Du kan skapa en dataresurs enligt följande:
En fil (uri_file
) dataresurstyp pekar på en enda fil på lagringen (till exempel en CSV-fil).
De här stegen förklarar hur du skapar filtypade data i Azure AI Foundry-portalen:
Gå till Azure AI Foundry.
Välj det projekt där du vill skapa data.
Välj Data + index på menyn Mina tillgångar till vänster och välj sedan Nya data enligt den här skärmbilden:
Välj din datakälla. Om du vill välja en datakälla har du två alternativ.
Du kan välja Hämta data med lagrings-URL om du har en direkt-URL till ett lagringskonto eller en offentligt tillgänglig HTTPS-server.
Du kan välja Ladda upp filer/mappar för att ladda upp en mapp från den lokala enheten.
- Hämta data med lagrings-URL: Du kan välja "Fil" som typ och sedan ange en URL baserat på de URL-format som stöds som anges på den sidan, som du ser i den här skärmbilden:
- Ladda upp filer/mappar: Du kan välja Ladda upp filer/mappar, välja Ladda upp filer och välja den lokala fil som ska laddas upp. Filen laddas upp till standardanslutningen "workspaceblobstore".
Välj Nästa när du har valt datakällan.
Ange ett anpassat namn för dina data och välj sedan Skapa.
En mapp (uri_folder
) datakälltyp pekar på en mapp på en lagringsresurs (till exempel en mapp som innehåller flera undermappar med bilder). Använd de här stegen för att skapa en dataresurs av mapptyp i Azure AI Foundry-portalen:
Gå till Azure AI Foundry
Välj det projekt där du vill skapa data.
Välj Data i menyn Komprimerbara komponenter till vänster.
Välj din datakälla. Om du vill välja en datakälla har du två alternativ.
- Välj Hämta data med lagrings-URL om du har en direkt-URL till ett lagringskonto eller en offentligt tillgänglig HTTPS-server
- Välj Ladda upp filer/mappar för att ladda upp en mapp från din lokala enhet
Hämta data med lagrings-URL: Du kan välja Typ som "Mapp" och ange en URL baserat på de URL-format som stöds som anges på den sidan.
Ladda upp filer/mappar: Du kan välja Ladda upp filer/mappar, välja Ladda upp mapp och välja den lokala fil som ska laddas upp. Filresurserna laddas upp till standardanslutningen "workspaceblobstore".
Välj Nästa när du har valt datakällan.
Ange ett anpassat namn för dina data och välj sedan Skapa.
Viktigt
Databorttagning stöds inte. Data är oföränderliga i AI Foundry-portalen. När du har skapat en dataversion kan den inte ändras eller tas bort. Den här oföränderligheten ger en skyddsnivå när du arbetar i ett team som skapar produktionsarbetsbelastningar.
Om AI Foundry tillät borttagning av data skulle det ha följande negativa effekter:
- Produktionsjobb som använder data som tas bort senare misslyckas.
- Det skulle bli svårare att reproducera maskininlärningsexperiment.
- Jobbets ursprung skulle brytas eftersom det skulle bli omöjligt att visa den borttagna dataversionen.
- Du kunde inte längre spåra och granska korrekt, eftersom versioner kan saknas.
När en dataresurs skapas felaktigt – till exempel med ett felaktigt namn, typ eller sökväg – erbjuder Azure AI lösningar för att hantera situationen utan negativa konsekvenser av borttagning:
Orsak till att du kanske vill ta bort data | Lösning |
---|---|
Namnet är felaktigt | Arkivera data |
Teamet använder inte längre data | Arkivera data |
Det belamrar datalistan | Arkivera data |
Sökvägen är felaktig | Skapa en ny version av data (samma namn) med rätt sökväg. Mer information finns i Skapa data. |
Den har en felaktig typ | För närvarande tillåter Inte Azure AI att en ny version med en annan typ skapas jämfört med den ursprungliga versionen. (1) Arkivera data (2) Skapa en ny data under ett annat namn med rätt typ. |
Som standard döljer arkivering av en dataresurs den från båda listfrågorna (till exempel i CLI az ml data list
) och datalistan i Azure AI Foundry-portalen. Du kan fortfarande fortsätta att referera till och använda en arkiverad dataresurs i dina arbetsflöden. Du kan antingen arkivera:
- alla versioner av data under ett givet namn
- en specifik dataversion
För närvarande har Azure AI Foundry inte stöd för arkivering av alla versioner av dataresursen under ett visst namn.
För närvarande har Azure AI Foundry inte stöd för arkivering av en specifik version av dataresursen.
Du kan återställa en arkiverad dataresurs. Om alla versioner av data arkiveras kan du inte återställa enskilda versioner av data – du måste återställa alla versioner.
För närvarande har Azure AI Foundry inte stöd för återställning av alla versioner av data under ett visst namn.
Viktigt
Om alla dataversioner arkiverades kan du inte återställa enskilda versioner av data – du måste återställa alla versioner.
Azure AI Foundry stöder för närvarande inte återställning av en specifik dataversion.
Datataggning är extra metadata som tillämpas på data i form av ett nyckel/värde-par. Datataggning har många fördelar:
- Beskrivning av datakvalitet. Om din organisation till exempel använder en medallion lakehouse-arkitektur kan du tagga tillgångar med
medallion:bronze
(rå),medallion:silver
(validerad) ochmedallion:gold
(berikad). - Ger effektiv datasökning och filtrering för att hjälpa dataidentifiering.
- Hjälper till att identifiera känsliga personuppgifter för att hantera och styra dataåtkomsten på rätt sätt. Exempel:
sensitivity:PII
/sensitivity:nonPII
- Identifiera om data godkänns från en ansvarsfull AI-granskning (RAI). Exempel:
RAI_audit:approved
/RAI_audit:todo
Du kan lägga till taggar i befintliga data.
Du kan bläddra i mappstrukturen och förhandsgranska filen på sidan Datainformation. Vi stöder förhandsversion av data för följande typer:
- Datafiltyper som stöds via förhandsversions-API: ".tsv", ".csv", ".parquet", ".jsonl".
- Andra filtyper, AI Foundry-portalen försöker förhandsgranska filen i webbläsaren internt. Vilka filtyper som stöds kan bero på själva webbläsaren. Normalt för bilder stöds dessa filbildtyper: ".png", ".jpg", ".gif". Normalt stöds dessa filtyper: ".ipynb", ".py", ".yml", ".html".
- Lär dig hur du skapar ett projekt i Azure AI Foundry-portalen.