Snabbstart: Sök efter bilder med hjälp av Sökutforskaren i Azure Portal

Den här snabbstarten visar hur du kommer igång med bildsökning med hjälp av guiden Importera och vektorisera data i Azure Portal. Den visar också hur du använder Search Explorer för att köra bildbaserade frågor.

Exempeldata består av bildfiler på lagringsplatsen azure-search-sample-data , men du kan använda olika bilder och ändå följa genomgången.

Förutsättningar

• En Azure-prenumeration. Skapa en kostnadsfritt.

• Ett Azure AI-tjänstkonto för flera tjänster som ska användas för bildvektorisering och optisk teckenigenkänning (OCR). Bildvektorisering kräver multimodala inbäddningar i Azure AI Vision. I dokumentationen finns en uppdaterad lista över regioner.

• Azure AI-sökning efter indexering och frågor. Den kan finnas på vilken nivå som helst, men den måste finnas i samma region som Azure AI multiservice.

  Tjänstnivån avgör hur många blobar du kan indexeras. Vi använde den kostnadsfria nivån för att skapa den här genomgången och begränsade innehållet till 10 JPG-filer.

• Azure Storage för att lagra avbildningsfiler som blobar. Använd Azure Blob Storage eller Azure Data Lake Storage Gen2 (ett lagringskonto med ett hierarkiskt namnområde), ett standardprestandakonto (generell användning v2). Åtkomstnivåerna kan vara varma, lågfrekventa och kalla.

Alla föregående resurser måste ha offentlig åtkomst aktiverad så att portalnoderna kan komma åt dem. Annars misslyckas guiden. När guiden har körts kan du aktivera brandväggar och privata slutpunkter på integreringskomponenterna för säkerhet. Mer information finns i Säkra anslutningar i importguiderna.

Om privata slutpunkter redan finns och du inte kan inaktivera dem är det alternativa alternativet att köra respektive flöde från slutpunkt till slutpunkt från ett skript eller program på en virtuell dator. Den virtuella datorn måste finnas i samma virtuella nätverk som den privata slutpunkten. Här är ett Python-kodexempel för integrerad vektorisering. Samma GitHub-lagringsplats har exempel på andra programmeringsspråk.

En kostnadsfri söktjänst stöder rollbaserad åtkomstkontroll för anslutningar till Azure AI Search, men den stöder inte hanterade identiteter vid utgående anslutningar till Azure Storage eller Azure AI Vision. Den här supportnivån innebär att du måste använda nyckelbaserad autentisering på anslutningar mellan en kostnadsfri söktjänst och andra Azure-tjänster. För anslutningar som är säkrare:

• Använd basic-nivån eller högre.
• Konfigurera en hanterad identitet och rolltilldelningar för att ta emot begäranden från Azure AI Search på andra Azure-tjänster.

Kontrollera utrymmet

Om du börjar med den kostnadsfria tjänsten är du begränsad till tre index, tre datakällor, tre kompetensuppsättningar och tre indexerare. Kontrollera att du har plats för extra objekt innan du börjar. Den här snabbstarten skapar ett av varje objekt.

Förbereda exempeldata

1. Ladda ned avbildningsmappen unsplash-signs till en lokal mapp eller hitta några egna bilder. På en kostnadsfri söktjänst håller du avbildningsfilerna under 20 för att hålla dig inom den kostnadsfria kvoten för berikningsbearbetning.

2. Logga in på Azure Portal med ditt Azure-konto och gå till ditt Azure Storage-konto.

3. I den vänstra rutan, under Datalagring, väljer du Containrar.

4. Skapa en ny container och ladda sedan upp avbildningarna.

Starta guiden

Om din söktjänst och Azure AI-tjänst finns i samma region och klientorganisation som stöds, och om din Azure Storage-blobcontainer använder standardkonfigurationen, är du redo att starta guiden.

1. Logga in på Azure Portal med ditt Azure-konto och gå till azure AI-tjänsten Search.

2. På sidan Översikt väljer du Importera och vektorisera data.

   

Ansluta till data

Nästa steg är att ansluta till en datakälla som tillhandahåller bilderna.

1. På sidan Konfigurera dataanslutning väljer du Azure Blob Storage.

2. Ange Azure-prenumerationen.

3. För Azure Storage väljer du det konto och den container som tillhandahåller data. Använd standardvärdena för de återstående rutorna.

   

4. Välj Nästa.

Vektorisera texten

Om råinnehåll innehåller text, eller om kunskapsuppsättningen genererar text, anropar guiden en textinbäddningsmodell för att generera vektorer för innehållet. I den här övningen skapas text från den OCR-färdighet som du lägger till i nästa steg.

Azure AI Vision tillhandahåller text inbäddningar, så använd den resursen för textvektorisering.

1. På sidan Vectorize your text (Vektorisera din text) väljer du AI Vision-vektorisering. Om den inte är tillgänglig kontrollerar du att Azure AI Search och ditt Azure AI multiservice-konto är tillsammans i en region som har stöd för multimodala API:er för AI Vision.

   

2. Välj Nästa.

Vektorisera och berika dina bilder

Använd Azure AI Vision för att generera en vektorrepresentation av bildfilerna.

I det här steget kan du även använda AI för att extrahera text från bilder. Guiden använder OCR från Azure AI-tjänster för att identifiera text i bildfiler.

Ytterligare två utdata visas i indexet när OCR läggs till i arbetsflödet:

• Fältet chunk fylls i med en OCR-genererad sträng av all text som finns i bilden.
• Fältet text_vector fylls i med en inbäddning som representerar strängen chunk .

Det är användbart att inkludera oformaterad text i chunk fältet om du vill använda relevansfunktioner som fungerar på strängar, till exempel semantisk rangordning och bedömningsprofiler.

1. På sidan Vectorize your images (Vektorisera dina bilder) markerar du kryssrutan Vektorisera bilder och sedan AI Vision-vektorisering.

2. Välj Använd samma AI-tjänst som valts för textvektorisering.

3. I berikningsavsnittet väljer du Extrahera text från bilder och Använd samma AI-tjänst som valts för bildvektorisering.

   

4. Välj Nästa.

Mappa nya fält

På sidan Avancerade inställningar kan du lägga till nya fält. Som standard genererar guiden följande fält med följande attribut:

Fält	Gäller för	beskrivning
chunk_id	Text- och bildvektorer	Genererat strängfält. Sökbar, hämtningsbar, sorterbar. Det här är dokumentnyckeln för indexet.
text_parent_id	Bildvektorer	Genererat strängfält. Hämtningsbar, filterbar. Identifierar det överordnade dokument som segmentet kommer från.
image_parent_id	Bildvektorer	Genererat strängfält. Hämtningsbar, filterbar. Identifierar det överordnade dokument som bilden kommer från.
segment	Text- och bildvektorer	Strängfält. Mänsklig läsbar version av datasegmentet. Sökbar och hämtningsbar, men inte filterbar, facetable eller sorterbar.
rubrik	Text- och bildvektorer	Strängfält. Mänsklig läsbar dokumentrubrik, sidrubrik eller sidnummer. Sökbar och hämtningsbar, men inte filterbar, facetable eller sorterbar.
image_vector	Bildvektorer	Collection(Edm.single). Vektorrepresentation av bilden. Sökbar och hämtningsbar, men inte filterbar, facetable eller sorterbar.

Du kan inte ändra de genererade fälten eller deras attribut, men du kan lägga till nya fält om datakällan tillhandahåller dem. Azure Blob Storage innehåller till exempel en samling metadatafält.

1. Välj Lägg till.

2. Välj ett källfält i listan över tillgängliga fält, ange ett fältnamn för indexet och acceptera standarddatatypen eller åsidosättningen efter behov.

   Metadatafält är sökbara, men går inte att hämta, filtrera, fasettbara eller sorterbara.

3. Välj Återställ om du vill återställa schemat till den ursprungliga versionen.

Schemalägg indexering

1. På sidan Avancerade inställningar under Schemalägg indexering anger du ett körningsschema för indexeraren. Vi rekommenderar En gång för den här övningen. För datakällor där underliggande data är flyktiga kan du schemalägga indexering för att hämta ändringarna.

   

2. Välj Nästa.

Slutför guiden

1. På sidan Granska konfigurationen anger du ett prefix för de objekt som guiden ska skapa. Ett vanligt prefix hjälper dig att hålla ordning.

   

2. Välj Skapa.

När guiden har slutfört konfigurationen skapas följande objekt:

• En indexerare som driver indexeringspipelinen.

• En datakällaanslutning till Azure Blob Storage.

• Ett index med vektorfält, textfält, vektoriserare, vektorprofiler och vektoralgoritmer. Du kan inte ändra standardindexet under guidens arbetsflöde. Index överensstämmer med REST API för förhandsversion 2024-05-01 så att du kan använda förhandsversionsfunktioner.

• En kompetensuppsättning med följande fem färdigheter:

  • OCR-färdigheten identifierar text i bildfiler.
  • Kunskaper om sammanslagning av text förenar de olika utdata från OCR-bearbetningen.
  • Färdigheten Textdelning lägger till datasegmentering. Den här färdigheten är inbyggd i guidens arbetsflöde.
  • Kunskaper om multimodala inbäddningar i Azure AI Vision används för att vektorisera text som genereras från OCR.
  • Kunskaper om multimodala inbäddningar i Azure AI Vision anropas igen för att vektorisera bilder.

Kontrollera resultat

Search Explorer accepterar text, vektorer och bilder som frågeindata. Du kan dra eller välja en bild till sökområdet. Search Explorer vektoriserar bilden och skickar vektorn som en frågeinmatning till sökmotorn. Bildvektorisering förutsätter att ditt index har en vektoriserardefinition, som Importera och vektorisera data skapar baserat på indata från inbäddningsmodellen.

1. I Azure Portal går du till Sökhanteringsindex> och väljer sedan det index som du skapade. Sökutforskaren är den första fliken.

2. På menyn Visa väljer du Bildvy.

   

3. Dra en bild från den lokala mappen som innehåller exempelbildfilerna. Du kan också öppna filwebbläsaren för att välja en lokal bildfil.

4. Välj Sök för att köra frågan.

   Den översta matchningen bör vara den bild som du sökte efter. Eftersom en vektorsökning matchar liknande vektorer returnerar sökmotorn alla dokument som är tillräckligt lika frågeindata, upp till k antalet resultat. Du kan växla till JSON-vyn för mer avancerade frågor som inkluderar relevansjustering.

   

5. Prova andra frågealternativ för att jämföra sökresultat:

   • Dölj vektorer för mer läsbara resultat (rekommenderas).
   • Välj ett vektorfält att köra frågor mot. Standardvärdet är textvektorer, men du kan ange vilken bildvektor som ska undanta textvektorer från frågekörning.

Rensa

Den här demonstrationen använder fakturerbara Azure-resurser. Om du inte längre behöver resurserna tar du bort dem från din prenumeration för att undvika avgifter.

Gå vidare

Den här snabbstarten introducerade dig i guiden Importera och vektorisera data som skapar alla nödvändiga objekt för bildsökning. Om du vill utforska varje steg i detalj kan du prova ett integrerat vektoriseringsexempel.