Dela via

Snabbstart: Sök efter bilder med hjälp av Sökutforskaren i Azure-portalen

  • Artikel

Viktigt!

Bildvektorer stöds i stabila API-versioner, men guiden och vektoriserare finns i förhandsversion under Kompletterande användningsvillkor. Som standard är guiden inriktad på REST-API:et 2024-05-01-Preview.

Den här snabbstarten visar hur du kommer igång med bildsökning med hjälp av guiden Importera och vektorisera data i Azure-portalen. Den visar också hur du använder Search Explorer för att köra bildbaserade frågor.

Exempeldata består av bildfiler på lagringsplatsen azure-search-sample-data , men du kan använda olika bilder och ändå följa genomgången.

Förutsättningar

  • En Azure-prenumeration. Skapa en kostnadsfritt.

  • Ett Azure AI-tjänstkonto för flera tjänster som ska användas för bildvektorisering och optisk teckenigenkänning (OCR). Kontot måste finnas i en region som tillhandahåller multimodala inbäddningar i Azure AI Vision.

    För närvarande är berättigade regioner: SwedenCentral, EastUS, NorthEurope, WestEurope, WestUS, SoutheastAsia, KoreaCentral, FranceCentral, AustraliaEast, WestUS2, SwitzerlandNorth, JapanEast. I dokumentationen finns en uppdaterad lista.

  • Azure AI-sökning efter indexering och frågor. Den kan finnas på valfri nivå, men den måste finnas i samma region som Azure AI-tjänster.

    Tjänstnivån avgör hur många blobar du kan indexeras. Vi använde den kostnadsfria nivån för att skapa den här genomgången och begränsade innehållet till 10 JPG-filer.

  • Azure Storage för att lagra avbildningsfiler som blobar. Använd Azure Blob Storage, ett standardkonto för prestanda (generell användning v2). Åtkomstnivåerna kan vara varma, lågfrekventa och kalla.

    Använd inte Azure Data Lake Storage Gen2 (ett lagringskonto med ett hierarkiskt namnområde). Den här versionen av guiden stöder inte Data Lake Storage Gen2.

Alla föregående resurser måste ha offentlig åtkomst aktiverad så att portalnoderna kan komma åt dem. Annars misslyckas guiden. När guiden har körts kan du aktivera brandväggar och privata slutpunkter på integreringskomponenterna för säkerhet. Mer information finns i Säkra anslutningar i importguiderna.

Om privata slutpunkter redan finns och du inte kan inaktivera dem är det alternativa alternativet att köra respektive flöde från slutpunkt till slutpunkt från ett skript eller program på en virtuell dator. Den virtuella datorn måste finnas i samma virtuella nätverk som den privata slutpunkten. Här är ett Python-kodexempel för integrerad vektorisering. Samma GitHub-lagringsplats har exempel på andra programmeringsspråk.

En kostnadsfri söktjänst stöder rollbaserad åtkomstkontroll för anslutningar till Azure AI Search, men den stöder inte hanterade identiteter vid utgående anslutningar till Azure Storage eller Azure AI Vision. Den här supportnivån innebär att du måste använda nyckelbaserad autentisering på anslutningar mellan en kostnadsfri söktjänst och andra Azure-tjänster. För anslutningar som är säkrare:

  • Använd basic-nivån eller högre.
  • Konfigurera en hanterad identitet och rolltilldelningar för att ta emot begäranden från Azure AI Search på andra Azure-tjänster.

Kontrollera utrymmet

Om du börjar med den kostnadsfria tjänsten är du begränsad till tre index, tre datakällor, tre kompetensuppsättningar och tre indexerare. Kontrollera att du har plats för extra objekt innan du börjar. Den här snabbstarten skapar ett av varje objekt.

Förbereda exempeldata

  1. Ladda ned avbildningsmappen unsplash-signs till en lokal mapp eller hitta några egna bilder. På en kostnadsfri söktjänst håller du avbildningsfilerna under 20 för att hålla dig inom den kostnadsfria kvoten för berikningsbearbetning.

  2. Logga in på Azure-portalen med ditt Azure-konto och gå till ditt Azure Storage-konto.

  3. I den vänstra rutan, under Datalagring, väljer du Containrar.

  4. Skapa en ny container och ladda sedan upp avbildningarna.

Starta guiden

Om din söktjänst och Azure AI-tjänst finns i samma region och klientorganisation som stöds, och om din Azure Storage-blobcontainer använder standardkonfigurationen, är du redo att starta guiden.

  1. Logga in på Azure-portalen med ditt Azure-konto och gå till din Azure AI-usluga pretrage.

  2. På sidan Översikt väljer du Importera och vektorisera data.

    Skärmbild av kommandot för att öppna guiden för att importera och vektorisera data.

Ansluta till data

Nästa steg är att ansluta till en datakälla som tillhandahåller bilderna.

  1. På sidan Konfigurera dataanslutning väljer du Azure Blob Storage.

  2. Ange Azure-prenumerationen.

  3. För Azure Storage väljer du det konto och den container som tillhandahåller data. Använd standardvärdena för de återstående rutorna.

    Skärmbild av guidesidan för att konfigurera en dataanslutning.

  4. Välj Nästa.

Vektorisera texten

Om råinnehåll innehåller text, eller om kunskapsuppsättningen genererar text, anropar guiden en textinbäddningsmodell för att generera vektorer för innehållet. I den här övningen skapas text från den OCR-färdighet som du lägger till i nästa steg.

Azure AI Vision tillhandahåller text inbäddningar, så använd den resursen för textvektorisering.

  1. På sidan Vectorize your text (Vektorisera din text) väljer du AI Vision-vektorisering. Om den inte är tillgänglig kontrollerar du att Azure AI Search och ditt Azure AI multiservice-konto är tillsammans i en region som har stöd för multimodala API:er för AI Vision.

    Skärmbild av guidesidan för vektorisering av text.

  2. Välj Nästa.

Vektorisera och berika dina bilder

Använd Azure AI Vision för att generera en vektorrepresentation av bildfilerna.

I det här steget kan du även använda AI för att extrahera text från bilder. Guiden använder OCR från Azure AI-tjänster för att identifiera text i bildfiler.

Ytterligare två utdata visas i indexet när OCR läggs till i arbetsflödet:

  • Fältet chunk fylls i med en OCR-genererad sträng av all text som finns i bilden.
  • Fältet text_vector fylls i med en inbäddning som representerar strängen chunk .

Det är användbart att inkludera oformaterad text i chunk fältet om du vill använda relevansfunktioner som fungerar på strängar, till exempel semantisk rangordning och bedömningsprofiler.

  1. På sidan Vectorize your images (Vektorisera dina bilder) markerar du kryssrutan Vektorisera bilder och sedan AI Vision-vektorisering.

  2. Välj Använd samma AI-tjänst som valts för textvektorisering.

  3. I berikningsavsnittet väljer du Extrahera text från bilder och Använd samma AI-tjänst som valts för bildvektorisering.

    Skärmbild av guidesidan för vektorisering av bilder och berikande data.

  4. Välj Nästa.

Schemalägg indexering

  1. På sidan Avancerade inställningar under Schemalägg indexering anger du ett körningsschema för indexeraren. Vi rekommenderar En gång för den här övningen. För datakällor där underliggande data är flyktiga kan du schemalägga indexering för att hämta ändringarna.

    Skärmbild av guidesidan för schemaläggning av indexering.

  2. Välj Nästa.

Slutför guiden

  1. På sidan Granska konfigurationen anger du ett prefix för de objekt som guiden ska skapa. Ett vanligt prefix hjälper dig att hålla ordning.

    Skärmbild av guidesidan för att granska och slutföra konfigurationen.

  2. Välj Skapa.

När guiden har slutfört konfigurationen skapas följande objekt:

  • En indexerare som driver indexeringspipelinen.

  • En datakällaanslutning till Blob Storage.

  • Ett index med vektorfält, textfält, vektoriserare, vektorprofiler och vektoralgoritmer. Du kan inte ändra standardindexet under guidens arbetsflöde. Index överensstämmer med REST API för förhandsversionen av 2024-05-01.

  • En kompetensuppsättning med följande fem färdigheter:

Kontrollera resultat

Search Explorer accepterar text, vektorer och bilder som frågeindata. Du kan dra eller välja en bild till sökområdet. Search Explorer vektoriserar bilden och skickar vektorn som en frågeinmatning till sökmotorn. Bildvektorisering förutsätter att ditt index har en vektoriserardefinition, som Importera och vektorisera data skapar baserat på indata från inbäddningsmodellen.

  1. I Azure-portalen går du till Sökhanteringsindex> och väljer sedan det index som du skapade. Sökutforskaren är den första fliken.

  2. På menyn Visa väljer du Bildvy.

    Skärmbild av kommandot för att välja bildvy.

  3. Dra en bild från den lokala mappen som innehåller exempelbildfilerna. Du kan också öppna filwebbläsaren för att välja en lokal bildfil.

  4. Välj Sök för att köra frågan.

    Den översta matchningen bör vara den bild som du sökte efter. Eftersom en vektorsökning matchar liknande vektorer returnerar sökmotorn alla dokument som är tillräckligt lika frågeindata, upp till k antalet resultat. Du kan växla till JSON-vyn för mer avancerade frågor som inkluderar relevansjustering.

    Skärmbild av sökresultat.

  5. Prova andra frågealternativ för att jämföra sökresultat:

    • Dölj vektorer för mer läsbara resultat (rekommenderas).
    • Välj ett vektorfält att köra frågor mot. Standardvärdet är textvektorer, men du kan ange vilken bildvektor som ska undanta textvektorer från frågekörning.

Rensa

Den här demonstrationen använder fakturerbara Azure-resurser. Om du inte längre behöver resurserna tar du bort dem från din prenumeration för att undvika avgifter.

Gå vidare

Den här snabbstarten introducerade dig i guiden Importera och vektorisera data som skapar alla nödvändiga objekt för bildsökning. Om du vill utforska varje steg i detalj kan du prova ett integrerat vektoriseringsexempel.