Översikt över innehållssökning för appar

Med funktionen Innehållssökning för appar som aktiveras av Windows AI-API:er kan apputvecklare integrera intelligenta sökfunktioner i sina Windows-appar med hjälp av Api:et AppContentIndexer . Genom att indexera innehåll i appen och göra det sökbart via semantiska frågor kan användarna hämta resultat baserat inte bara på exakta nyckelord utan även på semantisk betydelse. Du kan använda det här semantiska indexet för att förbättra dina egna AI-assistenter med domänspecifik kunskap och skapa mer anpassade, kontextspecifika upplevelser.

Använd det här API:et för att:

• Skapa sökupplevelser i appen som använder både semantisk och lexikal sökning. Användare kan söka efter mening, förutom exakta nyckelordsmatchningar, vilket gör det lättare att hitta relevant information.

• Stöd Retrieval-Augmented Generation (RAG) genom att aktivera lokal kunskapshämtning. När du parkopplas med en stor språkmodell (LLM) kan du hämta det mest relevanta innehållet från din apps kunskapsbas och generera mer exakta, sammanhangsmedvetna svar.

ApplicationContentIndexer-API:et är för närvarande endast tillgängligt i Windows App SDK version 2.0 Experimental 2.

Öppna AI Dev-galleriet för att prova appinnehållssökning

AI Dev Gallery-appen erbjuder ett interaktivt exempel på AppContentIndexer-API:et så att du kan experimentera med funktionen Appinnehållssökning. Läs mer om AI Dev Gallery, inklusive hur du installerar från Microsoft Store eller från källkoden på GitHub.

Vad är AppContentIndexer-API:et?

Api:et AppContentIndexer gör det möjligt för appar att göra sitt text- och bildinnehåll sökbart med både nyckelordsbaserad (lexikal) och meningsbaserad (semantisk) sökning – utan att utvecklare behöver förstå den underliggande komplexiteten.

I bakgrunden används avancerade tekniker som inbäddningsvektorer, vektordatabaser och traditionell textindexering, men den här informationen är helt abstrakt. Utvecklare interagerar med ett enkelt API på hög nivå. När innehållet indexeras lagrar systemet inbäddningsvektorer (som samlar in semantisk betydelse) tillsammans med innehållsidentifierare. Sökbegäranden returnerar sedan identifierare baserat på antingen nyckelordsmatchningar eller semantisk likhet. Till exempel kan sökning efter "kattunge" returnera relaterad text om katter eller bilder av kattungar. Semantiska sökningar fungerar bäst med beskrivande fraser, så en fråga som "katter som sitter på fönsterbrädor" är mer sannolikt att ge mycket relevanta resultat.

Indexet sparas på disken, så omindexering behövs inte vid varje appstart.

Semantisk och lexikal sökning

Internt använder ApplicationContentIndexer en kombination av traditionell textindexering och modern vektorbaserad sökning som drivs av inbäddningar. Den här informationen abstraheras bort – utvecklare behöver inte hantera inbäddningsmodeller, vektorlagring eller hämtningsinfrastruktur direkt.

Du kan köra frågor mot indexet med en oformaterad sträng. Sökfrågan kan returnera:

• Lexikala matchningar – exakta textmatchningar (inklusive text som finns i bilder).
• Semantisk matchning – innehåll som är liknande, även om orden inte är identiska.

En fråga för "kattunge" kan till exempel returnera en referens till:

• Textposter om katter, även om ordet "kattunge" inte uttryckligen nämns.
• Bilder som visuellt innehåller kattungar.
• Textinnehåll i bilder som innehåller "katt" eller ord med tillräcklig semantisk relevans.

Innehållstyper som stöds

ApplicationContentIndexer stöder tillägg av följande typer av innehåll:

• Text – oformaterat eller strukturerat textinnehåll.
• Bilder – inklusive skärmbilder, foton eller bildfiler som innehåller text- eller igenkännliga visuella element.

Appdefinierade innehållsidentifierare

AppContentIndexer stöder apphanterat innehåll genom att tillåta appar att indexera objekt med appdefinierade innehållsidentifierare. Frågor returnerar dessa identifierare, som appen använder för att hämta det faktiska innehållet från sitt eget datalager.

Textfrågor returnerar AppManagedTextQueryMatch-objekt och bildfrågor returnerar AppManagedImageQueryMatch-objekt – båda innehåller endast ContentId, inte själva innehållet.

Information om hur du integrerar den här funktionen i din app och använder Api:et ApplicationContentIndexer finns i: Snabbstart: Innehållssökning för appar

Sekretess och säkerhet

Semantiska och lexikala index genereras för din app och lagras i appens lokala appdatamapp. Som en del av den privata förhandsversionen är den här funktionen avsedd för indexering av icke-känsligt programinnehåll. För bästa säkerhetsmetoder ska du inte använda den här funktionen för att indexering av användardata som kan innehålla personlig, konfidentiell eller känslig information.

Ansvarsfulla AI-överväganden

De semantiska indexerings- och sökfunktionerna i den här förhandsversionen tillämpar inte någon form av innehållsmoderering, och de försöker inte heller identifiera eller minimera semantisk bias som introduceras av de underliggande modellerna. Utvecklare ansvarar för att utvärdera och hantera potentiella risker vid implementering av AI-baserade funktioner.

Vi rekommenderar att du läser riktlinjerna för ansvarsfull generativ AI-utveckling i Windows för bästa praxis när du skapar AI-upplevelser i din app.