Přehled vyhledávání obsahu aplikace

Funkce Vyhledávání obsahu aplikací povolená rozhraními API pro Windows AI umožňuje vývojářům aplikací integrovat inteligentní funkce vyhledávání do svých aplikací pro Windows pomocí rozhraní API AppContentIndexer . Indexováním obsahu v aplikaci a jeho vyhledáváním prostřednictvím sémantických dotazů můžou uživatelé načítat výsledky nejen na základě přesných klíčových slov, ale také sémantického významu. Pomocí tohoto sémantického indexu můžete vylepšit své vlastní asistenty AI pomocí znalostí specifických pro konkrétní doménu a vytvářet přizpůsobenější kontextové prostředí.

Pomocí tohoto rozhraní API můžete:

• Vytvářejte prostředí vyhledávání v aplikaci, která používají sémantické i lexikální vyhledávání. Uživatelé můžou vyhledávat podle významu, kromě přesných shod klíčových slov, což usnadňuje vyhledání relevantních informací.

• Podpora Retrieval-Augmented generování (RAG) umožněním místního vyhledávání znalostí. Při spárování s velkým jazykovým modelem (LLM) můžete načíst nejrelevavantnější obsah ze znalostní báze vaší aplikace a vygenerovat přesnější odpovědi s podporou kontextu.

Rozhraní API ApplicationContentIndexer je aktuálně k dispozici pouze v sadě Windows App SDK verze 2.0 Experimentální 2.

Otevřete AI Dev galerii a vyzkoušejte hledání obsahu aplikace

Aplikace AI Dev Gallery nabízí interaktivní ukázku rozhraní API AppContentIndexer, která umožňuje experimentovat s funkcí Vyhledávání obsahu aplikace. Přečtěte si další informace o galerii AI Pro vývojáře, včetně toho, jak nainstalovat z Microsoft Storu nebo ze zdrojového kódu na GitHubu.

Co je rozhraní API AppContentIndexer?

Rozhraní API AppContentIndexer umožňuje aplikacím prohledávat obsah textu a obrázku pomocí vyhledávání založeného na klíčových slovech (lexikálních) i významových (sémantických) – aniž by vývojáři museli porozumět základní složitosti.

Na pozadí používá pokročilé techniky, jako jsou vkládání vektorů, vektorových databází a tradiční indexování textu, ale tyto podrobnosti jsou plně abstrahované. Vývojáři pracují s jednoduchým rozhraním API vysoké úrovně. Při indexování obsahu systém ukládá vložené vektory (které zachycují sémantický význam) spolu s identifikátory obsahu. Požadavky hledání pak vrátí identifikátory na základě shody klíčových slov nebo sémantické podobnosti. Hledání "kotě" může například vrátit související text o kočkách nebo obrázcích kotě. Sémantické vyhledávání funguje nejlépe s popisnými frázemi, takže dotaz jako "kočky sedící na oknech" je pravděpodobnější, že vytvoří vysoce relevantní výsledky.

Index je trvalý na disku, takže při každém spuštění aplikace není potřeba znovu indexovat.

Sémantické a lexikální vyhledávání

ApplicationContentIndexer interně používá kombinaci tradičního indexování textu a moderního vektorového vyhledávání založeného na vkládání. Tyto podrobnosti jsou abstrahovány – vývojáři nemusí přímo spravovat vložené modely, vektorové úložiště ani infrastrukturu pro načítání.

Index můžete dotazovat pomocí prostého řetězce. Dotaz může vrátit:

• Lexikální shody – přesné textové shody (včetně textů nalezených v obrázcích)
• Sémantické shody – obsah, který je podobný významu, i když slova nejsou identická.

Například dotaz na "kotě" může vrátit odkaz na:

• Textové položky o kočkách, i když není výslovně uvedeno slovo "kotě".
• Obrázky, které vizuálně obsahují kotě.
• Textový obsah v obrázcích, které obsahují slova cat nebo slova s dostatečnou sémantickou relevanci.

Podporované typy obsahu

ApplicationContentIndexer podporuje přidání následujících typů obsahu:

• Text – obsah prostého nebo strukturovaného textu
• Obrázky – včetně snímků obrazovky, fotek nebo souborů obrázků, které obsahují text nebo rozpoznatelné vizuální prvky.

Identifikátory obsahu definované aplikací

AppContentIndexer podporuje obsah spravovaný aplikací tím, že umožňuje aplikacím indexovat položky pomocí identifikátorů obsahu definovaných aplikací. Dotazy vrátí tyto identifikátory, které aplikace používá k načtení skutečného obsahu z vlastního úložiště dat.

Textové dotazy vracejí objekty AppManagedTextQueryMatch a dotazy obrázků vracejí objekty AppManagedImageQueryMatch – oba zahrnují pouze ContentId, nikoli samotný obsah.

Pokyny k integraci této funkce do aplikace a použití rozhraní API ApplicationContentIndexer najdete v tématu: Rychlý start: Vyhledávání obsahu aplikace

Ochrana osobních údajů a zabezpečení

Sémantické a lexikální indexy se generují jménem vaší aplikace a ukládají se do místní složky dat aplikace. V rámci verze Private Preview je tato funkce určená k indexování obsahu necitlivých aplikací. V případě osvědčených postupů zabezpečení tuto funkci nepoužívejte k indexování uživatelských dat, která mohou obsahovat osobní, důvěrné nebo citlivé informace.

Důležité informace o zodpovědné umělé inteligenci

Sémantické indexování a možnosti vyhledávání v této verzi Preview nepoužívají žádnou formu moderování obsahu, ani se nepokouší detekovat nebo zmírnit sémantické předsudky zavedené podkladovými modely. Vývojáři zodpovídají za vyhodnocení a správu potenciálních rizik při implementaci funkcí využívajících AI.

Doporučujeme projít si pokyny k zodpovědnému vývoji umělé inteligence pro Windows pro osvědčené postupy při vytváření prostředí umělé inteligence ve vaší aplikaci.