Nápady na řešení
Tento článek popisuje myšlenku řešení. Váš cloudový architekt může pomocí těchto pokynů vizualizovat hlavní komponenty pro typickou implementaci této architektury. Tento článek slouží jako výchozí bod k návrhu dobře navrženého řešení, které odpovídá konkrétním požadavkům vaší úlohy.
Tento článek popisuje, jak pomocí zpracování obrázků, zpracování přirozeného jazyka a vlastních dovedností zachytit data specifická pro doménu. Tato data můžete použít k obohacení textu a obrázků dokumentů. Začlenění služby Azure AI Search s rozšiřováním AI, které vám pomůže identifikovat a prozkoumat relevantní obsah ve velkém měřítku. Toto řešení využívá rozšiřování AI k extrakci významu z původní komplexní nestrukturované datové sady JFK Assassination Records (JFK Files).
Architektura
Stáhněte si soubor aplikace Visio s touto architekturou.
Tok dat
Následující tok dat odpovídá předchozímu diagramu. Tok dat popisuje, jak nestrukturovaná datová sada souborů JFK prochází kanálem dovedností vyhledávání AI za účelem vytvoření strukturovaných a indexovatelných dat.
Nestrukturovaná data ve službě Azure Blob Storage, jako jsou dokumenty a obrázky, se ingestují do služby AI Search.
Pokud chcete zahájit proces indexování, krok prolomení dokumentu extrahuje obrázky a text z dat a pak obsah rozšiřuje. Kroky rozšiřování v tomto procesu závisí na datech a typech dovedností, které vyberete.
Integrované dovednosti založené na rozhraních API azure AI Vision a Azure AI Language API poskytují obohacení umělé inteligence, jako je optické rozpoznávání znaků (OCR), analýza obrázků, překlad textu, rozpoznávání entit a fulltextové vyhledávání.
Scénáře podpory vlastních dovedností , které vyžadují složitější modely nebo služby umělé inteligence. Mezi příklady patří funkce Document Intelligence azure AI, modely Azure Machine Learning a Azure Functions.
Po dokončení procesu rozšiřování indexer uloží rozšířené a indexované dokumenty do indexu vyhledávání. Tento index může používat fulltextové vyhledávání a další formuláře dotazů.
Rozšířené dokumenty můžou také projektovat do úložiště znalostí, které podřízené aplikace, jako jsou aplikace pro dolování znalostí nebo aplikace pro datové vědy, mohou používat.
Dotazy přistupují k rozšířenému obsahu v indexu vyhledávání. Index podporuje vlastní analyzátory, přibližné vyhledávací dotazy, filtry a profil bodování pro vyladění relevance vyhledávání.
Aplikace, které se připojují ke službě Blob Storage nebo k Azure Table Storage, mají přístup k úložišti znalostí.
Komponenty
Toto řešení používá následující komponenty Azure.
Vyhledávání AI
AI Search indexuje obsah a využívá uživatelské prostředí v tomto řešení. AI Search můžete použít k použití předem připravených dovedností AI na obsah. Pomocí mechanismu rozšiřitelnosti můžete také přidat vlastní dovednosti, které poskytují specifické transformace rozšiřování.
Azure AI Vision
Zpracování obrazu používá rozpoznávání textu k extrakci a rozpoznávání textových informací z obrázků. Rozhraní API pro čtení používá nejnovější modely rozpoznávání OCR a je optimalizované pro velké dokumenty náročné na text a hlučné obrázky.
Starší rozhraní API OCR není optimalizované pro velké dokumenty, ale podporuje více jazyků. Přesnost výsledků OCR se může lišit v závislosti na kvalitě skenování a obrázku. Toto řešení používá OCR k vytváření dat ve formátu hOCR.
Jazyk
Jazyk používá funkce analýzy textu, jako je rozpoznávání pojmenovaných entit a extrakce klíčových frází k extrakci textových informací z nestrukturovaných dokumentů.
Azure Storage
Blob Storage je úložiště objektů založené na REST pro data, ke kterým máte přístup odkudkoli na světě prostřednictvím protokolu HTTPS. Pomocí služby Blob Storage můžete veřejně zpřístupnit data světu nebo soukromě ukládat data aplikací. Blob Storage je ideální pro velké objemy nestrukturovaných dat, jako je text nebo grafika.
Table Storage ukládá vysoce dostupná, škálovatelná, strukturovaná a částečně strukturovaná data NoSQL v cloudu.
Azure Functions
Functions je bezserverová výpočetní služba, kterou můžete použít ke spouštění malých částí kódu aktivovaného událostí, aniž byste museli explicitně zřizovat nebo spravovat infrastrukturu. Toto řešení používá metodu Functions k použití kryptografického seznamu cia (Central Intelligence Agency) na soubory JFK jako vlastní dovednosti.
Azure App Service
Toto řešení sestaví samostatnou webovou aplikaci ve službě Aplikace Azure, která bude testovat, předvádět a prohledávat index a zkoumat připojení v obohacených a indexovaných dokumentech.
Podrobnosti scénáře
Velké, nestrukturované datové sady můžou obsahovat psané a rukou psané poznámky, fotky, diagramy a další nestrukturovaná data, která standardní vyhledávací řešení nemohou analyzovat. Soubory JFK obsahují více než 34 000 stránek dokumentů o vyšetřování CIA v roce 1963 JFK vraždy.
Rozšíření AI ve službě AI Search můžete použít k extrakci a vylepšení prohledávatelného, indexovatelného textu z obrázků, objektů blob a dalších nestrukturovaných zdrojů dat, jako jsou soubory JFK. Rozšiřování AI využívá předem natrénované sady dovedností strojového učení ze služeb Azure AI Vision a Language API. Můžete také vytvořit a připojit vlastní dovednosti pro přidání speciálního zpracování pro data specifická pro doménu, jako je CIA cryptonyms. AI Search pak může tento kontext indexovat a prohledávat.
Dovednosti vyhledávání AI v tomto řešení je možné kategorizovat do následujících skupin:
Zpracování obrázků: Toto řešení používá integrované dovednosti extrakce textu a analýzy obrázků, včetně rozpoznávání objektů a tváří, generování značek a titulků a identifikace celebrit a orientačních bodů. Tyto dovednosti vytvářejí textové reprezentace obsahu obrázků, které můžete prohledávat pomocí možností dotazů vyhledávání AI. Prolomení dokumentu je proces extrakce nebo vytváření textového obsahu z netextových zdrojů.
Zpracování přirozeného jazyka: Toto řešení používá integrované dovednosti, jako je rozpoznávání entit, rozpoznávání jazyka a extrakce klíčových frází, které mapuje nestrukturovaný text na prohledávatelná a filtrovatelná pole v indexu.
Vlastní dovednosti: Toto řešení používá vlastní dovednosti, které rozšiřují AI Search, aby na obsah použily specifické transformace rozšiřování. Rozhraní pro vlastní dovednost můžete zadat prostřednictvím vlastní dovednosti webového rozhraní API.
Potenciální případy použití
Ukázkový projekt JFK Files a online ukázka představuje konkrétní případ použití AI Search. Cílem tohoto řešení není architektura ani škálovatelná architektura pro všechny scénáře. Místo toho tato myšlenka řešení poskytuje obecné pokyny a příklad. Projekt kódu a ukázka vytvoří veřejný web a veřejně čitelný kontejner úložiště pro extrahované obrázky, takže toto řešení byste neměli používat s nepublikovanými daty.
Tuto architekturu můžete použít také k:
Zvyšte hodnotu a nástroj nestrukturovaného textu a obsahu obrázků ve vyhledávacích aplikacích a aplikacích pro datové vědy.
Využijte vlastní dovednosti k integraci opensourcového kódu, kódu jiného než Microsoftu nebo kódu Microsoftu do kanálů indexování.
Naskenované dokumenty JPG, PNG nebo bitmapy umožňují fulltextové vyhledávání.
Vygenerujte lepší výsledky než standardní extrakce textu PDF pro soubory PDF s kombinovaným obrázkem a textem. Některé naskenované a nativní formáty PDF nemusí ve vyhledávání AI správně parsovat.
Vytvářejte nové informace ze ze své podstaty smysluplného nezpracovaného obsahu nebo kontextu, který je skrytý ve velkých, nestrukturovaných dokumentech nebo částečně strukturovaných dokumentech.
Přispěvatelé
Tento článek spravuje Microsoft. Původně byl napsán následujícím přispěvatelem.
Hlavní autor:
- Carlos Alexandre Santos | Senior Specialized AI Cloud Solution Architect
Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.
Další kroky
Další informace o tomto řešení:
Přečtěte si dokumentaci k produktu:
- Rozšiřování AI ve vyhledávání AI
- Co je Vision?
- Co je jazyk?
- Co je OCR?
- Co je rozpoznávání pojmenovaných entit v jazyce?
- Úvod do služby Blob Storage
- Úvod ke službě Functions
Vyzkoušejte studijní program: