Tudástár az Azure AI Searchben

  • Cikk

A tudástár az Azure AI Searchben egy készségkészlet által létrehozott, AI-dúsított tartalom másodlagos tárolója. Az Azure AI Searchben az indexelési feladatok mindig a keresési indexnek küldik a kimenetet, de ha egy indexelőhöz csatol egy képességkészletet, igény szerint AI-dúsított kimenetet is küldhet egy tárolóba vagy táblába az Azure Storage-ban. A tudástárak használhatók független elemzésekhez vagy alsóbb rétegbeli feldolgozáshoz olyan nem keresési forgatókönyvekben, mint a tudásbányászat.

Az indexelés két kimenete, a keresési index és a tudástár kölcsönösen kizárja ugyanannak a folyamatnak a termékeit. Ezek ugyanazokból a bemenetekből származnak, és ugyanazokat az adatokat tartalmazzák, de a tartalmuk strukturált, tárolt és különböző alkalmazásokban használatos.

Pipeline with skillset

Fizikailag a tudástár az Azure Storage, az Azure Table Storage, az Azure Blob Storage vagy mindkettő. Az Azure Storage-hoz csatlakozni képes bármely eszköz vagy folyamat felhasználhatja a tudástár tartalmát. Az Azure AI Search nem támogatja a tartalom tudásbázisból való lekérését.

Ha az Azure Portalon keresztül tekinti meg, a tudástár úgy néz ki, mint bármely más tábla-, objektum- vagy fájlgyűjtemény. Az alábbi képernyőképen egy három táblából álló tudástár látható. Az elnevezési konvenciók, például az kstore előtagok együttes használata lehetővé teszi a tartalom egymással való megőrzését.

Skills read and write from enrichment tree

A tudástár előnyei

A tudástárak elsődleges előnyei a kétirányúak: a tartalomhoz való rugalmas hozzáférés és az adatok alakításának képessége.

Az Azure AI Searchben lekérdezéseken keresztül elérhető keresési indexekkel ellentétben a tudástár minden olyan eszköz, alkalmazás vagy folyamat számára elérhető, amely támogatja az Azure Storage-kapcsolatok használatát. Ez a rugalmasság új forgatókönyveket nyit meg a bővítési folyamat által létrehozott elemzett és gazdagított tartalom felhasználásához.

Ugyanaz a képességkészlet, amely az adatokat bővíti, az adatok alakítására is használható. Egyes eszközök, például a Power BI jobban működnek a táblákkal, míg az adatelemzési számítási feladatok összetett adatstruktúrát igényelhetnek blobformátumban. Ha alakzatkezelő képességet ad hozzá egy készségkészlethez, szabályozhatja az adatok alakját. Ezután továbbíthatja ezeket az alakzatokat a kivetítéseknek, akár tábláknak, akár bloboknak, hogy olyan fizikai adatstruktúrákat hozzon létre, amelyek igazodnak az adatok rendeltetésszerű használatához.

Az alábbi videó mindkét előnyt ismerteti.

Tudástár definíciója

A tudástár egy képességkészlet-definícióban van definiálva, és két összetevőből áll:

  • Kapcsolati sztring az Azure Storage-ba

  • Előrejelzések, amelyek meghatározzák , hogy a tudástár táblákból, objektumokból vagy fájlokból áll-e. A vetületi elem egy tömb. Több tábla-objektum-fájl kombinációt is létrehozhat egy tudástárban.

    "knowledgeStore": {
    "storageConnectionString":"<YOUR-AZURE-STORAGE-ACCOUNT-CONNECTION-STRING>",
    "projections":[
       {
          "tables":[ ],
          "objects":[ ],
          "files":[ ]
       }
    ]
}

Az ebben a struktúrában megadott előrejelzési típus határozza meg a tudástár által használt tároló típusát, struktúráját azonban nem. A táblákban, objektumokban és fájlokban lévő mezőket a Shaper készségkimenete határozza meg, ha programozott módon hozza létre a tudástárat, vagy ha a portált használja, az Adatok importálása varázsló.

  • tables gazdagított tartalom a Table Storage-ba való kivetítésében. Táblavetület definiálása, ha táblázatos jelentéskészítési struktúrákra van szüksége az elemzési eszközök bemeneteihez, vagy adatkeretekként más adattárakba való exportáláshoz. Ugyanazon a kivetítőcsoporton belül több tables is megadható a bővített dokumentumok részhalmazának vagy keresztmetszetének lekéréséhez. Ugyanazon a vetületcsoporton belül a táblakapcsolatok megmaradnak, így mindegyikkel dolgozhat.

    A tervezett tartalom nincs összesítve vagy normalizálva. Az alábbi képernyőképen egy táblázat látható, kulcskifejezések szerint rendezve, és a szülődokumentum a szomszédos oszlopban van feltüntetve. Az indexelés során végzett adatbetöltéssel ellentétben nincs nyelvi elemzés vagy tartalomösszesítés. A többes számú űrlap és a casing különbségei egyedi példányoknak minősülnek.

    Screenshot of key phrases and documents in a table

  • objects projekt JSON-dokumentuma a Blob Storage-ba. A fizikai ábrázolás object egy hierarchikus JSON-struktúra, amely egy bővített dokumentumot jelöl.

  • files projektképfájlokat a Blob Storage-ba. Az A file egy dokumentumból kinyert kép, amely sértetlenül kerül át a Blob Storage-ba. Bár a neve "files", a Blob Storage-ban jelenik meg, nem a fájltárolóban.

Tudástár létrehozása

Tudástár létrehozásához használja a portált vagy egy API-t.

Szüksége lesz az Azure Storage-ra, egy készségkészletre és egy indexelőre. Mivel az indexelőknek keresési indexre van szükségük, indexdefiníciót is meg kell adnia.

A portál megközelítésével a leggyorsabb út egy kész tudástárba. Vagy válassza a REST API-t az objektumok definiálásának és összekapcsolásának mélyebb megértéséhez.

Az Adatok importálása varázslóval négy lépésben hozhatja létre az első tudástárat.

  1. Definiáljon egy adatforrást, amely tartalmazza a bővíteni kívánt adatokat.

  2. Definiáljon egy készségkészletet. A készségkészlet a bővítés lépéseit és a tudástárat határozza meg.

  3. Indexséma definiálása. Lehet, hogy nincs szüksége rá, de az indexelőknek szükségük van rá. A varázsló indexet tud következtetni.

  4. Végezze el a varázsló lépéseit. Az adatkinyerés, a bővítés és a tudástár létrehozása ebben az utolsó lépésben történik.

A varázsló számos feladatot automatizál. Konkrétan a formázás és a kivetítések (az Azure Storage fizikai adatstruktúráinak definíciói) is létrejönnek.

Csatlakozás alkalmazásokkal

Ha a gazdagított tartalom már létezik a tárolóban, az Azure Storage-hoz csatlakozó bármely eszköz vagy technológia felhasználható a tartalom feltárására, elemzésére vagy felhasználására. A következő lista egy kezdet:

Tartalom életciklusa

Minden alkalommal, amikor az indexelőt és a készségkészletet futtatja, a tudástár frissül, ha a képességkészlet vagy a mögöttes forrásadatok megváltoztak. Az indexelő által észlelt módosítások a bővítési folyamaton keresztül kerülnek propagálásra a tudástárban lévő előrejelzésekre, biztosítva, hogy a tervezett adatok a forrásból származó adatforrás tartalmának aktuális ábrázolása legyen.

Feljegyzés

Bár szerkesztheti az adatokat a kivetítésekben, a módosítások felülíródnak a következő folyamathívásban, feltéve, hogy a forrásadatokban lévő dokumentum frissül.

A forrásadatok változásai

A változáskövetést támogató adatforrások esetében az indexelő új és módosított dokumentumokat dolgoz fel, és megkerüli a már feldolgozott dokumentumokat. Az időbélyeg információi adatforrásonként eltérőek, de egy blobtárolóban az indexelő megvizsgálja a lastmodified dátumot, hogy megállapítsa, mely blobokat kell betöltődni.

Képességkészlet módosítása

Ha módosít egy készségkészletet, engedélyeznie kell a bővített dokumentumok gyorsítótárazását, hogy lehetőség szerint újra felhasználhassa a meglévő bővítéseket.

Növekményes gyorsítótárazás nélkül az indexelő mindig a magas vízjel sorrendjében dolgozza fel a dokumentumokat, visszalépés nélkül. Blobok esetén az indexelő a blobokat rendezve lastModifieddolgozza fel, függetlenül az indexelő beállításaiban vagy a képességkészletben bekövetkezett változásoktól. Ha módosít egy készségkészletet, a korábban feldolgozott dokumentumok nem frissülnek az új készségkészletnek megfelelően. A képességkészlet módosítása után feldolgozott dokumentumok az új készségkészletet használják, ami azt eredményezi, hogy az indexdokumentumok a régi és az új készségkészletek kombinációját jelentik.

Növekményes gyorsítótárazással és a képességkészlet frissítését követően az indexelő újra felhasználja a képességkészlet módosítása által nem érintett bővítéseket. A felsőbb rétegbeli gazdagítások a gyorsítótárból lesznek lekértek, valamint minden olyan dúsítás, amely független és el van különítve a megváltozott képességtől.

törlések

Bár egy indexelő struktúrákat és tartalmakat hoz létre és frissít az Azure Storage-ban, nem törli őket. Az előrejelzések akkor is léteznek, ha az indexelőt vagy a készségkészletet törölték. A tárfiók tulajdonosaként törölnie kell egy előrejelzést, ha már nincs rá szükség.

Következő lépések

A Tudástár a bővített dokumentumok megőrzését kínálja, amelyek hasznosak lehetnek egy készségkészlet tervezésekor, vagy új struktúrák és tartalmak létrehozása a használatukhoz bármely olyan ügyfélalkalmazás számára, amely képes hozzáférni egy Azure Storage-fiókhoz.

A bővített dokumentumok létrehozásának legegyszerűbb módszere a portálon keresztül történik, de a REST-ügyfél és a REST API-k részletesebb betekintést nyújtanak az objektumok létrehozásának és programozott módon történő hivatkozásának módjába.

Tudástár létrehozása a REST használatával