Ezt a böngészőt már nem támogatjuk.
Frissítsen a Microsoft Edge-re, hogy kihasználhassa a legújabb funkciókat, a biztonsági frissítéseket és a technikai támogatást.
Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
Ez a cikk architektúramintákat és referenciaarchitektúrákat biztosít az AI-számítási feladatok tervezéséhez, üzembe helyezéséhez és szabályozásához Azure. Ismerteti a biztonságos, skálázható és jól szabályozott AI-rendszerek létrehozásához szükséges alapvető összetevőket, interakciókat és ajánlott eljárásokat.
Ezt az architektúramintát használja alapkonfigurációként az AI-számítási feladatok tervezésekor. Kezdje a mintában látható alapvető összetevőkkel és interakciókkal, majd alakítsa át őket az üzleti célokhoz, a technikai korlátozásokhoz és a kockázati helyzethez.
Egy szervezet például egy vállalati AI-segédalkalmazást szeretne létrehozni, amely lehetővé teszi, hogy az alkalmazottak kérdéseket tegyenek fel a belső dokumentumokkal és a működési adatokkal kapcsolatban. Amikor egy felhasználó kérdést tesz fel, az alkalmazás kitalálja, hogy milyen adatokra van szükség, lekéri a releváns környezetet, és meghívja a megfelelő modellt egy megalapozott válasz létrehozásához. Ehhez olyan adatfolyamra van szükség, amely megtisztítja, kibővíti és indexeli a belső dokumentumokat, hogy az asszisztens megbízható, naprakész kontextust nyerhessen. Mint minden alkalmazás esetén, Well-Architected eljárásokkal is megbízható, biztonságos és költségoptimalizált alkalmazásokat használhat.
Bár ez az AI-asszisztens egy adott üzleti forgatókönyvet jelöl, az azt követő architektúraminta elég általános ahhoz, hogy számos hasonló tulajdonságokkal rendelkező AI-használati esethez alkalmazkodjon.
Ez a cikk végigvezeti azon az általános mintán, amely alapszintű ismereteket hoz létre az AI-számítási feladatok alapvető összetevőiről, funkcióiról és interakcióiról. Ezzel az alapokkal megalapozott tervezési döntéseket hozhat robusztus AI-megoldások létrehozásához, miközben testre szabja az architektúrát az adott használati esetnek megfelelően.
Ez az ábra az AI-számítási feladatok tervezésében használható főbb összetevőket mutatja be.
| Komponens | Description |
|---|---|
| Adatfeldolgozás és elemzés | Gyűjtse össze a különböző forrásokból származó nyers adatokat, tisztítsa meg, alakítsa át és rendszerezze őket modellbetanításra, finomhangolásra és földelésre kész adathalmazokba. Ez a réteg nem kommunikál közvetlenül a felhasználókkal, de lehetővé teszi a pontos és hatékony AI-interakciókat az alsóbb rétegben. |
| Modell betanítása és finomhangolása | Modellek betanítása az adatokon, verziók nyomon követése és teljesítmény monitorozása megismételhető folyamaton keresztül. Az MLOps-eljárásokkal folyamatosan fejleszthet, ahogy új adatok érkeznek, és igazodik az üzleti igényekhez. |
| Intelligens AI-alkalmazások | Itt kommunikálnak a felhasználók az AI-vel. Az előre betanított modelleket az alkalmazáslogikával kombinálva megtalálja a megfelelő információkat, kidolgozza az utasításokat, felületeket hoz létre, és tanul a visszajelzésekből. |
| AI-eljárások és -folyamatok | Az AI-megoldás megbízhatóságának megőrzése a DevOps-alapelvek, a verziókövetés és az automatizált folyamatok MLOps-munkafolyamatokba való beépítésével. Iteratív telepítést végezzen fokozott biztonsági intézkedésekkel, és folyamatosan ellenőrizze a pontosságot, a teljesítményt és az elfogultságot. |
| Platformszolgáltatások és eszközök | Alapvető felhőszolgáltatások, amelyek biztosítják az erőforrásokat, szabályozják a költségeket, és figyelik a rendszer állapotát a fejlesztéstől az üzembe helyezésig. A CI/CD-folyamatok megbízható automatizáláshoz és speciális eszközökhöz használhatók az AI-kimenetek megfelelőségi vizsgálatához. |
Ez a szakasz két fő számítási feladatot ismertet: az intelligens alkalmazásterhelést, valamint a betanítási és finomhangolási számítási feladatokat. Minden számítási feladatnak saját tervezési szempontjai vannak az élettartam és az állapot, a elérés és a függőségek, a méretezhetőség és a rendelkezésre állás, valamint a biztonság és a felelős AI szempontjából.
Nem minden AI-számítási feladathoz van szükség betanításra és finomhangolási összetevőkre. Ha egyéni betanítás nélkül csak előre betanított modelleket használ, az intelligens alkalmazásterhelésre összpontosítson. Ha azonban a használati eset magában foglalja az egyéni modellek készítését vagy az új adatok folyamatos fejlesztését, a betanítás és a számítási feladatok finomhangolása elengedhetetlenné válik. Mindkét számítási feladat moduláris, így a tervezési szempontokban ismertetett ajánlott eljárásokat követve implementálhatja az adott használati eset szempontjából releváns összetevőket.
| Tervezési jellemző | Description |
|---|---|
| Élettartam és állapot |
Az élettartam az erőforrás meglétének és aktívságának várható időtartamát jelenti a számítási feladaton belül. Az állapot azokra az adatokra vagy információkra vonatkozik, amelyeket az erőforrás az idő függvényében tart fenn. |
| Elérés és függőségek |
A Reach azt jelenti, hogy egy erőforrásnak milyen mértékben kell akadálymentesnek vagy elosztottnak lennie. A függőségek a kapcsolatokra vonatkoznak, és más erőforrásokra támaszkodnak. |
| Méretezhetőség és rendelkezésre állás |
A méretezhetőség az erőforrás azon képessége, hogy kezelni tudja a megnövekedett terhelést vagy keresletet. A rendelkezésre állás az erőforrás működési és akadálymentességi képessége. |
| Biztonság és felelős AI |
A biztonság azokat az intézkedéseket jelenti, amelyek védik az adatokat, és biztosítják a szabályozásoknak való megfelelést. A felelős AI az etikai AI-t biztosító gyakorlatokra utal, beleértve a méltányosságot, az átláthatóságot és az elszámoltathatóságot. |
Ez az ábra az intelligens alkalmazás számítási feladatainak legfontosabb összetevőit mutatja be, hogy belefoglalja a tervezésbe.
| Komponens | Description |
|---|---|
| Ügyfélréteg | Az ügyfélréteg lehetővé teszi, hogy a felhasználók és a külső rendszerek csatlakozzanak az AI-hoz. Ez a réteg felveszi a kéréseket, és AI által generált válaszokat ad vissza, ugyanakkor gondoskodik arról, hogy a felhasználói élmény egyszerű és könnyen használható legyen. |
| Intelligenciaréteg – API | Az Intelligence Layer API jól definiált API-k segítségével hidalja át az ügyfeleket és a rendszer intelligenciafunkcióit. Feladata, hogy a kéréseket a megfelelő ügynökhöz vagy vezénylési folyamathoz irányítsa, biztosítva, hogy a felhasználók és a szolgáltatások közötti interakciók zökkenőmentesek és konzisztensek legyenek. Ez a réteg kezeli az adatok elérését, a biztonsági intézkedések életbe lépését, és korlátokat állít be a rendszer túlterhelésének megakadályozására. Ha egy alkalmazásnak csak egy egyszerű előrejelzésre van szüksége, ez a réteg kihagyhatja az összetett vezénylési lépéseket, és elküldheti a kérést közvetlenül a következtetési motornak a gyors válasz érdekében. |
| Intelligenciaréteg – vezénylés és ügynökszámítás | A vezénylés és az ügynök számítási rétege felelős a különböző AI-összetevők együttműködésének összehangolásáért az egyes feladatok elvégzéséhez. A szükségestől függően a feladatokat egymás után futtathatja, vagy több ügynök is dolgozhat egyszerre, majd egyesítheti az eredményeket. Meghatározza a felhasználói szándékot, ellenőrzi a válaszokat, hogy biztosan biztonságban legyenek, integrálható a tudásréteggel információkért, és eszközökkel kombinál mindent, és a legjobb választ adja. |
| Intelligenciaréteg – beszélgetések kezelése | A beszélgetéskezelési réteg a rendszer memória- és beszélgetéskezelője. Lehetővé teszi az AI-csevegést természetesen a korábbi üzenetek visszahívásával, a folyamatban lévő témakörök nyomon követésével és a fontos részek tárolásával a beszélgetésből, így a beszélgetések zökkenőmentesen folyhatnak a hosszú munkamenetek során is. Emellett gondoskodik a beszélgetési adatok őrzéséről vagy törléséről is, biztosítva, hogy az adatok felelősségteljesen legyenek kezelve. |
| Következtetési réteg – alap- vagy prediktív modellek | A következtetési rétegben egy betanított modell előrejelzéseket készít, tartalmat hoz létre, vagy a kapott információk alapján hoz döntéseket. A folyamat az AI-modell betöltésével, az adatok előkészítésével, az előrejelzések futtatásával, majd az eredmények formázásával kezdődik, hogy azok azonnal (valós időben) vagy később (kötegelt feldolgozás) elérhetők legyenek. |
| Tudásréteg | A tudásréteg az, ahol a rendszer pontosan megkapja a kérdések megválaszolásához szükséges információkat és kontextust. Gondoskodik arról, hogy az adatok biztonságosan, engedélyek és engedélyezés használatával legyenek elérhetők. A tudásréteg segít az AI-nek a RAG megközelítés követésében úgy, hogy az indexeken vagy vektoradatbázisokon keresztül keresve megkeresi a megfelelő tartalmat. Lehetővé teszi, hogy az AI konzisztens módon férhessen hozzá a különböző belső és külső adatforrásokhoz, akár MCP- vagy REST-protokollokon keresztül. |
| Eszközök réteg | Az eszközök rétegében elérhetőek az üzleti műveletek és a külső képességek. Az intelligenciaréteg aktiválhatja ezeket a műveleteket, vagy csatlakozhat más rendszerekkel az eszközök vagy ügynökök szabványosított meghívásával, függetlenül attól, hogy az MCP, az A2A vagy az OpenAPI/REST protokollon keresztül történik. Ezek a képességek végrehajtható lehetőségekként jelennek meg, készen állnak az intelligenciaréteg használatára, és közvetlenül a számítási feladat vagy külső szolgáltatások kezelhetik őket. |
Az intelligens alkalmazásprofil-architektúra tervezésekor vegye figyelembe az alábbi tervezési jellemzőket, hogy megalapozott döntéseket hozzon az összetevők tervezéséről és az interakciókról.
Az Intelligence API, a vezénylés, a következtetés és a tudásrétegek mind hosszú élettartamú szolgáltatások, amelyek a számítási feladatok teljes élettartama alatt futnak. Befektetés az egyes szolgáltatások rendelkezésre állásába, monitorozásába és működési kiválóságába.
Minden réteg más ütemben fejlődik, ezért szándékos üzembe helyezési koordinációra van szükség. Az Intelligence API lassan fejlődik, hogy stabil maradjon, és fenntartsa a visszamenőleges kompatibilitást. Az orkesztrációs és az ügynökrétegek gyorsabban fejlődnek, amikor új képességeket ad hozzá. Az új modellek üzembe helyezésekor a következtetési réteg frissül. A tudásréteg folyamatosan fejlődik az adatváltozások során.
Az állapot nélküli összetevők igény szerint lefoglalhatók vagy felszabadíthatók, míg az állapotalapú összetevők az interakciók során megmaradó adatokat kezelik.
Az Intelligence API, a vezénylés és a következtetési rétegek állapot nélküliek, ami további példányok hozzáadásával megkönnyíti a skálázást. Előfordulhat, hogy a vezénylési réteg rövid élettartamú állapotot tart fenn a végrehajtás során, de a kérések kezelésén túl nem tartja meg. A rövid élettartamú állapot csökkenti a működési összetettséget, de korlátozza a hibák helyreállítási lehetőségeit, ezért gondosan tervezzen újrapróbálkozásokhoz és idempotenciához.
A beszélgetéskezelési munkamenet adatai perctől napokig tarthatnak. A hosszabb munkamenetek gazdagabb beszélgetéseket tesznek lehetővé, de többe kerülnek, és növelik az adatvédelmi kockázatot. A tudásréteg olyan indexekben és adatbázisokban tárolja az adatokat, amelyek az információk hozzáadása, frissítése vagy eltávolítása során fejlődnek.
Kompromisszum. Az élettartam- és állapotkezelési döntések közvetlenül befolyásolják a költségeket, a megbízhatóságot és a teljesítményt. A hosszú élettartamú, állapotalapú összetevők nagyobb befektetést igényelnek a skálázásba és a rugalmasságba, míg az állapot nélküli, rövid élettartamú összetevők költséghatékonyabbak, de késést okozhatnak a hidegindítástól vagy a külső állapotlekéréstől.
Az Intelligence API az egyetlen nyilvánosan közzétett végpont az architektúrában, minden más belső marad. Több régióban is üzembe helyezheti, hogy a felhasználók közel maradjanak a végponthoz, és növelve a rugalmasságot.
A vezénylési réteg a központban helyezkedik el, a hálózaton belül működik, és koordinál minden olyan elemet, mint a beszélgetés állapota, a modellhívások, a tudáslekérés és az eszközhívás. Az itt előforduló hibák blokkolják a teljes rendszert, ezért tegye magas rendelkezésre állásúvá.
A következtetési réteg belsőleg, külső függőségek nélkül fut. A késés alacsonyan tartása érdekében helyezze üzembe a vezénylőhöz közel.
A tudás és az eszközök rétegei belsőek, de külső rendszerektől függhetnek. Ezek a külső függőségek késéseket vagy rendelkezésre állási problémákat okozhatnak, amelyek befolyásolják a válaszminőséget.
Az intelligens alkalmazás két skálázási mintával rendelkezik. Az állapot nélküli rétegek, mint például az API, az orchestration, és a következtetés további példányok hozzáadásával skálázhatók. Az adatrétegek, mint a beszélgetéskezelés és a tudás skálázása, az adatok több tárolón keresztüli terjesztésével skálázódnak olyan mechanizmusokat használva, mint az olvasási replikák, a particionálás és a sharding.
Az Intelligence API vertikálisan felskálázva kezeli a további kéréseket. Több zónában vagy régióban is üzembe helyezheti a jobb rendelkezésre állás és a felhasználók végponthoz közeli állapotban tartása érdekében.
A vezénylés és az ügynökszámítás a rendszer középpontjában helyezkedik el, ezért itt a hibák mindent blokkolnak. Adjon hozzá további példányokat, használjon terheléselosztást, és készen álljon a feladatátvételre, hogy az egyes példányok meghibásodása esetén a rendszer továbbra is futjon.
A következtetési réteg a modellek igényei alapján skálázható. Az igény növekedésével további GPU-kat tartalmazó példányokat lehet hozzáadni. Az infrastruktúra kódként (IaC) való használatával gyorsan újra létrehozhatja a környezeteket a helyreállítás során.
A beszélgetések kezelése az egyidejű felhasználók számával skálázható. A munkamenet-adatok rendelkezésre állásának megőrzéséhez használjon másolatokat és biztonsági másolatokat.
A tudásréteg mérete aszerint skálázható, hogy mennyi adata van, és hogy milyen gyakran kérdezik le. Hatékony indexelés és adatbázis-finomhangolás használata a válaszok gyors megőrzéséhez. Több helyen állíthat be másolatokat a rendelkezésre álláshoz.
Az intelligens alkalmazás minden rétege különböző kockázatokat hordoz, és saját vezérlőkre van szüksége. Az eszközök valós világban bekövetkező műveleteket indíthatnak el, a tudás formálja, mit tud az AI, és a következtetés hozza létre azokat a kimeneteket, amelyeket a felhasználók látnak. Korlátozza a hozzáférést minden rétegben, figyelje a történéseket, és győződjön meg arról, hogy elmagyarázhatja a döntések meghozatalának módját.
Az eszközök rétege hordozza a legnagyobb kockázatot, mert a műveletek valós következményekkel járhatnak, amelyek esetleg visszafordíthatatlanok. Magas kockázatú műveletekhez adjon hozzá emberi jóváhagyási lépéseket. Szigorú hitelesítés, minimális jogosultsági hozzáférés és adatvédelmi kényszerítés használata a jogosulatlan műveletek és a PII-kitettség megakadályozása érdekében. Az integráció előtt értékelje ki az összes eszközt, hogy a szabályozás túllépje a számítási feladatok határát.
A tudásrétegnek kiváló minőségű, elfogulatlan adatokra van szüksége a megbízható kimenetek létrehozásához. Biztonságossá teheti az adathozzáférést a megfelelő hitelesítéssel, engedélyezéssel és az adattárolási követelményeknek való megfeleléssel. Az írásvédett hozzáférés és a hálózatelkülönítés megakadályozza az adatok sérülését. Jegyezze fel, hogy mely források lettek lekérve az egyes válaszokhoz naplózási naplókon keresztül. Ez a folyamat lehetővé teszi a döntések magyarázatát és a problémák későbbi kivizsgálását.
A következtetési rétegnek csak az operatív szerepkörök és a vezénylési réteg identitása számára kell elérhetőnek lennie. A kimenetek monitorozása egy érvényesítési szolgáltatáson keresztül, amely ellenőrzi a toxicitást és más biztonsági problémákat. Mielőtt üzembe helyezné a modelleket, ellenőrizze azokat elfogultságok észlelésére, és legyenek készen a visszagörgetési mechanizmusok, ha problémák jelentkeznének az éles környezetben.
Ezek az alapkonfigurációs példák az AI-számítási feladatok ajánlott architektúrájaként szolgálnak.
Ezzel az architektúrával biztonságos, skálázható beszélgetési AI-megoldásokat hozhat létre és helyezhet üzembe Azure a Foundry, Azure OpenAI és más kapcsolódó szolgáltatások használatával. Hangsúlyozza a privát hálózatkezelést, a zónaredundanciát és a szigorú biztonsági ellenőrzéseket a megfelelőség és a vállalati felkészültség biztosítása érdekében.
Ez az architektúra a Microsoft Foundry Chat kialakítására épül, és biztonságos Azure célzónában helyezi el. A kulcsösszetevőket ( Foundry Agent Service, Azure OpenAI és App Service) egy privát, hálózat által elkülönített környezetben egyesíti. Minden szolgáltatás privát végpontokon keresztül csatlakozik, és Azure Firewall védi, a magas rendelkezésre állás érdekében zónaredundanciával.
Használja ezt az architektúrát referenciaként egy egységes adatplatform tervezésekor, amely leegyszerűsíti a teljes elemzési életciklust.
Tekintse át az intelligens alkalmazásforgatókönyvek tervezésének ajánlott eljárásait.
