Bevezetés a Databricks generatív AI-alkalmazásaiba

A Mozaik AI az egyszerű és összetett AI-alkalmazásokat is támogatja, a Retrieveal Augmented Generation (RAG) csevegőrobotoktól az eszközhívó ügynökökig. Megismerheti a gen AI-alkalmazások és -ügynökrendszerek alapvető fogalmait, megismerheti a gyakori tervezési mintákat, és gyakorlati útmutatókat kaphat a gen AI-alkalmazások létrehozásához, kiértékeléséhez és méretezéséhez.

A generatív AI alkalmazások fogalmainak megismerése

Ismerkedjen meg az AI-alkalmazások alapfogalmaival.

• Mik azok a gen AI-alkalmazások?

Megtudhatja, hogyan oldja meg a Mozaik AI a gen AI fejlesztése során felmerülő legfontosabb kihívásokat.

• AI-alkalmazások létrehozása során jelentkező főbb kihívások
• Mozaik AI-képességek a generatív AI-alkalmazásokhoz

Próbálja ki generatív AI-alkalmazások létrehozását a Mozaik AI használatával

Ismerkedés a következő jegyzetfüzet-oktatóanyagokkal:

• Az első AI-ügynök létrehozása és üzembe helyezése az Agent Framework használatával
• AI-ügynök kiértékelése ügynökértékeléssel

Ha készen áll a nagyobb összetettségre, tekintse meg a speciális útmutatókat és oktatóanyagokat:

• Végponttól végpontig terjedő RAG útmutató
• ügynökrendszer tervezési mintái
• Generative AI-alkalmazás fejlesztői munkafolyamata

Mik azok a gen AI-alkalmazások?

A gen AI-alkalmazások olyan alkalmazások, amelyek generatív AI-modelleket (például LLM-eket, képgenerálási modelleket és szövegfelolvasási modelleket) használnak új kimenetek létrehozásához, összetett feladatok automatizálásához vagy a felhasználói bemeneten alapuló intelligens interakciókhoz. Bár a gen AI-alkalmazások különböző modelleket használhatnak, ez az útmutató az LLM-alapú alkalmazásokra összpontosít.

Bár az LLM-alapú, generációs AI-alkalmazások különböző módokon hozhatók létre, általában két architekturális minta egyikébe tartoznak:

	1. típus: Monolitikus LLM + prompt	2. típus (ajánlott): Ügynökrendszer
Mi az?	Egyetlen LLM gondosan megtervezett utasításokkal.	Több interakciós összetevő (LLM-hívások, lekérések, API-hívások) vezénylése – az egyszerű láncoktól a kifinomult többügynök-rendszerekig.
példahasználati eset	Tartalombesorolás: Az ügyfélszolgálati jegyek előre meghatározott témakörökbe való kategorizálása LLM használatával.	Intelligens asszisztens: Dokumentumlekérés, több LLM-hívás és külső API kombinálása átfogó jelentések kutatásához, elemzéséhez és létrehozásához.
a legjobb számára	Egyszerű, koncentrált feladatok, gyors prototípusok és világos, jól definiált kérések.	Összetett munkafolyamatok, több képességet igénylő feladatok és az előző lépésekre való gondolkodást igénylő feladatok.
főbb előnyök	Egyszerűbb megvalósítás, gyorsabb fejlesztés és alacsonyabb üzemeltetési összetettség.	Megbízhatóbb és karbantarthatóbb, jobb szabályozás és rugalmasság, egyszerűbb tesztelés és ellenőrzés, valamint összetevőszintű optimalizálás.
Korlátozások	Kevésbé rugalmas, nehezebben optimalizálható és korlátozott funkciók.	Összetettebb implementáció, több kezdeti beállítás és összetevő-koordináció szükséges.

A legtöbb nagyvállalati használati esetben a Databricks ügynökrendszert javasol. Ha a rendszereket kisebb, jól definiált összetevőkre bontja, a fejlesztők jobban kezelhetik az összetettségeket, miközben magas szintű ellenőrzést és megfelelőséget igényelnek a vállalati alkalmazásokhoz.

A Mozaik AI olyan eszközökkel és képességekkel rendelkezik, amelyek monolitikus rendszerekhez és ügynökrendszerekhez egyaránt működnek, és a dokumentáció többi része a gen AI-alkalmazások mindkét típusát ismerteti.

Az ügynökrendszerek és a monolitikus modellek mögötti elméletről a Databricks-alapítók blogbejegyzéseit tekintheti meg:

• AI-ügynök rendszer: Moduláris tervezés megbízható vállalati AI-alkalmazásokhoz
• Váltás modellekről összetett AI-rendszerekre

Mi az ügynökrendszer?

Az ügynökrendszer egy AI-alapú rendszer, amely képes önállóan észlelni, eldönteni és cselekedni egy környezetben a célok elérése érdekében. A különálló LLM-ekkel ellentétben, amelyek csak akkor állítanak elő kimenetet, amikor a rendszer kéri, az ügynökrendszer bizonyos fokú ügynökségirendelkezik. A modern LLM-alapú ügynökrendszerek az LLM-et használják "agyként" a környezet értelmezéséhez, a teendők okának értelmezéséhez, valamint olyan műveletek kiadásához, mint az API-hívások, a lekérési mechanizmusok és az eszközök meghívása a feladatok elvégzéséhez.

Az ügynökrendszer egy olyan rendszer, amelynek középpontjában egy LLM áll. Ez a rendszer:

1. Felhasználói kéréseket vagy üzeneteket fogad egy másik ügynöktől.
2. A folytatás okai: mely adatokat kell beolvasni, melyik logikát kell alkalmazni, mely eszközöket kell meghívni, vagy hogy kér-e további bemenetet a felhasználótól.
3. Végrehajt egy tervet, és esetleg több eszközt vagy feladatot delegál alügynököknek.
4. Választ ad vissza, vagy további pontosítást kér a felhasználótól.

Az általános intelligencia (az LLM előre betanított képességei) és az adatintelligencia (a vállalatra jellemző speciális ismeretek és API-k) áthidalásával az ügynökrendszerek lehetővé teszik a nagy hatású vállalati használati eseteket, például a fejlett ügyfélszolgálati folyamatokat, az adatgazdag elemzési robotokat és az összetett üzemeltetési feladatokhoz szükséges többügynök-vezénylést.

Mit tehet egy ügynökrendszer?

Az ügynökrendszer képes:

• Műveletek dinamikus megtervezése
• Állapot átvitele egyik lépésről a másikra
• Stratégiájának módosítása új információk alapján, folyamatos emberi beavatkozás nélkül

Ha egy önálló LLM kérés esetén utazási útvonaltervet ad ki, az ügynökrendszer az eszközök és API-k használatával lekérheti az ügyfelek adatait, és önállóan foglalhatja le a járatokat. Az LLM "általános intelligenciája" és a "adatintelligencia-" (tartományspecifikus adatok vagy API-k) kombinálásával az ügynökrendszerek képesek kezelni azokat a kifinomult vállalati használati eseteket, amelyeket egyetlen statikus modell megoldana.

Az ügynökség egy folyamatosság; minél nagyobb szabadságot biztosít a modelleknek a rendszer viselkedésének szabályozásához, annál ügynökibbé válik az alkalmazás. A gyakorlatban a legtöbb termelési rendszer gondosan korlátozza az ügynök autonómiáját, hogy biztosítsa a megfelelőséget és a kiszámíthatóságot, például úgy, hogy emberi jóváhagyást kér a kockázatos műveletekhez.

Általános intelligencia és adatintelligencia

• Általános intelligencia: Azt jelenti, amit az LLM eredendően tud a változatos szövegek széles körű előtanításából. Ez hasznos a nyelvi folyékonyság és az általános érvelés szempontjából.
• Adatintelligencia: A szervezet tartományspecifikus adataira és API-ira hivatkozik. Ilyenek lehetnek az egyedi üzleti környezetet tükröző ügyfélrekordok, termékinformációk, tudásbázisok vagy dokumentumok.

Az ügynökrendszerek ötvözik ezt a két perspektívát: az LLM széles körű, általános ismereteivel kezdődnek, majd valós idejű vagy tartományspecifikus adatokat hoznak létre a részletes kérdések megválaszolásához vagy speciális műveletek végrehajtásához.

Példa ügynökrendszer

Fontolja meg az ügyfél és a gen AI-ügynök közötti call center-forgatókönyvet:

Az ügyfél a következő kérést intézi: "Tud segíteni az utolsó megrendelésem visszaküldésében?"

1. Okok és tervek: A lekérdezés szándékát figyelembe véve az ügynök terve: "Keresse meg a felhasználó legutóbbi rendelését, és ellenőrizze a visszatérési szabályzatunkat."
2. Információk keresése (adatintelligencia): Az ügynök lekérdezi a rendelési adatbázist a vonatkozó rendelés lekéréséhez, és egy szabályzatdokumentumra hivatkozik.
3. Ok: Az ügynök ellenőrzi, hogy a rendelés megfelel-e a visszatérési ablakban.
   • Opcionális emberi beavatkozás: Az ügynök egy további szabályt ellenőriz: Ha az elem egy adott kategóriába tartozik, vagy a normál visszatérési időszakon kívül esik, továbbítja egy embernek.
4. Művelet: Az ügynök elindítja a visszaküldési folyamatot, és létrehoz egy szállítási címkét.
5. Ok: Az ügynök választ készít az ügyfél számára.

Az AI-ügynök a következő választ adja az ügyfélnek: "Kész! Itt van a szállítási címke..."

Ezek a lépések egy emberi ügyfélszolgáltatási közegben magától értetődőek. Egy ügynökrendszer kontextusában az LLM "érvel", miközben a rendszer speciális eszközöket vagy adatforrásokat hív meg a részletek kitöltésére.

Összetettségi szintek: LLM-től ügynökrendszerekig

Az AI-rendszerek létrehozásakor több összetettségi szint is előfordulhat.

• LLM-k (LLM + Prompt)

  • A különálló LLM egy hatalmas tanulási adatkészlet ismerete alapján reagál a szöveges utasításokra.
  • Egyszerű vagy általános lekérdezésekhez használható, de gyakran leválasztva a valós üzleti adatokról.

  

• szigorúan kódolt ügynökrendszer ("Lánc")

  • A fejlesztők determinisztikus, előre meghatározott lépéseket vezényelnek. A RAG-alkalmazások például mindig lekérhetők egy vektortárolóból, és kombinálhatják az eredményeket a felhasználói kéréssel.
  • A logika ki van javítva, és az LLM nem dönti el, hogy melyik eszközt hívja meg legközelebb.

  

• eszközhívó ügynökrendszer

  • Az LLM dönti el, hogy melyik eszközt és mikor használja futásidőben.
  • Ez a megközelítés támogatja a dinamikus, környezettudatos döntéseket arról, hogy mely eszközöket kell meghívni, például CRM-adatbázist vagy Slack-közzétételi API-t.

  

• többügynökű rendszerek

  • Több specializált ügynök, mindegyik saját funkcióval vagy tartománnyal rendelkezik.
  • A koordinátor (néha egy AI-felügyelő, néha szabályalapú) dönti el, hogy melyik ügynököt hívja meg minden lépésnél.
  • Az ügynökök átadhatják egymásnak a feladatokat, miközben megőrzik az általános beszélgetési folyamatot.

  

Bármilyen LLM-alapú alkalmazás létrehozásakor kezdjen egyszerűen. Összetettebb ügynöki viselkedést vezet be, ha valóban szüksége van rájuk a nagyobb rugalmasság vagy a modellalapú döntések érdekében. A determinisztikus láncok kiszámítható, szabályalapú folyamatokat kínálnak jól meghatározott feladatokhoz, míg az ügynöki megközelítések további összetettség és lehetséges késés árán jönnek létre.

A Mozaik AI-ügynök keretrendszer nem függ ezektől a mintáktól, így könnyen kezdhet egyszerűen, és az alkalmazás követelményeinek növekedésével az automatizáltabb és önállóbb megoldások felé fejlődhet.

Eszközök ügynökrendszerben

Az ügynökrendszer kontextusában az eszközök olyan egyszeri interakciós függvények, amelyeket egy LLM meghívhat egy jól meghatározott feladat végrehajtásához. Az AI-modell általában paramétereket hoz létre minden egyes eszközhíváshoz, és az eszköz egyszerű bemeneti-kimeneti interakciót biztosít. Az eszköz oldalán nincs lehetőség többfordulós memóriára.

Néhány gyakori eszközkategória:

• Adatok lekérését vagy elemzését lehetővé tevő eszközök
  • Vektorlekérdezési eszközök: Vektorindex lekérdezése a legrelevánsabb szövegtömbök megkereséséhez.
  • Strukturált lekérési eszközök: Delta-táblák lekérdezése vagy API-k használata strukturált információk lekéréséhez.
  • webes keresőeszköz: Keresés az interneten vagy egy belső webes korpuszban.
  • Klasszikus ml-modellek: Olyan eszközök, amelyek ml-modelleket hívnak meg besorolási vagy regressziós előrejelzések, például scikit-learn vagy XGBoost-modellek végrehajtásához.
  • Gen AI-modellek: Speciális generációt (például kód- vagy képgenerálást) végző eszközök, amelyek visszaadják az eredményeket.
• Külső rendszer állapotát módosító eszközök
  • API-hívó eszköz: CRM-végpontok, belső szolgáltatások vagy más külső integrációk olyan feladatokhoz, mint a "szállítási állapot frissítése".
  • Kódvégrehajtási eszköz: Felhasználó által megadott (vagy bizonyos esetekben LLM által generált) kódot futtat egy tesztkörnyezetben.
  • Slack- vagy e-mail-integráció: Üzenet küldése vagy értesítés küldése.
• Logikát futtató vagy adott feladatot végrehajtó eszközök
  • Kód-végrehajtó eszköz: Felhasználó által megadott vagy LLM által létrehozott kódot futtat egy tesztkörnyezetben, például Python-szkripteket.

További információ a Mozaik AI-ügynökeszközökről: AI-ügynökeszközök.

Az eszközök főbb jellemzői

Eszközök ügynökrendszerben:

• Egyetlen, jól definiált műveletet hajt végre.
• Ne tartson fenn folyamatos kontextust ezen a meghíváson túl.
• Engedélyezze az ügynökrendszernek, hogy olyan külső adatokat vagy szolgáltatásokat érjen el, amelyekhez az LLM nem tud közvetlenül hozzáférni.

Eszközhibák kezelése és biztonsága

Mivel minden eszközhívás egy külső művelet, például egy API meghívása, a rendszernek elegánsan kell kezelnie a hibákat, például időtúllépéseket, hibás válaszkezelést vagy érvénytelen bemeneteket. A gyártási környezetben korlátozza az engedélyezett eszközhívások számát, biztosítson tartalék választ arra az esetre, ha az összes eszközhívás sikertelen lenne, és alkalmazzon biztonsági intézkedéseket annak érdekében, hogy az ügynökrendszer ne próbálja meg ismételten ugyanazt a sikertelen műveletet.

További információ

• Mozaik AI-képességek a generatív AI-alkalmazásokhoz
• AI-alkalmazások létrehozása során jelentkező főbb kihívások