Megosztás a következőn keresztül:

Áttekintés: Modellek, folyamatok és webalkalmazások üzembe helyezése az Azure AI Studióval

  • Cikk

Fontos

A cikkben ismertetett funkciók némelyike csak előzetes verzióban érhető el. Ez az előzetes verzió szolgáltatásszint-szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik. További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.

Az Azure AI Studio támogatja a nagy nyelvi modellek (LLM), folyamatok és webalkalmazások üzembe helyezését. Az LLM vagy a folyamat üzembe helyezése elérhetővé teszi egy webhelyen, alkalmazásban vagy más éles környezetben való használatra. Ez általában magában foglalja a modell kiszolgálón vagy felhőben való üzemeltetését, valamint egy API vagy más felület létrehozását a felhasználók számára a modell használatához.

Gyakran hallani ezt az interakciót egy "következtetésnek" nevezett modellel. A következtetés az új bemeneti adatok modellre történő alkalmazásának folyamata kimenetek létrehozásához. A következtetés különböző alkalmazásokban használható. A csevegés-befejezési modell például használható olyan szavak vagy kifejezések automatikus kiegészítésére, amelyeket egy személy valós időben ír be. A csevegési modell arra a válaszra használható, hogy "létrehozhat egy útvonaltervet egyetlen napos seattle-i látogatáshoz?". A lehetőségek száma végtelen.

Modellek üzembe helyezése

Először a következő kérdéseket teheti fel:

  • "Milyen modelleket helyezhetek üzembe?" Az Azure AI Studio támogatja a Microsoft, a Face és a Meta által készített legnépszerűbb nagy nyelvi és látásalapozási modellek üzembe helyezését.
  • "Hogyan válassza ki a megfelelő modellt?" Az Azure AI Studio egy modellkatalógust biztosít, amely lehetővé teszi a modellek keresését és szűrését a használati eset alapján. Tesztelhet egy modellt egy mintajátszótéren is, mielőtt üzembe helyezené a projektben.
  • "Honnan helyezhetek üzembe modellt az Azure AI Studióban?" A modellt a modellkatalógusból vagy a projekt üzembehelyezési oldaláról helyezheti üzembe.

Az Azure AI Studio leegyszerűsíti az üzembe helyezést. Egy egyszerű kijelölés vagy kódsor üzembe helyez egy modellt, és létrehoz egy API-végpontot az alkalmazások számára.

Azure OpenAI-modellek

Az Azure OpenAI lehetővé teszi, hogy hozzáférjen a legújabb OpenAI-modellekhez az Azure vállalati funkcióival. További információ az OpenAI-modellek AI Studióban való üzembe helyezéséről.

Modellek megnyitása

A modellkatalógus számos különböző módú modellhez kínál hozzáférést. A modellkatalógus egyes modelljei használatalapú fizetéssel üzembe helyezhetők szolgáltatásként, így anélkül használhatják őket API-ként, hogy azokat az előfizetésben üzemeltetni kellene, miközben a vállalati biztonsági és megfelelőségi szervezeteknek is szükségük van rájuk.

Modellek üzembe helyezése szolgáltatásként (Maas)

Ez az üzembe helyezési beállítás nem igényel kvótát az előfizetésből. Kiszolgáló nélküli API-telepítésként telepíthet, és jogkivonatonként, használatalapú fizetéssel kell fizetnie. Megtudhatja, hogyan helyezheti üzembe és használhatja a Llama 2 modellcsaládot a modell szolgáltatásként való használatával.

Modellek üzembe helyezése üzemeltetett felügyelt infrastruktúrával

A nyitott modelleket saját előfizetésében is üzemeltetheti felügyelt infrastruktúrával, virtuális gépekkel és a kapacitáskezelés példányainak számával. Jelenleg az Azure AI, a HuggingFace és az Nvidia modellek széles választékát kínálja. További információ a nyitott modellek valós idejű végpontokon való üzembe helyezéséről.

LLM-ek üzembe helyezésének és következtetésének számlázása az Azure AI Studióban

Az alábbi táblázat bemutatja, hogyan kell fizetnie az LLM-ek Azure AI Studióban való üzembe helyezéséért és következtetéséért. A költségek nyomon követéséről további információt az Azure Marketplace-en elérhető modellek költségeinek monitorozásával kapcsolatban talál.

Használati eset Azure OpenAI-modellek Kiszolgáló nélküli API-kként üzembe helyezett modellek (használatalapú fizetés) Felügyelt számítással üzembe helyezett modellek
Modell üzembe helyezése a modellkatalógusból a projektbe Nem, nem kell fizetnie egy Azure OpenAI-modell projektben való üzembe helyezéséért. Igen, a számlázás az 1. végpontinfrastruktúrája szerint van kiszámlázva Igen, a 2. modellnekotthont adó infrastruktúráért kell fizetnie
Csevegési mód tesztelése a Játszótéren egy modell projektben való üzembe helyezése után Igen, a jogkivonat használata alapján számlázunk Igen, a jogkivonat használata alapján számlázunk Nincs.
Modell tesztelése mintajátszótéren a modellkatalógusban (ha van) Nem alkalmazható Nincs. Nincs.
Modell tesztelése a projekt alatti játszótéren (ha van) vagy a tesztfülön a projekt üzembe helyezési részleteinek oldalán. Igen, a jogkivonat használata alapján számlázunk Igen, a jogkivonat használata alapján számlázunk Nincs.

1 Minimális végpontinfrastruktúra számlázása percenként történik. Nem kell fizetnie azért az infrastruktúráért, amely a modellt üzemelteti használatalapú fizetéssel. A végpont törlése után a rendszer nem számít fel további díjakat.

2 A számlázás a termékváltozattól és az üzembe helyezés során a létrehozás óta használt példányok számától függően percek alatt történik. A végpont törlése után a rendszer nem számít fel további díjakat.

Folyamatok üzembe helyezése

Mi az a folyamat, és miért szeretné üzembe helyezni? A folyamat olyan eszközök sorozata, amelyek egy generatív AI-alkalmazás létrehozásához használhatók. A folyamatok üzembe helyezése eltér a modell üzembe helyezésétől, mivel testre szabhatja a folyamatot a saját adataival és más összetevőkkel, például beágyazásokkal, vektorOS ADATBÁZIS-kereséssel. és egyéni kapcsolatok. Útmutató: Folyamatok üzembe helyezése az Azure AI Studióval.

Létrehozhat például egy csevegőrobotot, amely az adatait használja a felhasználói lekérdezésekre adott tájékozott és megalapozott válaszok létrehozásához. Amikor hozzáadja az adatokat a játszótérhez, a rendszer automatikusan létrehoz egy parancssori folyamatot. A folyamatot saját adataival és más összetevőivel is üzembe helyezheti, vagy testre szabhatja. Az Azure AI Studióban saját folyamatot is létrehozhat az alapoktól.

Bármelyik módon is hoz létre folyamatot az Azure AI Studióban, gyorsan üzembe helyezheti azt, és létrehozhat egy API-végpontot az alkalmazások számára.

Webalkalmazások üzembe helyezése

Az üzembe helyezendő modell vagy folyamat az Azure-ban üzemeltetett webalkalmazásokban használható. Az Azure AI Studio segítségével gyorsan üzembe helyezhet egy webalkalmazást. További információkért tekintse meg az Azure AI Enterprise Chat oktatóanyagát.

Üzembe helyezett modell AI-biztonságának megtervezése

Az Azure OpenAI-modellek, például a GPT-4 esetében az Azure AI Studio AI biztonsági szűrőt biztosít az üzembe helyezés során a mesterséges intelligencia felelősségteljes használatának biztosítása érdekében. Az AI tartalombiztonsági szűrője lehetővé teszi a káros és bizalmas tartalmak moderálását az AI által továbbfejlesztett alkalmazások biztonságának elősegítése érdekében. Az AI biztonsági szűrő mellett az Azure AI Studio modellfigyelést is kínál az üzembe helyezett modellekhez. Az LLM-ekhez készült modellfigyelés a legújabb GPT-nyelvi modelleket használja a figyeléshez és a riasztáshoz, ha a modell kimenetei rosszul teljesítenek a generációs biztonság és minőség beállított küszöbértékeivel szemben. Konfigurálhat például egy monitort annak kiértékelésére, hogy a modell által generált válaszok mennyire igazodnak a bemeneti forrásból származó információkhoz ("alapállapot"), és szorosan illeszkedjenek egy alapigaz mondathoz vagy dokumentumhoz ("hasonlóság").

Üzembe helyezett modell teljesítményének optimalizálása

Az LLM-ek optimalizálásához számos tényező alapos mérlegelése szükséges, beleértve a működési metrikákat (például a késést), a minőségi metrikákat (például a pontosságot) és a költségeket. Fontos, hogy tapasztalt adattudósokkal és mérnökökkel működjön együtt, hogy a modell az adott használati esethez legyen optimalizálva.

Következő lépések