Docker-tárolók összegzésének használata a helyszínen
A tárolók lehetővé teszik a Summarization API üzemeltetését a saját infrastruktúráján. Ha olyan biztonsági vagy adatszabályozási követelményekkel rendelkezik, amelyeket nem lehet teljesíteni a Summarization távolról történő meghívásával, akkor a tárolók jó választásnak bizonyulhatnak.
Előfeltételek
- Ha nem rendelkezik Azure-előfizetéssel, hozzon létre egy ingyenes fiókot.
- A Docker telepítve van egy gazdagépen. A Dockert úgy kell konfigurálni, hogy a tárolók kapcsolódhassanak és számlázási adatokat küldjenek az Azure-ba.
- Windows rendszeren a Dockert úgy is konfigurálnia kell, hogy támogassa a Linux-tárolókat.
- Ismernie kell a Docker alapfogalmait.
- Az ingyenes (F0) vagy standard (S) tarifacsomaggal rendelkező nyelvi erőforrás. A leválasztott tárolók esetében a DC0 szint szükséges.
A szükséges paraméterek összegyűjtése
Három elsődleges paraméter szükséges az összes Azure AI-tárolóhoz. A Microsoft szoftverlicenc-feltételeinek elfogadási értékkel kell rendelkeznie. Végponti URI- és API-kulcsra is szükség van.
Végpont URI-ja
Az {ENDPOINT_URI} érték a megfelelő Azure AI-szolgáltatási erőforrás Azure Portal áttekintési oldalán érhető el. Lépjen az Áttekintés lapra, mutasson a végpont fölé, és megjelenik egy Másolás vágólapra ikon. Szükség esetén másolja és használja a végpontot.
Kulcsok
Az {API_KEY} érték a tároló elindítására szolgál, és elérhető a megfelelő Azure AI-szolgáltatási erőforrás Kulcsok lapján. Lépjen a Kulcsok lapra, és válassza a Vágólapra másolás ikont.
Fontos
Ezek az előfizetési kulcsok az Azure AI-szolgáltatások API-ját használják. Ne ossza meg a kulcsait. Biztonságosan tárolja őket. Használja például az Azure Key Vaultot. Azt is javasoljuk, hogy ezeket a kulcsokat rendszeresen újragenerálja. API-hívás létrehozásához csak egy kulcs szükséges. Az első kulcs újragenerálása után a második kulcsot használhatja a szolgáltatáshoz való folyamatos hozzáféréshez.
A gazdagépre vonatkozó követelmények és javaslatok
A gazdagép egy x64-alapú számítógép, amely a Docker-tárolót futtatja. Ez lehet egy számítógép a helyszínen vagy egy Docker-üzemeltetési szolgáltatás az Azure-ban, például:
- Azure Kubernetes Service.
- Azure Container Instances.
- Az Azure Stackben üzembe helyezett Kubernetes-fürt. További információ: Kubernetes üzembe helyezése az Azure Stackben.
Az alábbi táblázat az összegző tárolókra vonatkozó minimális és ajánlott specifikációkat ismerteti. A felsorolt CPU-/memóriakombinációk egy 4000-ben megadott tokenbemenethez tartoznak (a beszélgetések felhasználása ugyanazon kérés összes aspektusára vonatkozik).
| Tároló típusa | Processzormagok javasolt száma | Ajánlott memória | Jegyzetek |
|---|---|---|---|
| Cpu-tároló összegzése | 16 | 48 GB | |
| GPU-tároló összegzése | 2 | 24 GB | Olyan Nvidia GPU-t igényel, amely támogatja a Cuda 11.8-at a 16 GB-os VRAM használatával. |
A processzormag és a memória megfelel a --cpus parancs részeként docker run használt beállításoknak és --memory beállításoknak.
A tároló lemezképének lekérése docker pull
A summarization tároló lemezképe a mcr.microsoft.com tárolóregisztrációs adatbázis szindikátumán található. Az adattárban azure-cognitive-services/textanalytics/ található, és neve summarization. A teljes tárolórendszerkép neve: mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization
A tároló legújabb verziójának használatához használhatja a címkét latest . Az MCR-en a címkék teljes listája is megtalálható.
docker pull A parancs használatával letölthet egy tárolólemezképet a Microsoft Container Registryből.
docker pull mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu
CPU-tárolók esetében,
docker pull mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:gpu
GPU-tárolókhoz.
Tipp.
A docker images paranccsal listázhatja a letöltött tárolólemezképeket. Az alábbi parancs például az egyes letöltött tárolólemezképek azonosítóját, adattárát és címkéjét sorolja fel táblázatként formázva:
docker images --format "table {{.ID}}\t{{.Repository}}\t{{.Tag}}"
IMAGE ID REPOSITORY TAG
<image-id> <repository-path/name> <tag-name>
Az összegző tárolómodellek letöltése
Az összegző tároló futtatásának előfeltétele a modellek első letöltése. Ezt úgy teheti meg, hogy a következő parancsok egyikét futtatja például egy CPU-tároló lemezképével:
docker run -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu downloadModels=ExtractiveSummarization billing={ENDPOINT_URI} apikey={API_KEY}
docker run -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu downloadModels=AbstractiveSummarization billing={ENDPOINT_URI} apikey={API_KEY}
docker run -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu downloadModels=ConversationSummarization billing={ENDPOINT_URI} apikey={API_KEY}
Nem ajánlott modelleket letölteni az összes képességhez ugyanazon HOST_MODELS_PATHbelül, mivel a tároló az összes modellt betölti a HOST_MODELS_PATHtárolón belül. Ha így tesz, nagy mennyiségű memóriát használna. Javasoljuk, hogy csak az adott HOST_MODELS_PATHadott képességhez tartozó modellt töltse le.
A modellek és a tároló közötti kompatibilitás biztosítása érdekében töltse le újra a használt modelleket, amikor új lemezképverzióval hoz létre tárolót. Leválasztott tároló használatakor a licencet a modellek letöltése után újra le kell tölteni.
A tároló futtatása a következővel: docker run
Ha a Summarization tároló a gazdaszámítógépen van, futtassa a tárolókat az alábbi docker run paranccsal. A tároló addig fut, amíg le nem állítja. Cserélje le az alábbi helyőrzőket a saját értékeire:
| Helyőrző | Value | Formátum vagy példa |
|---|---|---|
| {HOST_MODELS_PATH} | A gazdaszámítógép kötet csatlakoztatása, amelyet a Docker a modell megőrzésére használ. | Ilyen például a c:\SummarizationModel, ahol a c:\ meghajtó a gazdagépen található. |
| {ENDPOINT_URI} | A summarization API elérésének végpontja. Az erőforrás kulcs- és végpontoldalán , az Azure Portalon található. | https://<your-custom-subdomain>.cognitiveservices.azure.com |
| {API_KEY} | A nyelvi erőforrás kulcsa. Az erőforrás kulcs- és végpontoldalán , az Azure Portalon található. | xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx |
docker run -p 5000:5000 -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu eula=accept rai_terms=accept billing={ENDPOINT_URI} apikey={API_KEY}
Vagy ha GPU-tárolót futtat, használja inkább ezt a parancsot.
docker run -p 5000:5000 --gpus all -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:gpu eula=accept rai_terms=accept billing={ENDPOINT_URI} apikey={API_KEY}
Ha egynél több GPU van a gépen, cserélje le a következőre --gpus all--gpus device={DEVICE_ID}: .
Fontos
- A következő szakaszok docker-parancsai a fordított perjelet használják,
\vonal-folytatási karakterként. Cserélje le vagy távolítsa el ezt a gazda operációs rendszer követelményei alapján. - A
Eulatároló futtatásához meg kell adni a ,Billingrai_termsésApiKeya beállításokat, ellenkező esetben a tároló nem indul el. További információ: Számlázás.
A parancs a következőket hajtja végre:
- Summarization-tároló futtatása a tároló lemezképéből
- Egy processzormag és 4 gigabájt (GB) memória lefoglalása
- Az 5000-s TCP-portot teszi elérhetővé, és pszeudo-TTY-t foglal le a tárolóhoz
- A tárolót a kilépés után automatikusan eltávolítja. A tárolólemezkép továbbra is elérhető a gazdaszámítógépen.
Több tároló futtatása ugyanazon a gazdagépen
Ha több tárolót szeretne futtatni közzétett portokkal, mindenképpen futtassa az egyes tárolókat egy másik közzétett porttal. Futtassa például az első tárolót az 5000-s porton, a másodikat pedig az 5001-s porton.
Ezt a tárolót és egy másik Azure AI-szolgáltatási tárolót együtt futtathatja a GAZDAGÉPen. Több tároló is futtatható ugyanabból az Azure AI-szolgáltatási tárolóból.
A tároló előrejelzési végpontjának lekérdezése
A tároló REST-alapú lekérdezés-előrejelzési végpont API-kat nyújt.
A tároló API-khoz használja a gazdagépet (http://localhost:5000).
Ellenőrizze, hogy fut-e egy tároló
A tároló futásának ellenőrzésére többféleképpen is van lehetőség. Keresse meg a szóban forgó tároló külső IP-címét és közzétett portját, és nyissa meg a kedvenc webböngészőt. A tároló futásának ellenőrzéséhez használja az alábbi kérési URL-címeket. Az itt felsorolt példakérési URL-címek eltérőek http://localhost:5000lehetnek, de az adott tároló eltérő lehet. Ügyeljen arra, hogy a tároló külső IP-címére és közzétett portjára támaszkodjon.
| Kérelem URL-címe | Purpose |
|---|---|
http://localhost:5000/ |
A tároló egy kezdőlappal rendelkezik. |
http://localhost:5000/ready |
A GET használatával kért URL-cím ellenőrzi, hogy a tároló készen áll-e egy lekérdezés elfogadására a modellen. Ez a kérés használható a Kubernetes-beli élő- és készültségi mintavételekhez. |
http://localhost:5000/status |
A GET szolgáltatással is kért, ez az URL-cím ellenőrzi, hogy a tároló elindításához használt API-kulcs érvényes-e végpontlekérdezés nélkül. Ez a kérés használható a Kubernetes-beli élő- és készültségi mintavételekhez. |
http://localhost:5000/swagger |
A tároló átfogó dokumentációval is rendelkezik a végpontokhoz, valamint egy kipróbálás funkcióval is. Ezzel a funkcióval beírhatja a beállításokat egy webes HTML-űrlapba, és kódírás nélkül is elvégezheti a lekérdezést. A lekérdezés visszatérése után megjelenik egy példa CURL-parancs, amely bemutatja a szükséges HTTP-fejléceket és törzsformátumot. |
Az internetről leválasztott tároló futtatása
Az internetről leválasztott tároló használatához először hozzáférést kell kérnie egy alkalmazás kitöltésével és egy kötelezettségvállalási terv megvásárlásával. További információ: Docker-tárolók használata leválasztott környezetekben .
Ha engedélyezte, hogy az internetről leválasztott tárolót futtassa, az alábbi példában a használni kívánt parancs formázása docker run látható helyőrző értékekkel. Cserélje le ezeket a helyőrző értékeket a saját értékeire.
A DownloadLicense=True parancs paramétere docker run letölt egy licencfájlt, amely lehetővé teszi a Docker-tároló futtatását, ha nincs internetkapcsolata. Emellett egy lejárati dátumot is tartalmaz, amely után a licencfájl érvénytelen lesz a tároló futtatásához. Csak a megfelelő tárolóval rendelkező licencfájlt használhatja. Nem használhat például licencfájlt beszéd-szöveg tárolóhoz egy Language Services-tárolóval.
Az összegző leválasztott tárolómodellek letöltése
Az összegző tároló futtatásának előfeltétele a modellek első letöltése. Ezt úgy teheti meg, hogy a következő parancsok egyikét futtatja például egy CPU-tároló lemezképével:
docker run -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu downloadModels=ExtractiveSummarization billing={ENDPOINT_URI} apikey={API_KEY}
docker run -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu downloadModels=AbstractiveSummarization billing={ENDPOINT_URI} apikey={API_KEY}
docker run -v {HOST_MODELS_PATH}:/models mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu downloadModels=ConversationSummarization billing={ENDPOINT_URI} apikey={API_KEY}
Nem ajánlott modelleket letölteni az összes képességhez ugyanazon HOST_MODELS_PATHbelül, mivel a tároló az összes modellt betölti a HOST_MODELS_PATHtárolón belül. Ha így tesz, nagy mennyiségű memóriát használna. Javasoljuk, hogy csak az adott HOST_MODELS_PATHadott képességhez tartozó modellt töltse le.
A modellek és a tároló közötti kompatibilitás biztosítása érdekében töltse le újra a használt modelleket, amikor új lemezképverzióval hoz létre tárolót. Leválasztott tároló használatakor a licencet a modellek letöltése után újra le kell tölteni.
A leválasztott tároló futtatása a következővel: docker run
| Helyőrző | Value | Formátum vagy példa |
|---|---|---|
{IMAGE} |
A használni kívánt tárolórendszerkép. | mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu |
{LICENSE_MOUNT} |
A licenc letöltési és csatlakoztatási útvonala. | /host/license:/path/to/license/directory |
{HOST_MODELS_PATH} |
A modellek letöltési és csatlakoztatási útvonala. | /host/models:/models |
{ENDPOINT_URI} |
A szolgáltatáskérés hitelesítésének végpontja. Az erőforrás kulcs- és végpontoldalán , az Azure Portalon található. | https://<your-custom-subdomain>.cognitiveservices.azure.com |
{API_KEY} |
A Text Analytics-erőforrás kulcsa. Az erőforrás kulcs- és végpontoldalán , az Azure Portalon található. | xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx |
{CONTAINER_LICENSE_DIRECTORY} |
A licencmappa helye a tároló helyi fájlrendszerében. | /path/to/license/directory |
docker run --rm -it -p 5000:5000 \
-v {LICENSE_MOUNT} \
-v {HOST_MODELS_PATH} \
{IMAGE} \
eula=accept \
rai_terms=accept \
billing={ENDPOINT_URI} \
apikey={API_KEY} \
DownloadLicense=True \
Mounts:License={CONTAINER_LICENSE_DIRECTORY}
A licencfájl letöltése után a tárolót leválasztott környezetben futtathatja. Az alábbi példa a használni kívánt parancs formázását docker run mutatja be helyőrző értékekkel. Cserélje le ezeket a helyőrző értékeket a saját értékeire.
Bárhol is fut a tároló, a licencfájlt csatlakoztatni kell a tárolóhoz, és meg kell adni Mounts:License=a tároló helyi fájlrendszerében lévő licencmappa helyét. Kimeneti csatlakoztatást is meg kell adni, hogy meg lehessen írni a számlázási használati rekordokat.
| Helyőrző | Value | Formátum vagy példa |
|---|---|---|
{IMAGE} |
A használni kívánt tárolórendszerkép. | mcr.microsoft.com/azure-cognitive-services/textanalytics/summarization:cpu |
{MEMORY_SIZE} |
A tárolóhoz lefoglalandó memória mérete. | 4g |
{NUMBER_CPUS} |
A tárolóhoz lefoglalandó cpu-k megfelelő száma. | 4 |
{LICENSE_MOUNT} |
Az elérési út, ahol a licenc található és csatlakoztatva lesz. | /host/license:/path/to/license/directory |
{HOST_MODELS_PATH} |
A modellek letöltési és csatlakoztatási útvonala. | /host/models:/models |
{OUTPUT_PATH} |
A használati rekordok naplózásának kimeneti elérési útja. | /host/output:/path/to/output/directory |
{CONTAINER_LICENSE_DIRECTORY} |
A licencmappa helye a tároló helyi fájlrendszerében. | /path/to/license/directory |
{CONTAINER_OUTPUT_DIRECTORY} |
A kimeneti mappa helye a tároló helyi fájlrendszerén. | /path/to/output/directory |
docker run --rm -it -p 5000:5000 --memory {MEMORY_SIZE} --cpus {NUMBER_CPUS} \
-v {LICENSE_MOUNT} \
-v {HOST_MODELS_PATH} \
-v {OUTPUT_PATH} \
{IMAGE} \
eula=accept \
rai_terms=accept \
Mounts:License={CONTAINER_LICENSE_DIRECTORY}
Mounts:Output={CONTAINER_OUTPUT_DIRECTORY}
A tároló leállítása
A tároló leállításához a tárolót futtató parancssori környezetben válassza a Ctrl+C billentyűkombinációt.
Hibaelhárítás
Ha a tárolót kimeneti csatlakoztatással és naplózással futtatja, a tároló olyan naplófájlokat hoz létre, amelyek segítenek elhárítani a tároló indításakor vagy futtatásakor felmerülő problémákat.
Tipp.
További hibaelhárítási információkért és útmutatásért tekintse meg az Azure AI-tárolókkal kapcsolatos gyakori kérdéseket (GYIK).
Billing
Az összegző tárolók számlázási adatokat küldenek az Azure-nak egy Nyelvi erőforrás használatával az Azure-fiókban.
A tárolóba irányuló lekérdezések számlázása a paraméterhez használt Azure-erőforrás tarifacsomagján ApiKey lesz.
Az Azure AI-szolgáltatások tárolói nem rendelkeznek licenceléssel anélkül, hogy a mérési vagy számlázási végponthoz csatlakozna. Engedélyeznie kell a tárolók számára, hogy mindig közöljék a számlázási adatokat a számlázási végponttal. Az Azure AI-szolgáltatások tárolói nem küldenek ügyféladatokat, például az elemezni kívánt képet vagy szöveget a Microsoftnak.
Csatlakozás az Azure-hoz
A tárolónak futtatnia kell a számlázási argumentum értékeit. Ezek az értékek lehetővé teszik, hogy a tároló csatlakozzon a számlázási végponthoz. A tároló körülbelül 10–15 percenként jelenti a használatot. Ha a tároló az engedélyezett időkereten belül nem csatlakozik az Azure-hoz, a tároló továbbra is fut, de nem szolgál ki lekérdezéseket, amíg vissza nem állítja a számlázási végpontot. A kapcsolat 10 alkalommal, 10–15 perces időintervallumban történik. Ha a 10 próbálkozáson belül nem tud csatlakozni a számlázási végponthoz, a tároló leállítja a kérések kiszolgálását. Tekintse meg az Azure AI-szolgáltatások tárolójának gyakori kérdéseit a Microsoftnak a számlázáshoz küldött információk példájáért.
Számlázási argumentumok
A docker run parancs akkor indítja el a tárolót, ha az alábbi lehetőségek közül mind a három érvényes értéket tartalmazza:
| Beállítás | Leírás |
|---|---|
ApiKey |
Az Azure AI-szolgáltatások erőforrásának API-kulcsa, amely a számlázási adatok nyomon követésére szolgál. Ennek a beállításnak az értékét api-kulcsra kell állítani a kiépített erőforráshoz, amely a következőben Billingvan megadva: . |
Billing |
Az Azure AI-szolgáltatások erőforrásának végpontja, amely a számlázási adatok nyomon követésére szolgál. Ennek a beállításnak az értékét egy kiépített Azure-erőforrás végponti URI-jára kell állítani. |
Eula |
Azt jelzi, hogy elfogadta a tároló licencét. Ennek a beállításnak az értékét el kell fogadni. |
Ezekről a lehetőségekről további információt a Tárolók konfigurálása című témakörben talál.
Summary
Ebben a cikkben megismerhette az összegző tárolók letöltésével, telepítésével és futtatásával kapcsolatos fogalmakat és munkafolyamatokat. In summary:
- A Summarization Linux-tárolókat biztosít a Dockerhez
- A tárolólemezképek a Microsoft Container Registryből (MCR) töltődnek le.
- A tárolólemezképek a Dockerben futnak.
- A tárolók példányosításakor meg kell adnia a számlázási adatokat.
Fontos
Ez a tároló nincs licencelve a futtatásra anélkül, hogy az Azure-hoz csatlakozna mérés céljából. Az ügyfeleknek engedélyeznie kell a tárolóknak, hogy mindig közöljék a számlázási adatokat a mérési szolgáltatással. Az Azure AI-tárolók nem küldenek ügyféladatokat (például elemezni kívánt szöveget) a Microsoftnak.
Következő lépések
- Lásd: Tárolók konfigurálása konfigurációs beállításokhoz.