Cohere Beágyazási modellek üzembe helyezése az Azure Machine Learning Studióval
A Cohere két beágyazási modellt kínál az Azure Machine Learning Studióban. Ezek a modellek kiszolgáló nélküli API-kként érhetők el használatalapú fizetéssel, jogkivonatalapú számlázással.
- Cohere Embed v3 – angol
- Cohere Embed v3 – Többnyelvű
A cohere modellcsaládot a cohere gyűjteményre való szűréssel böngészheti a modellkatalógusban.
Modellek
Ebből a cikkből megtudhatja, hogyan helyezheti üzembe a Cohere-modelleket kiszolgáló nélküli API-ként az Azure Machine Learning Studióval a számlázás során.
Cohere Embed v3 – angol
A Cohere Embed English a piac vezető szövegmegjelenítési modellje, amelyet szemantikai kereséshez, lekéréses-bővített generációs (RAG), besoroláshoz és fürtözéshez használnak. Az angol beágyazás kiemelkedő teljesítményt nyújt a HuggingFace MTEB teljesítményteszten, és jól teljesít különböző iparágakban, például a pénzügy, a jogi és az általános célú corpora területén.
- Az angol beágyazás 1024 dimenzióval rendelkezik.
- A modell környezeti ablaka 512 jogkivonat.
Cohere Embed v3 – Többnyelvű
A Cohere Embed Többnyelvű a piac vezető szövegmegjelenítési modellje, amelyet szemantikai kereséshez, lekéréses-bővített generációs (RAG), besoroláshoz és fürtözéshez használnak. A Többnyelvű beágyazás több mint 100 nyelvet támogat, és használható egy nyelven való keresésre (például francia nyelvű lekérdezéssel való keresésre francia dokumentumokon) és nyelvek között (például angol nyelvű lekérdezéssel való keresés kínai dokumentumokon). A többnyelvű beágyazás SOTA-teljesítménnyel rendelkezik a többnyelvű teljesítményteszteken, például a Miraclen.
- A többnyelvű beágyazás 1024 dimenzióval rendelkezik.
- A modell környezeti ablaka 512 jogkivonat.
Fontos
Ez a funkció jelenleg nyilvános előzetes verzióban érhető el. Ez az előzetes verzió szolgáltatásszintű szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik.
További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.
Üzembe helyezés kiszolgáló nélküli API-ként
A modellkatalógus egyes modelljei üzembe helyezhetők kiszolgáló nélküli API-ként használatalapú fizetéses számlázással, amely lehetővé teszi, hogy api-ként használhassa őket anélkül, hogy az előfizetésében üzemeltetné őket, miközben a vállalati biztonsági és megfelelőségi szervezeteknek szükségük van rájuk. Ez az üzembe helyezési beállítás nem igényel kvótát az előfizetésből.
A korábban említett Cohere-modellek használatalapú fizetéses szolgáltatásként telepíthetők, és a Cohere a Microsoft Azure Marketplace-en keresztül kínálja. A Cohere módosíthatja vagy frissítheti a modell használati feltételeit és díjszabását.
Előfeltételek
Érvényes fizetési móddal rendelkező Azure-előfizetés. Az ingyenes vagy próbaverziós Azure-előfizetések nem működnek. Ha nem rendelkezik Azure-előfizetéssel, hozzon létre egy fizetős Azure-fiókot .
Egy Azure Machine Learning-munkaterület. Ha nem rendelkezik ezekkel, a gyorsútmutató lépéseit követve hozza létre a munkaterület erőforrásait ismertető cikket. A Cohere Embed kiszolgáló nélküli API-modell üzembe helyezési ajánlata csak az ezekben a régiókban létrehozott munkaterületekkel érhető el:
- USA keleti régiója
- USA 2. keleti régiója
- USA északi középső régiója
- USA déli középső régiója
- USA nyugati régiója
- USA 3. nyugati régiója
- Közép-Svédország
A kiszolgáló nélküli API-végpontok üzembe helyezését támogató egyes modellekhez elérhető régiók listáját a kiszolgáló nélküli API-végpontok modelljeinek Régiónkénti rendelkezésre állása című témakörben találja.
Az Azure szerepköralapú hozzáférés-vezérlői (Azure RBAC) a műveletekhez való hozzáférés engedélyezésére szolgálnak. A cikkben ismertetett lépések végrehajtásához a felhasználói fiókhoz hozzá kell rendelni az Azure AI Developer szerepkört az erőforráscsoportban.
Az engedélyekről további információt az Azure gépi tanulás munkaterülethez való hozzáférés kezelése témakörnél talál.
Új üzembe helyezés létrehozása
Üzembe helyezés létrehozása:
Nyissa meg az Azure Machine Learning Studiót.
Válassza ki azt a munkaterületet, amelyben üzembe szeretné helyezni a modelleket. A használatalapú fizetéses modell üzembe helyezési ajánlatának használatához a munkaterületnek az EastUS2 vagy a Svédország középső régiójához kell tartoznia.
Válassza ki az üzembe helyezni kívánt modellt a modellkatalógusból.
Másik lehetőségként elindíthatja az üzembe helyezést a munkaterületre lépve, és válassza a Kiszolgáló nélküli végpontok>>létrehozása lehetőséget.
A modellkatalógus áttekintési lapján válassza az Üzembe helyezés lehetőséget.
Az üzembe helyezési varázslóban válassza az Azure Marketplace-feltételekre mutató hivatkozást, hogy többet tudjon meg a használati feltételekről.
A Marketplace ajánlat részletei lapjára kattintva megismerheti a kiválasztott modell díjszabását.
Ha először helyezi üzembe a modellt a munkaterületen, elő kell fizetnie a munkaterületet a modell adott ajánlatára. Ehhez a lépéshez a fióknak rendelkeznie kell az Azure AI Fejlesztői szerepkör engedélyekkel az erőforráscsoporton az előfeltételekben felsorolt módon. Minden munkaterület saját előfizetéssel rendelkezik az adott Azure Marketplace-ajánlathoz, amely lehetővé teszi a kiadások szabályozását és monitorozását. Válassza a Feliratkozás és üzembe helyezés lehetőséget. Jelenleg egy munkaterületen belül minden modellhez csak egy üzemelő példány lehet.
Miután előfizetett a munkaterületre az adott Azure Marketplace-ajánlatra, ugyanazon ajánlat későbbi üzembe helyezései ugyanazon a munkaterületen nem igényelnek újra előfizetést. Ha ez a forgatókönyv vonatkozik Önre, akkor a Tovább telepítendő lehetőséget kell választania.
Adjon nevet az üzembe helyezésnek. Ez a név az üzembehelyezési API URL-címének részévé válik. Ennek az URL-címnek minden Azure-régióban egyedinek kell lennie.
Válassza az Üzembe helyezés lehetőséget. Várja meg, amíg az üzembe helyezés befejeződik, és a rendszer átirányítja a kiszolgáló nélküli végpontok lapjára.
Válassza ki a végpontot a Részletek lap megnyitásához.
Válassza a Teszt fület a modell használatához.
A Végpontok kiszolgáló nélküli végpontjaira>lépve> mindig megtalálhatja a végpont részleteit, URL-címét és hozzáférési kulcsait.
Jegyezze fel a cél URL-címét és a titkos kulcsot. Az API-k használatáról további információt a [referencia] (#embed-api-reference-for-cohere-embed-models-deployed-as-a-serverless-api) című szakaszban talál.
A használatalapú fizetéssel üzembe helyezett modellek számlázásával kapcsolatos további információkért tekintse meg a szolgáltatásként üzembe helyezett Cohere-modellek költség- és kvótaalapú szempontjait.
Kiszolgáló nélküli API-ként üzembe helyezett modellek felhasználása
A korábban említett Cohere-modellek a csevegési API használatával használhatók.
A munkaterületen válassza a Kiszolgáló nélküli végpontok>végpontokat.
Keresse meg és válassza ki a létrehozott üzembe helyezést.
Másolja ki a cél URL-címét és a kulcsjogkivonat értékeit.
A Cohere két útvonalat tesz elérhetővé a következtetéshez a Beágyazás v3 - Angol és Beágyazás v3 - Többnyelvű modellek használatával.
v1/embeddingsmegfelel az Azure AI Generative Messages API-sémának, ésv1/embedtámogatja a Cohere natív API-sémáját.Az API-k használatával kapcsolatos további információkért tekintse meg a referenciaszakaszt.
Beágyazási API-referencia kiszolgáló nélküli API-ként üzembe helyezett cohere beágyazási modellekhez
Cohere Embed v3 – Angol és Beágyazás v3 – A többnyelvű verzió elfogadja az Azure AI Model Inference API-t az /embeddings útvonalon (szöveghez) és /images/embeddings (képekhez), valamint a natív Cohere Embed v3 API-t a /embed-n.
Azure AI-modell következtetési API
Az Azure AI-modell következtetési API-sémája a következő cikkekben található:
Az OpenAPI-specifikáció magától a végponttól kérhető le.
Cohere Embed v3
Az alábbiakban a Cohere Embed v3 API-val kapcsolatos részletek találhatók.
Kérés
POST /v1/embed HTTP/1.1
Host: <DEPLOYMENT_URI>
Authorization: Bearer <TOKEN>
Content-type: application/json
v1/embed request schema
Cohere Embed v3 – Angol és Beágyazás v3 – Többnyelvűen fogadja el a következő paramétereket egy v1/embed API-híváshoz:
| Kulcs | Típus | Alapértelmezett | Leírás |
|---|---|---|---|
texts |
array of strings |
Kötelező | A beágyazandó modell sztringjeinek tömbje. Hívásonkénti szövegek maximális száma 96. Javasoljuk, hogy az optimális minőség érdekében csökkentse az egyes szövegek hosszát 512-ben. |
input_type |
enum string |
Kötelező | A speciális jogkivonatok előjele az egyes típusok egymástól való megkülönböztetéséhez. A különböző típusok nem keverhetők össze, kivéve a keresési és lekéréses típusok keverését. Ebben az esetben ágyazza be a korpuszt a search_document típusba, a beágyazott lekérdezéseket pedig típustípussal search_query . search_document – Keresési használati esetekben használja a search_document, amikor egy vektoradatbázisban tárolt beágyazási dokumentumokhoz kódolja a dokumentumokat. search_query – A vektoradatbázis lekérdezéséhez használja a search_query a releváns dokumentumok megkereséséhez. classification – A besorolást akkor használja, ha beágyazásokat használ egy szövegosztályozó bemeneteként. clustering – Fürtözés használata a beágyazások fürtözéséhez. |
truncate |
enum string |
NONE |
NONE – Hibát ad vissza, ha a bemenet meghaladja a bemeneti jogkivonat maximális hosszát. START – Elveti a bemenet kezdetét. END – Elveti a bemenet végét. |
embedding_types |
array of strings |
float |
Megadja, hogy milyen típusú beágyazásokat szeretne visszakapni. Az alábbi típusok közül egy vagy több is lehet. float, int8, uint8, binaryubinary |
v1/beágyazási válaszséma
Cohere Embed v3 – Angol és Beágyazás v3 – Többnyelvű a válaszban a következő mezőket tartalmazza:
| Kulcs | Típus | Leírás |
|---|---|---|
response_type |
enum |
A válasz típusa. Visszaadja embeddings_floats , ha embedding_types nincs megadva, vagy embeddings_by_type ha embeddings_types meg van adva. |
id |
integer |
A válasz azonosítója. |
embeddings |
array vagy array of objects |
Beágyazások tömbje, ahol minden beágyazás 1024 elemből álló lebegőpontos tömb. A beágyazási tömb hossza megegyezik az eredeti szövegtömb hosszával. |
texts |
array of strings |
Azok a szöveges bejegyzések, amelyekhez beágyazásokat adtunk vissza. |
meta |
string |
API-használati adatok, beleértve az aktuális verziót és a számlázható jogkivonatokat. |
További információ: https://docs.cohere.com/reference/embed.
v1/beágyazási példák
Embeddings_floats válasz
Kérés:
{
"input_type": "clustering",
"truncate": "START",
"texts":["hi", "hello"]
}
Válasz:
{
"id": "da7a104c-e504-4349-bcd4-4d69dfa02077",
"texts": [
"hi",
"hello"
],
"embeddings": [
[
...
],
[
...
]
],
"meta": {
"api_version": {
"version": "1"
},
"billed_units": {
"input_tokens": 2
}
},
"response_type": "embeddings_floats"
}
Embeddings_by_types válasz
Kérés:
{
"input_type": "clustering",
"embedding_types": ["int8", "binary"],
"truncate": "START",
"texts":["hi", "hello"]
}
Válasz:
{
"id": "b604881a-a5e1-4283-8c0d-acbd715bf144",
"texts": [
"hi",
"hello"
],
"embeddings": {
"binary": [
[
...
],
[
...
]
],
"int8": [
[
...
],
[
...
]
]
},
"meta": {
"api_version": {
"version": "1"
},
"billed_units": {
"input_tokens": 2
}
},
"response_type": "embeddings_by_type"
}
További következtetési példák
| Csomag | Minta jegyzetfüzet: |
|---|---|
| CLI CURL- és Python-webkérelmek használatával | cohere-embed.ipynb |
| OpenAI SDK (kísérleti) | openaisdk.ipynb |
| LangChain | langchain.ipynb |
| Cohere SDK | cohere-sdk.ipynb |
| LiteLLM SDK | litellm.ipynb |
A lekéréses kiterjesztett generáció (RAG) és az eszköz mintákat használ
| Leírás | Csomag | Minta jegyzetfüzet: |
|---|---|---|
| Helyi Facebook AI Similarity Search (FAISS) vektorindex létrehozása a Cohere beágyazások használatával – Langchain | langchain, langchain_cohere |
cohere_faiss_langchain_embed.ipynb |
| A Cohere Command R/R+ használatával válaszolhat a helyi FAISS-vektorindex adatainak kérdéseire – Langchain | langchain, langchain_cohere |
command_faiss_langchain.ipynb |
| A Cohere Command R/R+ használatával válaszolhat az AI keresési vektorindexében szereplő adatokkal kapcsolatos kérdésekre – Langchain | langchain, langchain_cohere |
cohere-aisearch-langchain-rag.ipynb |
| A Cohere Command R/R+ használatával válaszolhat az AI keresési vektorindexében szereplő adatokkal kapcsolatos kérdésekre – Cohere SDK | cohere, azure_search_documents |
cohere-aisearch-rag.ipynb |
| Command R+ eszköz/függvény hívása a LangChain használatával | cohere, , langchainlangchain_cohere |
command_tools-langchain.ipynb |
Költség és kvóták
A szolgáltatásként üzembe helyezett modellek költség- és kvótaalapú szempontjai
A szolgáltatásként üzembe helyezett Cohere modelleket a Cohere kínálja az Azure Marketplace-en keresztül, és az integrálva van az Azure Machine Learning Studio-val való használatra. A modellek üzembe helyezésekor megtalálja az Azure Marketplace díjszabását.
Minden alkalommal, amikor egy munkaterület előfizet egy adott modellajánlatra az Azure Marketplace-ről, egy új erőforrás jön létre a használathoz kapcsolódó költségek nyomon követéséhez. Ugyanazt az erőforrást használja a következtetéshez kapcsolódó költségek nyomon követésére; azonban több mérőeszköz is rendelkezésre áll az egyes forgatókönyvek egymástól függetlenül történő nyomon követéséhez.
A költségek nyomon követéséről további információt az Azure Marketplace-en kínált modellek költségeinek monitorozása című témakörben talál.
A kvóta kezelése üzemelő példányonként történik. Minden üzemelő példányhoz 200 000 token/perc sebességkorlát és percenként 1000 API-kérés tartozik. Jelenleg azonban modellenként egy üzembe helyezést korlátozunk munkaterületenként. Lépjen kapcsolatba a Microsoft Azure ügyfélszolgálatával, ha az aktuális díjszabási korlátok nem elegendőek az Ön forgatókönyveihez.
Tartalomszűrés
A szolgáltatásként használatalapú fizetéssel üzembe helyezett modelleket az Azure AI tartalombiztonsága védi. Ha az Azure AI-tartalombiztonság engedélyezve van, a kérés és a befejezés is olyan besorolási modellek együttesén megy keresztül, amelyek célja a káros tartalmak kimenetének észlelése és megakadályozása. A tartalomszűrési rendszer észleli és műveletet hajt végre a potenciálisan káros tartalmak meghatározott kategóriáiban mind a bemeneti kérésekben, mind a kimeneti befejezésekben. További információ az Azure AI Content Safetyről.
Kapcsolódó tartalom
Visszajelzés
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ: https://aka.ms/ContentUserFeedback.
Visszajelzés küldése és megtekintése a következőhöz: