Megosztás a következőn keresztül:

A Cohere Embed V3 modellek használata az Azure AI Studióval

  • Cikk

Fontos

A cikkben megjelölt (előzetes verziójú) elemek jelenleg nyilvános előzetes verzióban érhetők el. Ez az előzetes verzió szolgáltatásszint-szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik. További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.

Ebben a cikkben megismerheti a Cohere Embed V3 modelleket, és megtudhatja, hogyan használhatja őket az Azure AI Studióval. A Cohere modellcsalád különböző használati esetekre optimalizált modelleket tartalmaz, beleértve a csevegések befejezését, a beágyazásokat és a rerankot. A cohere-modellek különböző használati esetekre vannak optimalizálva, amelyek közé tartozik az érvelés, az összegzés és a kérdések megválaszolása.

Fontos

Az előzetes verzióban lévő modelleket a modellkatalógusban a modellkártyákon előnézetként jelölik meg.

Társbeágyazási modellek

A beágyazási modellek Cohere-családja a következő modelleket tartalmazza:

A Cohere Embed English egy szövegábrázolási modell, amelyet szemantikai kereséshez, lekéréses-bővített generációs (RAG), besoroláshoz és fürtözéshez használnak. Az angol beágyazás jól működik a HuggingFace (tömeges szöveges beágyazás) MTEB-teljesítményteszten és a különböző iparágak, például a Pénzügy, a Jogi és az Általános célú Corpora használati esetein. Az angol beágyazás az alábbi attribútumokkal is rendelkezik:

  • Az angol beágyazás 1024 dimenzióval rendelkezik.
  • A modell környezeti ablaka 512 token

Előfeltételek

A Cohere Embed V3-modellek Azure AI Studióval való használatához a következő előfeltételekre van szükség:

Modell üzembe helyezése

Üzembe helyezés kiszolgáló nélküli API-kban

A Cohere Embed V3 modellek üzembe helyezhetők a kiszolgáló nélküli API-végpontokon használatalapú fizetéses számlázással. Ez a fajta üzembe helyezés lehetővé teszi a modellek API-ként való használatát anélkül, hogy az előfizetésében üzemelteti őket, miközben megtartja a vállalati biztonságot és megfelelőséget, amire a szervezeteknek szükségük van.

A kiszolgáló nélküli API-végponton való üzembe helyezéshez nem szükséges kvóta az előfizetésből. Ha a modell még nincs üzembe helyezve, használja az Azure AI Studiót, a Pythonhoz készült Azure Machine Learning SDK-t, az Azure CLI-t vagy az ARM-sablonokat a modell kiszolgáló nélküli API-ként való üzembe helyezéséhez.

A modell üzembe helyezése kiszolgáló nélküli API-végpontokon

A következtetési csomag telepítve van

A modellből származó előrejelzéseket a azure-ai-inference Python-csomag használatával használhatja. A csomag telepítéséhez a következő előfeltételekre van szükség:

  • A Python 3.8 vagy újabb verziója telepítve van, beleértve a pipet is.
  • A végpont URL-címe. Az ügyfélkódtár létrehozásához meg kell adnia a végpont URL-címét. A végpont URL-címe az űrlappal https://your-host-name.your-azure-region.inference.ai.azure.comrendelkezik, ahol your-host-name az egyedi modell üzembehelyezési állomásneve, és your-azure-region az az Azure-régió, ahol a modell üzembe van helyezve (például eastus2).
  • A modell üzembe helyezési és hitelesítési beállításaitól függően szüksége van egy kulcsra a szolgáltatáson való hitelesítéshez, vagy a Microsoft Entra-azonosító hitelesítő adataihoz. A kulcs egy 32 karakterből áll.

Ha már rendelkezik ezekkel az előfeltételekkel, telepítse az Azure AI-következtetési csomagot a következő paranccsal:

pip install azure-ai-inference

További információ az Azure AI következtetési csomagjáról és referenciájáról.

Tipp.

Emellett a Cohere támogatja a testre szabott API használatát a modell adott funkcióival való használatra. A modellszolgáltatóspecifikus API használatához tekintse meg a Cohere dokumentációját.

Beágyazásokkal végzett munka

Ebben a szakaszban az Azure AI-modell következtetési API-jának használata beágyazási modellel.

Ügyfél létrehozása a modell használatához

Először hozza létre az ügyfelet a modell használatához. Az alábbi kód egy környezeti változókban tárolt végponti URL-címet és kulcsot használ.

import os
from azure.ai.inference import EmbeddingsClient
from azure.core.credentials import AzureKeyCredential

model = EmbeddingsClient(
    endpoint=os.environ["AZURE_INFERENCE_ENDPOINT"],
    credential=AzureKeyCredential(os.environ["AZURE_INFERENCE_CREDENTIAL"]),
)

A modell képességeinek lekérése

Az /info útvonal a végponton üzembe helyezett modell adatait adja vissza. Adja vissza a modell adatait a következő metódus meghívásával:

model_info = model.get_model_info()

A válasz a következő:

print("Model name:", model_info.model_name)
print("Model type:", model_info.model_type)
print("Model provider name:", model_info.model_provider)

Model name: Cohere-embed-v3-english
Model type": embeddings
Model provider name": Cohere

Beágyazások létrehozása

Hozzon létre egy beágyazási kérést a modell kimenetének megtekintéséhez.

response = model.embed(
    input=["The ultimate answer to the question of life"],
)

Tipp.

A Cohere Embed V3 modellek környezeti ablaka 512. Ügyeljen arra, hogy a beágyazások létrehozásakor ne lépje túl ezt a korlátot.

A válasz a következő, ahol láthatja a modell használati statisztikáit:

import numpy as np

for embed in response.data:
    print("Embeding of size:", np.asarray(embed.embedding).shape)

print("Model:", response.model)
print("Usage:", response.usage)

Hasznos lehet a bemeneti kötegekben lévő beágyazások kiszámítása. A paraméter inputs lehet sztringek listája, ahol minden sztring más bemenet. A válasz viszont a beágyazások listája, ahol minden beágyazás ugyanabban a pozícióban lévő bemenetnek felel meg.

response = model.embed(
    input=[
        "The ultimate answer to the question of life", 
        "The largest planet in our solar system is Jupiter",
    ],
)

A válasz a következő, ahol láthatja a modell használati statisztikáit:

import numpy as np

for embed in response.data:
    print("Embeding of size:", np.asarray(embed.embedding).shape)

print("Model:", response.model)
print("Usage:", response.usage)

Tipp.

A Cohere Embed V3 modellek egyszerre 1024-et is igénybe vehetnek. Kötegek létrehozásakor győződjön meg arról, hogy nem lépi túl ezt a korlátot.

Különböző típusú beágyazások létrehozása

A Cohere Embed V3 modellek több beágyazást is létrehozhatnak ugyanahhoz a bemenethez, attól függően, hogy hogyan tervezi használni őket. Ez a funkció lehetővé teszi a RAG-minták pontosabb beágyazásának lekérését.

Az alábbi példa bemutatja, hogyan hozhat létre beágyazásokat egy vektoradatbázisban tárolt dokumentum beágyazásához:

from azure.ai.inference.models import EmbeddingInputType

response = model.embed(
    input=["The answer to the ultimate question of life, the universe, and everything is 42"],
    input_type=EmbeddingInputType.DOCUMENT,
)

Amikor egy lekérdezésen dolgozik egy ilyen dokumentum lekérése érdekében, az alábbi kódrészlet használatával létrehozhatja a lekérdezés beágyazásait, és maximalizálhatja a lekérési teljesítményt.

from azure.ai.inference.models import EmbeddingInputType

response = model.embed(
    input=["What's the ultimate meaning of life?"],
    input_type=EmbeddingInputType.QUERY,
)

A Cohere Embed V3 modellek a használatuk alapján optimalizálhatják a beágyazásokat.

Társbeágyazási modellek

A beágyazási modellek Cohere-családja a következő modelleket tartalmazza:

A Cohere Embed English egy szövegábrázolási modell, amelyet szemantikai kereséshez, lekéréses-bővített generációs (RAG), besoroláshoz és fürtözéshez használnak. Az angol beágyazás jól működik a HuggingFace (tömeges szöveges beágyazás) MTEB-teljesítményteszten és a különböző iparágak, például a Pénzügy, a Jogi és az Általános célú Corpora használati esetein. Az angol beágyazás az alábbi attribútumokkal is rendelkezik:

  • Az angol beágyazás 1024 dimenzióval rendelkezik.
  • A modell környezeti ablaka 512 token

Előfeltételek

A Cohere Embed V3-modellek Azure AI Studióval való használatához a következő előfeltételekre van szükség:

Modell üzembe helyezése

Üzembe helyezés kiszolgáló nélküli API-kban

A Cohere Embed V3 modellek üzembe helyezhetők a kiszolgáló nélküli API-végpontokon használatalapú fizetéses számlázással. Ez a fajta üzembe helyezés lehetővé teszi a modellek API-ként való használatát anélkül, hogy az előfizetésében üzemelteti őket, miközben megtartja a vállalati biztonságot és megfelelőséget, amire a szervezeteknek szükségük van.

A kiszolgáló nélküli API-végponton való üzembe helyezéshez nem szükséges kvóta az előfizetésből. Ha a modell még nincs üzembe helyezve, használja az Azure AI Studiót, a Pythonhoz készült Azure Machine Learning SDK-t, az Azure CLI-t vagy az ARM-sablonokat a modell kiszolgáló nélküli API-ként való üzembe helyezéséhez.

A modell üzembe helyezése kiszolgáló nélküli API-végpontokon

A következtetési csomag telepítve van

A modellből származó előrejelzéseket a @azure-rest/ai-inference forrásból származó npmcsomag használatával használhatja fel. A csomag telepítéséhez a következő előfeltételekre van szükség:

  • LTS-verziók a Node.js with npm.
  • A végpont URL-címe. Az ügyfélkódtár létrehozásához meg kell adnia a végpont URL-címét. A végpont URL-címe az űrlappal https://your-host-name.your-azure-region.inference.ai.azure.comrendelkezik, ahol your-host-name az egyedi modell üzembehelyezési állomásneve, és your-azure-region az az Azure-régió, ahol a modell üzembe van helyezve (például eastus2).
  • A modell üzembe helyezési és hitelesítési beállításaitól függően szüksége van egy kulcsra a szolgáltatáson való hitelesítéshez, vagy a Microsoft Entra-azonosító hitelesítő adataihoz. A kulcs egy 32 karakterből áll.

Ha már rendelkezik ezekkel az előfeltételekkel, telepítse a JavaScripthez készült Azure Inference-kódtárat a következő paranccsal:

npm install @azure-rest/ai-inference

Tipp.

Emellett a Cohere támogatja a testre szabott API használatát a modell adott funkcióival való használatra. A modellszolgáltatóspecifikus API használatához tekintse meg a Cohere dokumentációját.

Beágyazásokkal végzett munka

Ebben a szakaszban az Azure AI-modell következtetési API-jának használata beágyazási modellel.

Ügyfél létrehozása a modell használatához

Először hozza létre az ügyfelet a modell használatához. Az alábbi kód egy környezeti változókban tárolt végponti URL-címet és kulcsot használ.

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    process.env.AZURE_INFERENCE_ENDPOINT, 
    new AzureKeyCredential(process.env.AZURE_INFERENCE_CREDENTIAL)
);

A modell képességeinek lekérése

Az /info útvonal a végponton üzembe helyezett modell adatait adja vissza. Adja vissza a modell adatait a következő metódus meghívásával:

await client.path("/info").get()

A válasz a következő:

console.log("Model name: ", model_info.body.model_name);
console.log("Model type: ", model_info.body.model_type);
console.log("Model provider name: ", model_info.body.model_provider_name);

Model name: Cohere-embed-v3-english
Model type": embeddings
Model provider name": Cohere

Beágyazások létrehozása

Hozzon létre egy beágyazási kérést a modell kimenetének megtekintéséhez.

var response = await client.path("/embeddings").post({
    body: {
        input: ["The ultimate answer to the question of life"],
    }
});

Tipp.

A Cohere Embed V3 modellek környezeti ablaka 512. Ügyeljen arra, hogy a beágyazások létrehozásakor ne lépje túl ezt a korlátot.

A válasz a következő, ahol láthatja a modell használati statisztikáit:

if (isUnexpected(response)) {
    throw response.body.error;
}

console.log(response.embedding);
console.log(response.body.model);
console.log(response.body.usage);

Hasznos lehet a bemeneti kötegekben lévő beágyazások kiszámítása. A paraméter inputs lehet sztringek listája, ahol minden sztring más bemenet. A válasz viszont a beágyazások listája, ahol minden beágyazás ugyanabban a pozícióban lévő bemenetnek felel meg.

var response = await client.path("/embeddings").post({
    body: {
        input: [
            "The ultimate answer to the question of life", 
            "The largest planet in our solar system is Jupiter",
        ],
    }
});

A válasz a következő, ahol láthatja a modell használati statisztikáit:

if (isUnexpected(response)) {
    throw response.body.error;
}

console.log(response.embedding);
console.log(response.body.model);
console.log(response.body.usage);

Tipp.

A Cohere Embed V3 modellek egyszerre 1024-et is igénybe vehetnek. Kötegek létrehozásakor győződjön meg arról, hogy nem lépi túl ezt a korlátot.

Különböző típusú beágyazások létrehozása

A Cohere Embed V3 modellek több beágyazást is létrehozhatnak ugyanahhoz a bemenethez, attól függően, hogy hogyan tervezi használni őket. Ez a funkció lehetővé teszi a RAG-minták pontosabb beágyazásának lekérését.

Az alábbi példa bemutatja, hogyan hozhat létre beágyazásokat egy vektoradatbázisban tárolt dokumentum beágyazásához:

var response = await client.path("/embeddings").post({
    body: {
        input: ["The answer to the ultimate question of life, the universe, and everything is 42"],
        input_type: "document",
    }
});

Amikor egy lekérdezésen dolgozik egy ilyen dokumentum lekérése érdekében, az alábbi kódrészlet használatával létrehozhatja a lekérdezés beágyazásait, és maximalizálhatja a lekérési teljesítményt.

var response = await client.path("/embeddings").post({
    body: {
        input: ["What's the ultimate meaning of life?"],
        input_type: "query",
    }
});

A Cohere Embed V3 modellek a használatuk alapján optimalizálhatják a beágyazásokat.

Társbeágyazási modellek

A beágyazási modellek Cohere-családja a következő modelleket tartalmazza:

A Cohere Embed English egy szövegábrázolási modell, amelyet szemantikai kereséshez, lekéréses-bővített generációs (RAG), besoroláshoz és fürtözéshez használnak. Az angol beágyazás jól működik a HuggingFace (tömeges szöveges beágyazás) MTEB-teljesítményteszten és a különböző iparágak, például a Pénzügy, a Jogi és az Általános célú Corpora használati esetein. Az angol beágyazás az alábbi attribútumokkal is rendelkezik:

  • Az angol beágyazás 1024 dimenzióval rendelkezik.
  • A modell környezeti ablaka 512 token

Előfeltételek

A Cohere Embed V3-modellek Azure AI Studióval való használatához a következő előfeltételekre van szükség:

Modell üzembe helyezése

Üzembe helyezés kiszolgáló nélküli API-kban

A Cohere Embed V3 modellek üzembe helyezhetők a kiszolgáló nélküli API-végpontokon használatalapú fizetéses számlázással. Ez a fajta üzembe helyezés lehetővé teszi a modellek API-ként való használatát anélkül, hogy az előfizetésében üzemelteti őket, miközben megtartja a vállalati biztonságot és megfelelőséget, amire a szervezeteknek szükségük van.

A kiszolgáló nélküli API-végponton való üzembe helyezéshez nem szükséges kvóta az előfizetésből. Ha a modell még nincs üzembe helyezve, használja az Azure AI Studiót, a Pythonhoz készült Azure Machine Learning SDK-t, az Azure CLI-t vagy az ARM-sablonokat a modell kiszolgáló nélküli API-ként való üzembe helyezéséhez.

A modell üzembe helyezése kiszolgáló nélküli API-végpontokon

REST-ügyfél

Az Azure AI-modell következtetési API-val üzembe helyezett modellek bármely REST-ügyfél használatával felhasználhatók. A REST-ügyfél használatához a következő előfeltételekre van szükség:

  • A kérések létrehozásához meg kell adnia a végpont URL-címét. A végpont URL-címe az űrlappal https://your-host-name.your-azure-region.inference.ai.azure.comrendelkezik, ahol your-host-name az egyedi modell üzembehelyezési állomásneve, és your-azure-region az az Azure-régió, ahol a modell üzembe van helyezve (például eastus2).
  • A modell üzembe helyezési és hitelesítési beállításaitól függően szüksége van egy kulcsra a szolgáltatáson való hitelesítéshez, vagy a Microsoft Entra-azonosító hitelesítő adataihoz. A kulcs egy 32 karakterből áll.

Tipp.

Emellett a Cohere támogatja a testre szabott API használatát a modell adott funkcióival való használatra. A modellszolgáltatóspecifikus API használatához tekintse meg a Cohere dokumentációját.

Beágyazásokkal végzett munka

Ebben a szakaszban az Azure AI-modell következtetési API-jának használata beágyazási modellel.

Ügyfél létrehozása a modell használatához

Először hozza létre az ügyfelet a modell használatához. Az alábbi kód egy környezeti változókban tárolt végponti URL-címet és kulcsot használ.

A modell képességeinek lekérése

Az /info útvonal a végponton üzembe helyezett modell adatait adja vissza. Adja vissza a modell adatait a következő metódus meghívásával:

GET /info HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json

A válasz a következő:

{
    "model_name": "Cohere-embed-v3-english",
    "model_type": "embeddings",
    "model_provider_name": "Cohere"
}

Beágyazások létrehozása

Hozzon létre egy beágyazási kérést a modell kimenetének megtekintéséhez.

{
    "input": [
        "The ultimate answer to the question of life"
    ]
}

Tipp.

A Cohere Embed V3 modellek környezeti ablaka 512. Ügyeljen arra, hogy a beágyazások létrehozásakor ne lépje túl ezt a korlátot.

A válasz a következő, ahol láthatja a modell használati statisztikáit:

{
    "id": "0ab1234c-d5e6-7fgh-i890-j1234k123456",
    "object": "list",
    "data": [
        {
            "index": 0,
            "object": "embedding",
            "embedding": [
                0.017196655,
                // ...
                -0.000687122,
                -0.025054932,
                -0.015777588
            ]
        }
    ],
    "model": "Cohere-embed-v3-english",
    "usage": {
        "prompt_tokens": 9,
        "completion_tokens": 0,
        "total_tokens": 9
    }
}

Hasznos lehet a bemeneti kötegekben lévő beágyazások kiszámítása. A paraméter inputs lehet sztringek listája, ahol minden sztring más bemenet. A válasz viszont a beágyazások listája, ahol minden beágyazás ugyanabban a pozícióban lévő bemenetnek felel meg.

{
    "input": [
        "The ultimate answer to the question of life", 
        "The largest planet in our solar system is Jupiter"
    ]
}

A válasz a következő, ahol láthatja a modell használati statisztikáit:

{
    "id": "0ab1234c-d5e6-7fgh-i890-j1234k123456",
    "object": "list",
    "data": [
        {
            "index": 0,
            "object": "embedding",
            "embedding": [
                0.017196655,
                // ...
                -0.000687122,
                -0.025054932,
                -0.015777588
            ]
        },
        {
            "index": 1,
            "object": "embedding",
            "embedding": [
                0.017196655,
                // ...
                -0.000687122,
                -0.025054932,
                -0.015777588
            ]
        }
    ],
    "model": "Cohere-embed-v3-english",
    "usage": {
        "prompt_tokens": 19,
        "completion_tokens": 0,
        "total_tokens": 19
    }
}

Tipp.

A Cohere Embed V3 modellek egyszerre 1024-et is igénybe vehetnek. Kötegek létrehozásakor győződjön meg arról, hogy nem lépi túl ezt a korlátot.

Különböző típusú beágyazások létrehozása

A Cohere Embed V3 modellek több beágyazást is létrehozhatnak ugyanahhoz a bemenethez, attól függően, hogy hogyan tervezi használni őket. Ez a funkció lehetővé teszi a RAG-minták pontosabb beágyazásának lekérését.

Az alábbi példa bemutatja, hogyan hozhat létre beágyazásokat egy vektoradatbázisban tárolt dokumentum beágyazásához:

{
    "input": [
        "The answer to the ultimate question of life, the universe, and everything is 42"
    ],
    "input_type": "document"
}

Amikor egy lekérdezésen dolgozik egy ilyen dokumentum lekérése érdekében, az alábbi kódrészlet használatával létrehozhatja a lekérdezés beágyazásait, és maximalizálhatja a lekérési teljesítményt.

{
    "input": [
        "What's the ultimate meaning of life?"
    ],
    "input_type": "query"
}

A Cohere Embed V3 modellek a használatuk alapján optimalizálhatják a beágyazásokat.

További következtetési példák

Leírás Nyelv Minta
Webes kérések Bash cohere-embed.ipynb
Azure AI-következtetési csomag JavaScripthez JavaScript Láncszem
Azure AI-következtetési csomag Pythonhoz Python Láncszem
OpenAI SDK (kísérleti) Python Láncszem
LangChain Python Láncszem
Cohere SDK Python Láncszem
LiteLLM SDK Python Láncszem

A lekéréses kiterjesztett generáció (RAG) és az eszköz mintákat használ

Leírás Csomagok Minta
Helyi Facebook AI-hasonlósági keresés (FAISS) vektorindex létrehozása a Cohere beágyazások használatával – Langchain langchain, langchain_cohere cohere_faiss_langchain_embed.ipynb
A Cohere Command R/R+ használatával válaszolhat a helyi FAISS-vektorindex adatainak kérdéseire – Langchain langchain, langchain_cohere command_faiss_langchain.ipynb
A Cohere Command R/R+ használatával válaszolhat az AI keresési vektorindexében szereplő adatokkal kapcsolatos kérdésekre – Langchain langchain, langchain_cohere cohere-aisearch-langchain-rag.ipynb
A Cohere Command R/R+ használatával válaszolhat az AI keresési vektorindexében szereplő adatokkal kapcsolatos kérdésekre – Cohere SDK cohere, azure_search_documents cohere-aisearch-rag.ipynb
Command R+ eszköz/függvény hívása a LangChain használatával cohere, , langchainlangchain_cohere command_tools-langchain.ipynb

A kiszolgáló nélküli API-végpontként üzembe helyezett cohere modellcsalád költség- és kvótaalapú szempontjai

A kiszolgáló nélküli API-ként üzembe helyezett cohere-modelleket a Cohere kínálja az Azure Marketplace-en keresztül, és integrálva van az Azure AI Studióval használat céljából. A modell üzembe helyezésekor megtalálja az Azure Marketplace díjszabását.

Minden alkalommal, amikor egy projekt előfizet egy adott ajánlatra az Azure Marketplace-ről, egy új erőforrás jön létre a használathoz kapcsolódó költségek nyomon követéséhez. Ugyanazt az erőforrást használja a következtetéshez kapcsolódó költségek nyomon követésére; azonban több mérőeszköz is rendelkezésre áll az egyes forgatókönyvek egymástól függetlenül történő nyomon követéséhez.

A költségek nyomon követéséről további információt az Azure Marketplace-en kínált modellek költségeinek monitorozása című témakörben talál.

A kvóta kezelése üzemelő példányonként történik. Minden üzemelő példányhoz 200 000 token/perc sebességkorlát és percenként 1000 API-kérés tartozik. Jelenleg azonban modellenként és projektenként csak egy telepítésre van lehetőség. Lépjen kapcsolatba a Microsoft Azure ügyfélszolgálatával, ha az aktuális díjszabási korlátok nem elegendőek az Ön forgatókönyveihez.

Kapcsolódó tartalom