Beágyazott modellek használata az Azure AI Foundry modellkatalógusából az integrált vektorizáláshoz

Fontos

Ez a funkció nyilvános előzetes verzióban érhető el a kiegészítő használati feltételek alatt. A 2024-05-01-preview REST API támogatja ezt a funkciót.

Ebből a cikkből megtudhatja, hogyan érheti el a beágyazási modelleket az Azure AI Foundry modellkatalógusában vektorkonverziókhoz az indexelés és az Azure AI Search lekérdezései során.

A munkafolyamat tartalmazza a modell üzembe helyezésének lépéseit. A modellkatalógus tartalmazza a Microsoft és más vállalatok modelljeinek beágyazását. A modell üzembe helyezése az egyes szolgáltatók számlázási struktúrája szerint számlázható.

A modell üzembe helyezése után az indexelés során integrált vektorizáláshoz, vagy lekérdezésekhez az Azure AI Foundry vektorizálójával is használhatja.

Tipp.

Az Adatok importálása és vektorizálása varázslóval létrehozhat egy olyan készségkészletet, amely AML-képességgel rendelkezik az Azure AI Foundryben üzembe helyezett beágyazási modellekhez. A bemenetek, kimenetek és leképezések AML-készségdefinícióját a varázsló hozza létre, amely lehetővé teszi a modellek tesztelését, mielőtt bármilyen kódot ír.

Előfeltételek

• Azure AI Search, bármely régió és szint.

• Az Azure AI Foundry és egy Azure AI Foundry-projekt.

Támogatott beágyazási modellek

Az integrált vektorizálás és az Adatok importálása és vektorizálása varázsló a következő beágyazási modelleket támogatja a modellkatalógusban:

Szövegbeágyazások esetén:

• Cohere-embed-v3-english
• Cohere-embed-v3-többnyelvű

Képbeágyazások esetén:

• Facebook-DinoV2-Image-Embeddings-ViT-Base
• Facebook-DinoV2-Image-Embeddings-ViT-Giant

Beágyazási modell üzembe helyezése az Azure AI Foundry modellkatalógusából

1. Nyissa meg az Azure AI Foundry modellkatalógusát. Ha még nem rendelkezik ilyen projektel, hozzon létre egy projektet.

2. Alkalmazzon egy szűrőt, hogy csak a beágyazási modellek jelenjenek meg. Az Inference tasks (Következtetési feladatok) területen válassza a Beágyazások elemet:

   

3. Válasszon ki egy támogatott modellt, majd válassza az Üzembe helyezés lehetőséget.

   

4. Fogadja el az alapértelmezett beállításokat, vagy módosítsa szükség szerint, majd válassza az Üzembe helyezés lehetőséget. Az üzembe helyezés részletei a kiválasztott modelltől függően változnak.

5. Várja meg, amíg a modell a kiépítési állapot figyelésével befejezi az üzembe helyezést. A "Kiépítés" értékről "Frissítés"-ről "Sikeres" értékre kell változnia. Előfordulhat, hogy néhány percenként a Frissítés lehetőséget kell választania az állapotfrissítés megtekintéséhez.

6. Jegyezze fel a cél URI-t, kulcsot és modellnevet. Ezekre az értékekre szükség van a keresési index vektorizáló definíciója és a modell végpontjait indexelés során meghívó képességkészlet esetében.

   Szükség esetén módosíthatja a végpontot úgy, hogy a kulcsalapú hitelesítés helyett jogkivonat-hitelesítést használjon. Ha engedélyezi a jogkivonat-hitelesítést, csak az URI-t és a modell nevét kell másolnia, de jegyezze fel, hogy a modell melyik régióban van üzembe helyezve.

   

7. Mostantól konfigurálhat egy keresési indexet és indexelőt az üzembe helyezett modell használatára.

   • A modell indexelés közbeni használatához tekintse meg az integrált vektorizálás engedélyezésének lépéseit. Ügyeljen arra, hogy az Azure Machine Learning (AML) jártasságot használja, és ne az AzureOpenAIEmbedding képességet. A következő szakasz a képességkonfigurációt ismerteti.

   • Ha a modellt vektorizálóként szeretné használni a lekérdezési időpontban, tekintse meg a vektorizáló konfigurálását. Ehhez a lépéshez mindenképpen használja az Azure AI Foundry modellkatalógus-vektorizálót .

Minta AML-képesség hasznos adatai

Amikor beágyazási modelleket helyez üzembe az Azure AI Foundry modellkatalógusából , az Azure AI Search AML-képességével csatlakozik hozzájuk a számítási feladatok indexeléséhez.

Ez a szakasz az AML-képességdefiníciókat és az indexleképezéseket ismerteti. Olyan minta hasznos adatokat tartalmaz, amelyek már konfigurálva vannak a megfelelő üzembe helyezett végpontok használatára. A hasznos adatok működésével kapcsolatos további technikai részletekért olvassa el a Skill környezetét és a beviteli széljegyzet nyelvét.

Facebook-beágyazási modellek

Ez az AML-képesség hasznos adata az alábbi képbeágyazási modellekkel működik az Azure AI Foundryből:

• Facebook-DinoV2-Image-Embeddings-ViT-Base
• Facebook-DinoV2-Image-Embeddings-ViT-Giant

Feltételezi, hogy a képek a /document/normalized_images/* beépített képkinyerés engedélyezésével létrehozott elérési útból származnak. Ha a képek egy másik elérési útról származnak, vagy URL-címként vannak tárolva, frissítse az elérési útra mutató összes hivatkozást aszerint /document/normalized_images/* .

Az URI és a kulcs a modell katalógusból való üzembe helyezésekor jön létre. További információ ezekről az értékekről: Nagy nyelvi modellek üzembe helyezése az Azure AI Foundryvel.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/normalized_images/*",
  "uri": "https://myproject-1a1a-abcd.eastus.inference.ml.azure.com/score",
  "timeout": "PT1M",
  "key": "bbbbbbbb-1c1c-2d2d-3e3e-444444444444",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/normalized_images/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[[$(/document/normalized_images/*/data), '']]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "image_features"
    }
  ]
}

Társbeágyazási modellek

Ez az AML-képesség hasznos adata az alábbi szöveges beágyazási modellekkel működik az Azure AI Foundryből:

• Cohere-embed-v3-english
• Cohere-embed-v3-többnyelvű

Feltételezi, hogy a Szöveg felosztása képesség használatával osztja el a tartalmat, ezért a vektorizálandó szöveg az /document/pages/* elérési úton található. Ha a szöveg egy másik elérési útról származik, ennek megfelelően frissítse az /document/pages/* elérési útra mutató összes hivatkozást.

Hozzá kell adnia az /v1/embed elérési utat az Azure AI Foundry-példányból kimásolt URL-cím végéhez. Módosíthatja a , truncate és embedding_types a input_typebemenetek értékeit is, hogy jobban illeszkedjenek a használati esethez. A rendelkezésre álló lehetőségekről a Cohere Embed API-referenciában talál további információt.

Az URI és a kulcs a modell katalógusból való üzembe helyezésekor jön létre. Ezekről az értékekről további információt a Cohere Beágyazási modellek üzembe helyezése az Azure AI Foundryvel című témakörben talál.

Vegye figyelembe, hogy az integráció jelenleg nem támogatja a képi URI-kat.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "https://cohere-embed-v3-multilingual-hin.eastus.models.ai.azure.com/v1/embed",
  "key": "aaaaaaaa-0b0b-1c1c-2d2d-333333333333",
  "inputs": [
    {
      "name": "texts",
      "source": "=[$(/document/pages/*)]"
    },
    {
      "name": "input_type",
      "source": "='search_document'"
    },
    {
      "name": "truncate",
      "source": "='NONE'"
    },
    {
      "name": "embedding_types",
      "source": "=['float']"
    }
  ],
  "outputs": [
    {
      "name": "embeddings",
      "targetName": "aml_vector_data"
    }
  ]
}

Emellett a Cohere-modell kimenete nem közvetlenül a beágyazási tömb, hanem egy JSON-objektum, amely tartalmazza azt. Az indexdefinícióval indexProjections outputFieldMappingsvaló megfeleltetéskor a megfelelő kijelölést kell kiválasztania. Íme egy hasznos adatminta indexProjections , amely lehetővé teszi a leképezés implementálását.

Ha a képességdefinícióban egy másikat embedding_types jelölt ki, amelyet módosítania float kell a source választott típus elérési útján.

"indexProjections": {
  "selectors": [
    {
      "targetIndexName": "<YOUR_TARGET_INDEX_NAME_HERE>",
      "parentKeyFieldName": "ParentKey", // Change this to the name of the field in your index definition where the parent key will be stored
      "sourceContext": "/document/pages/*",
      "mappings": [
        {
          "name": "aml_vector", // Change this to the name of the field in your index definition where the Cohere embedding will be stored
          "source": "/document/pages/*/aml_vector_data/float/0"
        }
      ]
    }
  ],
  "parameters": {}
}

Azure AI Foundry-vektorizáló hasznos adatminta

Az Azure AI Foundry vektorizáló az AML-képességtől eltérően csak az Azure AI Foundry-modellkatalóguson keresztül üzembe helyezhető beágyazási modellekkel működik. A fő különbség az, hogy nem kell aggódnia a kérés és a válasz hasznos adatai miatt, de meg kell adnia azt modelNamea "modellazonosítót", amelyet a modell Azure AI Foundry portálon való üzembe helyezése után másolt.

Íme egy minta hasznos adat arról, hogyan konfigurálná a vektorizálót az indexdefiníción az Azure AI Foundryből másolt tulajdonságok alapján.

A Cohere-modellek esetében NEM szabad az /v1/embed URL-cím végéhez hozzáadni az elérési utat, mint a szakértelemmel.

"vectorizers": [
    {
        "name": "<YOUR_VECTORIZER_NAME_HERE>",
        "kind": "aml",
        "amlParameters": {
            "uri": "<YOUR_URL_HERE>",
            "key": "<YOUR_PRIMARY_KEY_HERE>",
            "modelName": "<YOUR_MODEL_ID_HERE>"
        },
    }
]

Csatlakozás jogkivonat-hitelesítéssel

Ha nem tudja használni a kulcsalapú hitelesítést, ehelyett konfigurálhatja az AML-készséget és az Azure AI Foundry vektoros kapcsolatát a jogkivonat-hitelesítéshez szerepköralapú hozzáférés-vezérléssel az Azure-ban. A keresési szolgáltatásnak rendszer- vagy felhasználó által hozzárendelt felügyelt identitással kell rendelkeznie, és az identitásnak tulajdonosi vagy közreműködői engedélyekkel kell rendelkeznie az AML-projekt munkaterületéhez. Ezután eltávolíthatja a kulcsmezőt a képesség- és vektorizáló-definícióból, és lecserélheti a resourceId mezőre. Ha az AML-projekt és a keresési szolgáltatás különböző régiókban található, adja meg a régió mezőt is.

"uri": "<YOUR_URL_HERE>",
"resourceId": "subscriptions/<YOUR_SUBSCRIPTION_ID_HERE>/resourceGroups/<YOUR_RESOURCE_GROUP_NAME_HERE>/providers/Microsoft.MachineLearningServices/workspaces/<YOUR_AML_WORKSPACE_NAME_HERE>/onlineendpoints/<YOUR_AML_ENDPOINT_NAME_HERE>",
"region": "westus", // Only need if AML project lives in different region from search service

Következő lépések

• Vektorizáló konfigurálása keresési indexben
• Index-előrejelzések konfigurálása egy készségkészletben
• AML-képesség
• Azure AI Foundry-vektorizáló
• Képességkörnyezet és beviteli széljegyzet nyelve