Použití vložených modelů z katalogu modelů Azure AI Foundry pro integrovanou vektorizaci

Důležité

Tato funkce je ve veřejné verzi Preview v rámci dodatečných podmínek použití. Rozhraní REST API verze 2024-05-05-01-Preview tuto funkci podporuje.

V tomto článku se dozvíte, jak získat přístup k modelům vkládání v katalogu modelů Azure AI Foundry pro převod vektorů během indexování a dotazů ve službě Azure AI Search.

Pracovní postup zahrnuje kroky nasazení modelu. Katalog modelů zahrnuje vkládání modelů od Microsoftu a dalších společností. Nasazení modelu je fakturovatelné podle struktury fakturace jednotlivých poskytovatelů.

Po nasazení modelu ho můžete použít k integrované vektorizaci během indexování nebo pomocí vektorizátoru Azure AI Foundry pro dotazy.

Návod

Pomocí průvodce importem dat (nový) vygenerujte sadu dovedností, která zahrnuje dovednosti AML pro nasazené modely vkládání do Azure AI Foundry. Definice dovedností AML pro vstupy, výstupy a mapování jsou generovány průvodcem, což vám umožňuje snadný způsob, jak otestovat model před napsáním jakéhokoli kódu.

Požadavky

• Azure AI Search, libovolná oblast a úroveň

• Azure AI Foundry a projekt Azure AI Foundry

Podporované modely vkládání

Podporované vkládání modelů z katalogu modelů Azure AI Foundry se liší podle metody použití:

• Nejnovější seznam programově podporovaných modelů najdete v referencích na vektorizátor modelového katalogu AML a Azure AI Foundry.

• Nejnovější seznam modelů podporovaných na webu Azure Portal najdete v rychlém startu: Vektorové vyhledávání na webu Azure Portal a rychlý start: Vícemodální vyhledávání na webu Azure Portal.

Nasazení modelu vkládání z katalogu modelů Azure AI Foundry

1. Otevřete katalog modelů Azure AI Foundry. Pokud ho ještě nemáte, vytvořte projekt.

2. V levém podokně vyberte Katalog modelů.

3. Pomocí filtru zobrazíte jenom modely vkládání. V části Úkoly odvozování vyberte Vložit.

   

4. Vyberte podporovaný model a pak vyberte Použít tento model.

   

5. Podle potřeby přijměte výchozí hodnoty nebo upravte a pak vyberte Nasadit. Podrobnosti o nasazení se liší v závislosti na modelu, který vyberete.

6. Počkejte na dokončení nasazení modelu monitorováním stavu zřizování. Mělo by se změnit z "Zřizování" na "Aktualizace" na "Úspěch". Možná budete muset vybrat Aktualizovat každých několik minut, abyste viděli aktualizaci stavu.

7. Poznamenejte si cílový identifikátor URI, klíč a název modelu. Tyto hodnoty potřebujete pro definici vektorizátoru v indexu vyhledávání a sadu dovedností, která během indexování volá koncové body modelu.

   Volitelně můžete koncový bod změnit tak, aby místo ověřování pomocí klíče používal ověřování pomocí tokenu. Pokud povolíte ověřování tokenů, stačí zkopírovat identifikátor URI a název modelu, ale poznamenejte si, do které oblasti se model nasadí.

   

8. Teď můžete nakonfigurovat index vyhledávání a indexer tak, aby používal nasazený model.

   • Pokud chcete model použít při indexování, přečtěte si postup povolení integrované vektorizace. Nezapomeňte použít dovednost Azure Machine Learning (AML) a ne dovednosti AzureOpenAIEmbedding. Další část popisuje konfiguraci dovedností.

   • Pokud chcete model použít jako vektorizátor v době dotazu, přečtěte si téma Konfigurace vektorizátoru. Pro tento krok nezapomeňte použít vektorizátor katalogu modelů Azure AI Foundry.

Ukázkové datové části dovedností AML

Když nasadíte vložené modely z katalogu modelů Azure AI Foundry, připojíte se k nim pomocí dovednosti AML ve službě Azure AI Search pro úlohy indexování.

Tato část popisuje definici dovedností AML a mapování indexů. Zahrnuje ukázkové datové části, které jsou už nakonfigurované tak, aby fungovaly s odpovídajícími nasazenými koncovými body. Další technické podrobnosti o tom, jak tyto zátěže fungují, najdete v jazyce pro kontext dovednosti a poznámkový jazyk pro vstupy.

Modely zapouzdření Cohere

Tato datová část dovednosti AML funguje s následujícími modely vkládání:

• Cohere-embed-v3-english
• Cohere-embed-v3-multilingual
• Cohere-embed-v4

Předpokládá se, že obsah blokujete pomocí dovednosti Rozdělení textu, a proto je váš text v cestě /document/pages/* vektorizovaný. Pokud text pochází z jiné cesty, aktualizujte všechny odkazy na /document/pages/* cestu odpovídajícím způsobem.

Cestu musíte přidat /v1/embed na konec adresy URL, kterou jste zkopírovali z nasazení Azure AI Foundry. Můžete také změnit hodnoty pro input_type, truncatea embedding_types vstupy tak, aby lépe vyhovovaly vašemu případu použití. Další informace o dostupných možnostech najdete v referenčních informacích k rozhraní API pro vložení Cohere.

Identifikátor URI a klíč se vygenerují při nasazení modelu z katalogu. Další informace o těchto hodnotách najdete v tématu Nasazení modelů Cohere Embed pomocí Azure AI Foundry.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "https://cohere-embed-v3-multilingual-hin.eastus.models.ai.azure.com/v1/embed",
  "key": "aaaaaaaa-0b0b-1c1c-2d2d-333333333333",
  "inputs": [
    {
      "name": "texts",
      "source": "=[$(/document/pages/*)]"
    },
    {
      "name": "input_type",
      "source": "='search_document'"
    },
    {
      "name": "truncate",
      "source": "='NONE'"
    },
    {
      "name": "embedding_types",
      "source": "=['float']"
    }
  ],
  "outputs": [
    {
      "name": "embeddings",
      "targetName": "aml_vector_data"
    }
  ]
}

Výstup modelu Cohere navíc není pole vkládání přímo, ale spíše objekt JSON, který ho obsahuje. Při mapování na definici indexProjections indexu pomocí nebo outputFieldMappings. Tady je ukázková datová indexProjections část, která vám umožní provést implementaci tohoto mapování.

Pokud jste ve vaší definici dovednosti vybrali jiný embedding_types, změňte float v cestě source na typ, který jste vybrali.

"indexProjections": {
  "selectors": [
    {
      "targetIndexName": "<YOUR_TARGET_INDEX_NAME_HERE>",
      "parentKeyFieldName": "ParentKey", // Change this to the name of the field in your index definition where the parent key will be stored
      "sourceContext": "/document/pages/*",
      "mappings": [
        {
          "name": "aml_vector", // Change this to the name of the field in your index definition where the Cohere embedding will be stored
          "source": "/document/pages/*/aml_vector_data/float/0"
        }
      ]
    }
  ],
  "parameters": {}
}

Ukázková datová část vektorizátoru Azure AI Foundry

Vektorizátor Azure AI Foundry, na rozdíl od dovednosti AML, je přizpůsobený tak, aby fungoval pouze s modely vkládání, které je možné nasadit prostřednictvím katalogu modelů Azure AI Foundry. Hlavní rozdíl spočívá v tom, že se nemusíte starat o datovou část požadavku a odpovědi, ale musíte zadat modelNameid modelu, které jste zkopírovali po nasazení modelu na portálu Azure AI Foundry.

Tady je ukázková datová část toho, jak byste na definici indexu nakonfigurovali vektorizátor vzhledem k vlastnostem zkopírovaným z Azure AI Foundry.

U modelů Cohere byste neměli přidávat /v1/embed cestu na konec adresy URL, jako jste to udělali s dovedností.

"vectorizers": [
    {
        "name": "<YOUR_VECTORIZER_NAME_HERE>",
        "kind": "aml",
        "amlParameters": {
            "uri": "<YOUR_URL_HERE>",
            "key": "<YOUR_PRIMARY_KEY_HERE>",
            "modelName": "<YOUR_MODEL_ID_HERE>"
        },
    }
]

Připojení pomocí ověřování tokenů

Pokud nemůžete použít ověřování založené na klíči, můžete místo toho nakonfigurovat dovednosti AML a připojení vektorizátoru Azure AI Foundry pro ověřování tokenů prostřednictvím řízení přístupu na základě role v Azure. Vyhledávací služba musí mít spravovanou identitu přiřazenou systémem nebo uživatelem a identita musí mít oprávnění vlastníka nebo přispěvatele pro váš pracovní prostor projektu AML. Potom můžete klíčové pole odebrat z definice dovednosti a vektorizátoru a nahradit ho polem resourceId. Pokud je projekt AML a vyhledávací služba v různých oblastech, zadejte také pole oblasti.

"uri": "<YOUR_URL_HERE>",
"resourceId": "subscriptions/<YOUR_SUBSCRIPTION_ID_HERE>/resourceGroups/<YOUR_RESOURCE_GROUP_NAME_HERE>/providers/Microsoft.MachineLearningServices/workspaces/<YOUR_AML_WORKSPACE_NAME_HERE>/onlineendpoints/<YOUR_AML_ENDPOINT_NAME_HERE>",
"region": "westus", // Only need if AML project lives in different region from search service

Poznámka:

Pro modely Cohere pro tuto integraci se v současné době nepodporuje ověřování tokenů; V tuto chvíli je k dispozici pouze ověřování pomocí klíče.

Další kroky

• Konfigurace vektorizátoru v indexu vyhledávání
• Konfigurace projekcí indexu v sadě dovedností
• Dovednost AML
• Vektorizátor Azure AI Foundry
• Kontext dovedností a jazyk pro zadávání poznámek