Geïntegreerde vectorisatie implementeren met behulp van modellen van Azure AI Studio

Belangrijk

Deze functie is beschikbaar als openbare preview onder aanvullende gebruiksvoorwaarden. De REST API 2024-05-01-Preview ondersteunt deze functie.

In dit artikel leert u hoe u toegang krijgt tot de insluitmodellen in de Azure AI Studio-modelcatalogus voor vectorconversies tijdens het indexeren en uitvoeren van query's in Azure AI Search.

De werkstroom bevat stappen voor modelimplementatie. De modelcatalogus bevat het insluiten van modellen van Azure OpenAI, Cohere, Facebook en OpenAI. Het implementeren van een model is factureerbaar volgens de factureringsstructuur van elke provider.

Nadat het model is geïmplementeerd, kunt u het gebruiken voor geïntegreerde vectorisatie tijdens het indexeren of met de AI Studio-vectorizer voor query's.

Een insluitmodel implementeren vanuit de Azure AI Studio-modelcatalogus

1. Open de azure AI Studio-modelcatalogus.

2. Pas een filter toe om alleen de insluitmodellen weer te geven. Selecteer Onder Deductietaken de optie Insluitingen:

   

3. Selecteer het model waarmee u uw inhoud wilt vectoriseren. Selecteer vervolgens Implementeren en kies een implementatieoptie.

   

4. Vul de gevraagde gegevens in. Selecteer of maak een nieuw AI-project en selecteer vervolgens Implementeren. De implementatiedetails variëren, afhankelijk van het model dat u selecteert.

5. Wacht totdat het model is geïmplementeerd door de inrichtingsstatus te bewaken. Het moet worden gewijzigd van 'Inrichten' in 'Bijwerken' in 'Geslaagd'. Mogelijk moet u om de paar minuten Vernieuwen selecteren om de statusupdate weer te geven.

6. Kopieer de velden URL, primaire sleutel en model-id en zet deze opzij voor later gebruik. U hebt deze waarden nodig voor de vectorizerdefinitie in een zoekindex en voor de vaardighedenset die de modeleindpunten aanroept tijdens het indexeren.

   U kunt eventueel uw eindpunt wijzigen om tokenverificatie te gebruiken in plaats van sleutelverificatie. Als u tokenverificatie inschakelt, hoeft u alleen de URL en model-id te kopiëren en ook te noteren in welke regio het model wordt geïmplementeerd.

   

7. U kunt nu een zoekindex en indexeerfunctie configureren om het geïmplementeerde model te gebruiken.

   • Als u het model tijdens het indexeren wilt gebruiken, raadpleegt u de stappen om geïntegreerde vectorisatie in te schakelen. Zorg ervoor dat u de AML-vaardigheid (Azure Machine Learning) gebruikt en niet de vaardigheid AzureOpenAIEmbedding. In de volgende sectie wordt de configuratie van de vaardigheid beschreven.

   • Zie Een vectorizer configureren om het model te gebruiken als vectorizer tijdens het uitvoeren van query's. Zorg ervoor dat u de Vectorizer voor de Azure AI Studio-modelcatalogus gebruikt voor deze stap.

Voorbeeld van nettoladingen van AML-vaardigheden

Wanneer u insluitmodellen implementeert vanuit de Azure AI Studio-modelcatalogus , maakt u er verbinding mee met behulp van de AML-vaardigheid in Azure AI Search voor indexeringsworkloads.

In deze sectie worden de AML-vaardigheidsdefinities en indextoewijzingen beschreven. Het bevat voorbeeldpayloads die al zijn geconfigureerd om te werken met hun bijbehorende geïmplementeerde eindpunten. Lees voor meer technische informatie over hoe deze nettoladingen werken over de vaardigheidscontext en de invoeraantekeningstaal.

Tekstinvoer voor 'Deductie'-API

Deze nettolading van AML-vaardigheden werkt met de volgende modellen van AI Studio:

• OpenAI-CLIP-Image-Text-Embeddings-vit-base-patch32
• OpenAI-CLIP-Image-Text-Embeddings-ViT-Large-Patch14-336

Hierbij wordt ervan uitgegaan dat u uw inhoud opsplitst met behulp van de vaardigheid Tekst splitsen en dat de tekst die moet worden gevectoriseerd, zich in het /document/pages/* pad bevindt. Als uw tekst afkomstig is van een ander pad, moet u alle verwijzingen naar het /document/pages/* pad dienovereenkomstig bijwerken.

De URI en sleutel worden gegenereerd wanneer u het model vanuit de catalogus implementeert. Zie Hoe u grote taalmodellen implementeert met Azure AI Studio voor meer informatie over deze waarden.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "<YOUR_MODEL_URL_HERE>",
  "key": "<YOUR_MODEL_KEY_HERE>",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/pages/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[['', $(/document/pages/*)]]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "text_features"
    }
  ]
}

Afbeeldingsinvoer voor 'Deductie'-API

Deze nettolading van AML-vaardigheden werkt met de volgende modellen van AI Studio:

• OpenAI-CLIP-Image-Text-Embeddings-vit-base-patch32
• OpenAI-CLIP-Image-Text-Embeddings-ViT-Large-Patch14-336
• Facebook-DinoV2-Image-Embeddings-ViT-Base
• Facebook-DinoV2-Image-Embeddings-ViT-Giant

Hierbij wordt ervan uitgegaan dat uw afbeeldingen afkomstig zijn van het /document/normalized_images/* pad dat wordt gemaakt door ingebouwde afbeeldingsextractie in te schakelen. Als uw afbeeldingen afkomstig zijn van een ander pad of als URL's zijn opgeslagen, werkt u alle verwijzingen naar het pad bij op basis van het /document/normalized_images/* pad.

De URI en sleutel worden gegenereerd wanneer u het model vanuit de catalogus implementeert. Zie Hoe u grote taalmodellen implementeert met Azure AI Studio voor meer informatie over deze waarden.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/normalized_images/*",
  "uri": "<YOUR_MODEL_URL_HERE>",
  "key": "<YOUR_MODEL_HERE>",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/normalized_images/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[[$(/document/normalized_images/*/data), '']]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "image_features"
    }
  ]
}

Cohere

Deze nettolading van AML-vaardigheden werkt met de volgende modellen van AI Studio:

• Cohere-embed-v3-english
• Cohere-embed-v3-multilingual

Hierbij wordt ervan uitgegaan dat u uw inhoud opsplitst met de SplitSkill en dat uw tekst die moet worden gevectoriseerd, zich in het /document/pages/* pad bevindt. Als uw tekst afkomstig is van een ander pad, werkt u alle verwijzingen naar het pad bij op basis van het /document/pages/* pad.

U moet het /v1/embed pad toevoegen aan het einde van de URL die u hebt gekopieerd uit uw AI Studio-implementatie. U kunt ook de waarden voor de input_typeen truncate embedding_types invoer wijzigen zodat deze beter in uw gebruiksscenario passen. Raadpleeg de naslaginformatie over de insluit-API voor Cohere voor meer informatie over de beschikbare opties.

De URI en sleutel worden gegenereerd wanneer u het model vanuit de catalogus implementeert. Zie Cohere Embed-modellen implementeren met Azure AI Studio voor meer informatie over deze waarden.

Houd er rekening mee dat afbeeldings-URI's momenteel niet worden ondersteund door deze integratie.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "<YOUR_MODEL_URL_HERE>/v1/embed",
  "key": "<YOUR_MODEL_KEY_HERE>",
  "inputs": [
    {
      "name": "texts",
      "source": "=[$(/document/pages/*)]"
    },
    {
      "name": "input_type",
      "source": "='search_document'"
    },
    {
      "name": "truncate",
      "source": "='NONE'"
    },
    {
      "name": "embedding_types",
      "source": "=['float']"
    }
  ],
  "outputs": [
    {
      "name": "embeddings",
      "targetName": "aml_vector_data"
    }
  ]
}

Bovendien is de uitvoer van het Cohere-model niet rechtstreeks de insluitingsmatrix, maar eerder een JSON-object dat het bevat. U moet deze op de juiste manier selecteren wanneer u deze toewijst aan de indexdefinitie via indexProjections of outputFieldMappings. Hier volgt een voorbeeld indexProjections van een nettolading waarmee u deze toewijzing kunt implementeren.

Als u een andere embedding_types vaardigheidsdefinitie hebt geselecteerd die u moet wijzigen float in het source pad naar het juiste type dat u in plaats daarvan hebt geselecteerd.

"indexProjections": {
  "selectors": [
    {
      "targetIndexName": "<YOUR_TARGET_INDEX_NAME_HERE>",
      "parentKeyFieldName": "ParentKey", // Change this to the name of the field in your index definition where the parent key will be stored
      "sourceContext": "/document/pages/*",
      "mappings": [
        {
          "name": "aml_vector", // Change this to the name of the field in your index definition where the Cohere embedding will be stored
          "source": "/document/pages/*/aml_vector_data/float/0"
        }
      ]
    }
  ],
  "parameters": {}
}

Voorbeeld van ai Studio vectorizer-nettolading

De AI Studio Vectorizer, in tegenstelling tot de AML-vaardigheid, is afgestemd op alleen die ingesloten modellen die kunnen worden geïmplementeerd via de AI Studio-modelcatalogus. Het belangrijkste verschil is dat u zich geen zorgen hoeft te maken over de nettolading van aanvragen en antwoorden, maar u moet wel de modelName, die overeenkomt met de 'model-id' die u hebt gekopieerd na het implementeren van het model in AI Studio.

Hier volgt een voorbeeld van de wijze waarop u de vectorizer in uw indexdefinitie configureert op basis van de eigenschappen die zijn gekopieerd uit AI Studio.

Voor Cohere-modellen moet u niet het /v1/embed pad toevoegen aan het einde van uw URL, zoals u dat met de vaardigheid hebt gedaan.

"vectorizers": [
    {
        "name": "<YOUR_VECTORIZER_NAME_HERE>",
        "kind": "aml",
        "amlParameters": {
            "uri": "<YOUR_URL_HERE>",
            "key": "<YOUR_PRIMARY_KEY_HERE>",
            "modelName": "<YOUR_MODEL_ID_HERE>"
        },
    }
]

Verbinding maken met behulp van tokenverificatie

Als u geen verificatie op basis van sleutels kunt gebruiken, kunt u in plaats daarvan de AML-vaardigheid en ai Studio vectorizer-verbinding voor tokenverificatie configureren via op rollen gebaseerd toegangsbeheer in Azure. De zoekservice moet een door het systeem of de gebruiker toegewezen beheerde identiteit hebben en de identiteit moet eigenaars- of inzendermachtigingen hebben voor uw AML-projectwerkruimte. Vervolgens kunt u het sleutelveld verwijderen uit de definitie van uw vaardigheid en vectorizer, waarbij u dit vervangt door het resourceId-veld. Als uw AML-project en zoekservice zich in verschillende regio's bevinden, geeft u ook het regioveld op.

"uri": "<YOUR_URL_HERE>",
"resourceId": "subscriptions/<YOUR_SUBSCRIPTION_ID_HERE>/resourceGroups/<YOUR_RESOURCE_GROUP_NAME_HERE>/providers/Microsoft.MachineLearningServices/workspaces/<YOUR_AML_WORKSPACE_NAME_HERE>/onlineendpoints/<YOUR_AML_ENDPOINT_NAME_HERE>",
"region": "westus", // Only need if AML project lives in different region from search service

Volgende stappen

• Een vectorizer configureren in een zoekindex
• Indexprojecties configureren in een vaardighedenset
• AML-vaardigheid
• Azure AI Studio Vectorizer
• Vaardigheidscontext en invoeraantekeningstaal