Azure AI Studio'dan modelleri kullanarak tümleşik vektörleştirme uygulama

Önemli

Bu özellik, Ek Kullanım Koşulları altında genel önizleme aşamasındadır. 2024-05-01-Preview REST API'si bu özelliği destekler.

Bu makalede, dizin oluşturma sırasında ve Azure AI Search'teki sorgularda vektör dönüştürmeleri için Azure AI Studio model kataloğundaki ekleme modellerine nasıl erişeceğinizi öğrenin.

İş akışı model dağıtım adımlarını içerir. Model kataloğu Azure OpenAI, Cohere, Facebook ve OpenAI modellerini eklemeyi içerir. Modelin dağıtılması, her sağlayıcının faturalama yapısına göre faturalandırılabilir.

Model dağıtıldıktan sonra, dizin oluşturma sırasında tümleşik vektörleştirme için veya sorgular için AI Studio vektörleştiricisi ile kullanabilirsiniz.

Azure AI Studio model kataloğundan ekleme modeli dağıtma

1. Azure AI Studio model kataloğunu açın.

2. Yalnızca ekleme modellerini göstermek için bir filtre uygulayın. Çıkarım görevleri'nin altında Eklemeler'i seçin:

   

3. İçeriğinizi vektörleştirmek istediğiniz modeli seçin. Ardından Dağıt'ı seçin ve bir dağıtım seçeneği belirleyin.

   

4. İstenen ayrıntıları doldurun. Yeni bir yapay zeka projesi seçin veya oluşturun ve ardından Dağıt'ı seçin. Dağıtım ayrıntıları, seçtiğiniz modele bağlı olarak değişir.

5. Sağlama Durumunu izleyerek modelin dağıtımı tamamlanmasını bekleyin. "Sağlama" yerine "Güncelleştirme" yerine "Başarılı" olarak değiştirilmelidir. Durum güncelleştirmesini görmek için birkaç dakikada bir Yenile'yi seçmeniz gerekebilir.

6. URL, Birincil anahtar ve Model Kimliği alanlarını kopyalayın ve daha sonra için bir kenara ayarlayın. Arama dizinindeki vektörleştirici tanımı ve dizin oluşturma sırasında model uç noktalarını çağıran beceri kümesi için bu değerlere ihtiyacınız vardır.

   İsteğe bağlı olarak, uç noktanızı Anahtar kimlik doğrulaması yerine Belirteç kimlik doğrulaması kullanacak şekilde değiştirebilirsiniz. Belirteç kimlik doğrulamasını etkinleştirirseniz, yalnızca URL'yi ve Model Kimliğini kopyalamanız ve ayrıca modelin hangi bölgeye dağıtıldığına dikkat etmeniz gerekir.

   

7. Artık bir arama dizini ve dizin oluşturucuyu dağıtılan modeli kullanacak şekilde yapılandırabilirsiniz.

   • Modeli dizin oluşturma sırasında kullanmak için tümleşik vektörleştirmeyi etkinleştirme adımlarına bakın. AzureOpenAIEmbedding becerisini değil Azure Machine Learning (AML) becerisini kullandığınızdan emin olun. Sonraki bölümde beceri yapılandırması açıklanmaktadır.

   • Modeli sorgu zamanında vektörleştirici olarak kullanmak için bkz . Vektörleştirici yapılandırma. Bu adım için Azure AI Studio model kataloğu vektörleştiricisini kullandığınızdan emin olun.

Örnek AML beceri yükleri

Azure AI Studio model kataloğundan ekleme modelleri dağıttığınızda, Azure AI Search'te dizin oluşturma iş yükleri için AML becerisini kullanarak bunlara bağlanırsınız.

Bu bölümde AML beceri tanımı ve dizin eşlemeleri açıklanmaktadır. İlgili dağıtılan uç noktalarıyla çalışacak şekilde yapılandırılmış örnek yükleri içerir. Bu yüklerin nasıl çalıştığı hakkında daha fazla teknik bilgi için Beceri bağlamı ve giriş ek açıklaması dili hakkında bilgi edinin.

"Çıkarım" API'si için Metin Girişi

Bu AML beceri yükü, AI Studio'dan aşağıdaki modellerle çalışır:

• OpenAI-CLIP-Image-Text-Embeddings-vit-base-patch32
• OpenAI-CLIP-Image-Text-Embeddings-ViT-Large-Patch14-336

Metin Bölme becerisini kullanarak içeriğinizi öbeklediğiniz ve vektörleştirilecek metnin yolda olduğu varsayılır/document/pages/*. Metniniz farklı bir yoldan geliyorsa, yola yapılan tüm başvuruları uygun şekilde güncelleştirin /document/pages/* .

Modeli katalogdan dağıttığınızda URI ve anahtar oluşturulur. Bu değerler hakkında daha fazla bilgi için bkz . Azure AI Studio ile büyük dil modelleri dağıtma.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "{YOUR_MODEL_URL_HERE}",
  "key": "{YOUR_MODEL_KEY_HERE}",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/pages/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[['', $(/document/pages/*)]]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "text_features"
    }
  ]
}

"Çıkarım" API'si için Görüntü Girişi

Bu AML beceri yükü, AI Studio'dan aşağıdaki modellerle çalışır:

• OpenAI-CLIP-Image-Text-Embeddings-vit-base-patch32
• OpenAI-CLIP-Image-Text-Embeddings-ViT-Large-Patch14-336
• Facebook-DinoV2-Image-Embeddings-ViT-Base
• Facebook-DinoV2-Image-Embeddings-ViT-Giant

Görüntülerinizin yerleşik görüntü ayıklamayı etkinleştirerek oluşturulan yoldan geldiğini /document/normalized_images/* varsayar. Resimleriniz farklı bir yoldan geliyorsa veya URL olarak depolanıyorsa, yola yapılan tüm başvuruları uygun şekilde güncelleştirin /document/normalized_images/* .

Modeli katalogdan dağıttığınızda URI ve anahtar oluşturulur. Bu değerler hakkında daha fazla bilgi için bkz . Azure AI Studio ile büyük dil modelleri dağıtma.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/normalized_images/*",
  "uri": "{YOUR_MODEL_URL_HERE}",
  "key": "{YOUR_MODEL_HERE}",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/normalized_images/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[[$(/document/normalized_images/*/data), '']]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "image_features"
    }
  ]
}

Tutarlılık

Bu AML beceri yükü, AI Studio'dan aşağıdaki modellerle çalışır:

• Cohere-embed-v3-english
• Cohere-embed-v3-multilingual

İçeriğinizi SplitSkill kullanarak öbeklediğiniz ve dolayısıyla vektörleştirilecek metninizin yolda olduğu varsayılır /document/pages/* . Metniniz farklı bir yoldan geliyorsa, yola yapılan tüm başvuruları uygun şekilde güncelleştirin /document/pages/* .

Yolu, AI Studio dağıtımınızdan kopyaladığınız URL'nin sonuna eklemeniz /v1/embed gerekir. Ayrıca, truncate kullanım örneğinize daha uygun olması için input_typeve embedding_types girişlerinin değerlerini de değiştirebilirsiniz. Kullanılabilir seçenekler hakkında daha fazla bilgi için Birlikte Ekleme API'si başvurusunu gözden geçirin.

Modeli katalogdan dağıttığınızda URI ve anahtar oluşturulur. Bu değerler hakkında daha fazla bilgi için bkz . Azure AI Studio ile Birlikte Ekleme modellerini dağıtma.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "{YOUR_MODEL_URL_HERE}/v1/embed",
  "key": "{YOUR_MODEL_KEY_HERE}",
  "inputs": [
    {
      "name": "texts",
      "source": "=[$(/document/pages/*)]"
    },
    {
      "name": "input_type",
      "source": "='search_document'"
    },
    {
      "name": "truncate",
      "source": "='NONE'"
    },
    {
      "name": "embedding_types",
      "source": "=['float']"
    }
  ],
  "outputs": [
    {
      "name": "embeddings",
      "targetName": "aml_vector_data"
    }
  ]
}

Buna ek olarak, Cohere modelinin çıkışı doğrudan embeddings dizisi değil, onu içeren bir JSON nesnesidir. veya outputFieldMappingsaracılığıyla indexProjections dizin tanımına eşlerken uygun şekilde seçmeniz gerekir. Bu eşlemeyi uygulamanıza olanak sağlayacak örnek indexProjections bir yük aşağıda verilmişti.

Beceri tanımınızda farklı embedding_types bir seçenek seçtiyseniz, bunun yerine seçtiğiniz uygun türe giden yolda değiştirmeniz floatsource gerekir.

"indexProjections": {
  "selectors": [
    {
      "targetIndexName": "{YOUR_TARGET_INDEX_NAME_HERE}",
      "parentKeyFieldName": "ParentKey", // Change this to the name of the field in your index definition where the parent key will be stored
      "sourceContext": "/document/pages/*",
      "mappings": [
        {
          "name": "aml_vector", // Change this to the name of the field in your index definition where the Cohere embedding will be stored
          "source": "/document/pages/*/aml_vector_data/float/0"
        }
      ]
    }
  ],
  "parameters": {}
}

Örnek AI Studio vektörleştirici yükü

AML becerisinden farklı olarak AI Studio vektörleştiricisi, yalnızca AI Studio model kataloğu aracılığıyla dağıtılabilen ekleme modelleriyle çalışacak şekilde uyarlanmıştır. Temel fark, istek ve yanıt yükü konusunda endişelenmeniz gerekmediğinden, modeli AI Studio'da dağıtdıktan sonra kopyaladığınız "Model Kimliği"ne karşılık gelen değerini sağlamanız modelNamegerekir.

AI Studio'dan kopyalanan özellikler göz önünde bulundurulduğunda dizin tanımınızda vektörleştiriciyi nasıl yapılandırabileceğinize ilişkin örnek bir yük aşağıda verilmiştir.

Tutarlı modeller için, beceriyle /v1/embed yaptığınız gibi URL'nizin sonuna yol eklemeMELISINIZ.

"vectorizers": [
    {
        "name": "{YOUR_VECTORIZER_NAME_HERE}",
        "kind": "aml",
        "amlParameters": {
            "uri": "{YOUR_URL_HERE}",
            "key": "{YOUR_PRIMARY_KEY_HERE}",
            "modelName": "{YOUR_MODEL_ID_HERE}"
        },
    }
]

Belirteç kimlik doğrulaması kullanarak Bağlan

Anahtar tabanlı kimlik doğrulamasını kullanamıyorsanız, bunun yerine Azure'da rol tabanlı erişim denetimi aracılığıyla belirteç kimlik doğrulaması için AML becerisini ve AI Studio vektörleştiricisi bağlantısını yapılandırabilirsiniz. Arama hizmetinin sistem veya kullanıcı tarafından atanan yönetilen kimliği ve kimliğin AML proje çalışma alanınız için Sahip veya Katkıda Bulunan izinlerine sahip olması gerekir. Daha sonra anahtar alanını beceri ve vektörleştirici tanımınızdan kaldırıp resourceId alanıyla değiştirebilirsiniz. AML projeniz ve arama hizmetiniz farklı bölgelerdeyse, bölge alanını da sağlayın.

"uri": "{YOUR_URL_HERE}",
"resourceId": "subscriptions/{YOUR_SUBSCRIPTION_ID_HERE/resourceGroups/{YOUR_RESOURCE_GROUP_NAME_HERE}/providers/Microsoft.MachineLearningServices/workspaces/{YOUR_AML_WORKSPACE_NAME_HERE}/onlineendpoints/{YOUR_AML_ENDPOINT_NAME_HERE}",
"region": "westus", // Only need if AML project lives in different region from search service

Sonraki adımlar

• Arama dizininde vektörleştirici yapılandırma
• Beceri kümesinde dizin projeksiyonlarını yapılandırma
• AML becerisi
• Azure AI Studio vektörleştiricisi
• Beceri bağlamı ve giriş ek açıklama dili