Aracılığıyla paylaş

Azure Vision çok modüllü ekleme becerisi

Önemli

Bu beceri, Ek Kullanım Koşulları altında genel önizleme aşamasındadır. 2024-05-01-Preview REST API'leri ve daha yeni önizleme API'leri bu özelliği destekler.

Azure Vision çok modüllü ekleme becerisi, Metin veya görüntü girişi için eklemeler oluşturmak üzere Döküm Araçları'nda Azure Vision'dan çok modüllü eklemeLER API'sini kullanır.

Günlük dizin oluşturucu başına 20 belgeyi aşan işlemler için bu beceri, beceri setinize faturalanabilir bir Microsoft Foundry kaynağı eklemenizi gerektirir. Yerleşik becerilerin yürütülmesi mevcut Döküm Araçları Standart fiyatından ücretlendirilir. Görüntü ayıklama, Azure AI Search tarafından da faturalandırılabilir.

Microsoft Foundry kaynağı yalnızca faturalama amacıyla kullanılır. İçerik işleme, Azure AI Search tarafından yönetilen ve korunan ayrı kaynaklarda gerçekleşir. Verileriniz kaynağınızın dağıtıldığı Coğrafi bölgede işlenir.

Desteklenen bölgeler

Desteklenen bölgeler, modaliteye ve becerinin Azure Vision çok modlu eklemeler API'sine nasıl bağlandığına göre farklılık gösterir.

Yaklaşım Gereksinim
Verileri içeri aktarma (yeni) sihirbazı
  1. Azure Vision'da çok modüllü eklemeleri destekleyen bir bölge bulun.
  2. Bölgenin Azure AI Search'te yapay zeka zenginleştirmesini desteklediğini doğrulayın.
  3. Aynı bölgede bir Azure AI Arama hizmeti ve Azure AI çok hizmetli hesabı oluşturun.
Programatik olarak, faturalama için anahtar tabanlı bağlantı kullanarak
  1. Azure Vision'da çok modüllü eklemeleri destekleyen bir bölge bulun.
  2. Bölgenin Azure AI Search'te yapay zeka zenginleştirmesini desteklediğini doğrulayın.
  3. Aynı bölgede bir Azure AI Search hizmeti ve Microsoft Foundry kaynağı oluşturun.
Programatik olarak, faturalama için anahtarsız bağlantı kullanma Aynı bölge gereksinimi yoktur. Her hizmetin kullanılabildiği herhangi bir bölgede bir Azure AI Search hizmeti ve Microsoft Foundry kaynağı oluşturun.

@odata.type

Microsoft.Skills.Vision.VectorizeSkill

Veri sınırları

Beceri için giriş sınırları, resimler ve metinler için Azure Görüntü İşleme belgelerinde bulunabilir. Metin girişleri için veri öbekleme gereksiniminiz varsa Metin Bölme becerisini kullanmayı göz önünde bulundurun.

Geçerli girişler şunlardır:

  • Görüntü giriş dosyası boyutu 20 megabayttan (MB) küçük olmalıdır. Görüntü boyutu 10 x 10 pikselden büyük ve 16.000 x 16.000 pikselden küçük olmalıdır.
  • Metin giriş dizesi (dahil) bir sözcük ile 70 sözcük arasında olmalıdır.

Beceri parametreleri

Parametreler büyük/küçük harfe duyarlıdır.

Girişler Açıklama
modelVersion (Gerekli) Ekleme oluşturmak için Azure Vision çok modüllü eklemeLER API'sine geçirilecek model sürümü (2023-04-15). Vektör ekleme işlemleri yalnızca aynı model türündeyse karşılaştırılabilir ve eşleştirilebilir. Bir model tarafından vektörleştirilen görüntüler farklı bir modelde aranamaz. En son Görüntü Analizi API'sinde iki model sunulur:
  • Birçok 2023-04-15 dilde metin aramasını destekleyen sürüm. Azure AI Search bu sürümü kullanır.
  • Yalnızca İngilizceyi destekleyen eski 2022-04-11 model.

Beceri girişleri

Beceri tanımı girişleri ad, kaynak ve girişleri içerir. Aşağıdaki tablo, girişin adı için geçerli değerler sağlar. Özyinelemeli girişler de belirtebilirsiniz. Daha fazla bilgi için bkz. REST API başvurusu ve Beceri kümesi oluşturma.

Giriş Açıklama
text Vektörleştirilecek giriş metni. Veri öbekleme kullanıyorsanız, kaynak olabilir /document/pages/*.
image Karmaşık Tür. Şu anda yalnızca Dışında imageActionbir değere ayarlandığında Azure blob dizin oluşturucu none tarafından üretilen "/document/normalized_images" alanıyla çalışır.
url Vektörleştirilecek görüntüyü indirme URL'si.
queryString Vektörleştirilecek görüntüyü indirmek için URL'nin sorgu dizesi. URL ve SAS belirtecini ayrı yollarda depolarsanız kullanışlıdır.

becerinin textimage tek bir örneği için yalnızca biri veya url/queryString yapılandırılabilir. Aynı beceri kümesi içindeki hem görüntüleri hem de metinleri vektörleştirmek istiyorsanız, beceri kümesi tanımına bu becerinin iki örneğini ekleyin ve kullanmak istediğiniz her giriş türü için bir tane ekleyin.

Beceri çıkışları

Çıktı Açıklama
vector Giriş metni veya görüntüsü için floats dizisinin çıkış eklemesi.

Örnek tanım

Metin girişi için aşağıdaki içeriğe sahip bir blobu göz önünde bulundurun:

{
    "content": "Forests, grasslands, deserts, and mountains are all part of the Patagonian landscape that spans more than a million square  kilometers of South America."
}

Metin girişleri için beceri tanımınız şu şekilde görünebilir:

{ 
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill", 
    "context": "/document", 
    "modelVersion": "2023-04-15", 
    "inputs": [ 
        { 
            "name": "text", 
            "source": "/document/content" 
        } 
    ], 
    "outputs": [ 
        { 
            "name": "vector",
            "targetName": "text_vector"
        } 
    ] 
}

Görüntü girişi için, aynı beceri kümesindeki ikinci bir beceri tanımı aşağıdaki gibi görünebilir:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document/normalized_images/*",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "image",
            "source": "/document/normalized_images/*"
        }
    ],
    "outputs": [
        {
            "name": "vector",
            "targetName": "image_vector"
        }
    ]
}

Dizin oluşturma sırasında görüntüleri ayıklamak yerine doğrudan blob depolama veri kaynağınızdan görüntüleri vektörleştirmek istiyorsanız, beceri tanımınız bir URL ve depolama güvenliğine bağlı olarak bir SAS belirteci belirtmelidir. Bu senaryo için beceri tanımınız şu şekilde görünebilir:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "url",
            "source": "/document/metadata_storage_path"
        },
        {
            "name": "queryString",
            "source": "/document/metadata_storage_sas_token"
        }
    ],
    "outputs": [
        {
            "name": "vector",
            "targetName": "image_vector"
        }
    ]
}

Örnek çıktı

Verilen giriş için vektörleştirilmiş bir ekleme çıkışı oluşturulur. Çıktı 1.024 boyutdur ve bu, Azure Vision çok modüllü API tarafından desteklenen boyut sayısıdır.

{
  "text_vector": [
        0.018990106880664825,
        -0.0073809814639389515,
        .... 
        0.021276434883475304,
      ]
}

Çıkış bellekte bulunur. Bu çıkışı arama dizinindeki bir alana göndermek için, vektörleştirilmiş ekleme çıkışını (bir dizi) bir vektör alanıyla eşleyen bir outputFieldMapping tanımlamanız gerekir. Beceri çıkışının belgenin vektör düğümünde yer aldığını ve content_vector arama dizinindeki alan olduğunu varsayarsak, dizin oluşturucudaki outputFieldMapping aşağıdaki gibi görünmelidir:

  "outputFieldMappings": [
    {
      "sourceFieldName": "/document/vector/*",
      "targetFieldName": "content_vector"
    }
  ]

Görüntü eklemelerini dizine eşlemek için dizin projeksiyonlarını kullanırsınız. için indexProjections yükü aşağıdaki örneğe benzer olabilir. image_content_vector dizindeki bir alandır ve normalized_images dizisinin vektörde bulunan içerikle doldurulur.

"indexProjections": {
    "selectors": [
        {
            "targetIndexName": "myTargetIndex",
            "parentKeyFieldName": "ParentKey",
            "sourceContext": "/document/normalized_images/*",
            "mappings": [
                {
                    "name": "image_content_vector",
                    "source": "/document/normalized_images/*/vector"
                }
            ]
        }
    ]
}

Ayrıca bkz.

  • Last updated on