Başka bir dilde resimler için resim yazıları oluşturma

Not

Azure Yapay Zeka Arama Azure portalı, REST API'leri ve Azure SDK’ları aracılığıyla kullanılabilir. Ayrıca kuruluş içeriğini Microsoft Foundry portalındaki aracılar için yeniden kullanılabilir, izin kullanan bilgi bankalarına dönüştüren yönetilen bilgi katmanı Foundry IQ'yu temel alır.

Important

Bu özellikler ve işlevler, diğer Microsoft hizmetleri ve üçüncü taraf hizmetlerle bağlantıları destekler. Bu hizmetlerin kullanımı ilgili koşullara tabidir ve Azure uyumluluk sınırının dışında veri işleme veya depolamanın yanı sıra Azure uyumluluk sınırına akan verilere neden olabilir.

Verilerinizin kuruluşunuzun uyumluluk ve coğrafi sınırları dışında akıp akmayacağını ve ilgili etkileri ve uygun izinlerin, sınırların ve onayların sağlanıp sağlanmayacağını yönetmek sizin sorumluluğunuzdadır.

Özel kullanım örnekleriniz bağlamında oluşturduğunuz uygulamaları dikkatle gözden geçirmek ve test etmek ve tüm uygun kararları ve özelleştirmeleri yapmak sizin sorumluluğunuzdadır. Bu, metapromptlar, içerik filtreleri veya diğer güvenlik sistemleri gibi sorumlu yapay zeka risk azaltmalarınızı uygulamayı ve uygulamalarınızın uygun kalite, güvenilirlik, güvenlik ve güvenilirlik standartlarını karşılamasını sağlamayı içerir. Daha fazla bilgi için bkz. Azure Yapay Zeka Arama Saydamlık Notu.

Bu makalede, yapay zeka ile zenginleştirme ve yetenek seti kullanarak altyazılar oluşturmayı öğrenin. Görüntüler genellikle arama senaryolarıyla ilgili yararlı bilgiler içerir. Arama dizininizdeki görsel içeriği temsil etmek için görüntüleri vektörleştirebilirsiniz . İsterseniz yapay zeka zenginleştirmesi ve beceri kümelerini kullanarak resimlerden aranabilir metin oluşturabilir ve ayıklayabilirsiniz.

GenAI İstemi becerisi, veri kaynağınızdaki her görüntünün açıklamasını oluşturabilir ve dizin oluşturucu bu açıklamayı bir arama dizinine yönlendirir. Açıklamaları görüntülemek için, yanıtta bunları içeren bir sorgu çalıştırın.

Önkoşullar

Beceri kümesindeki görüntü içeriğiyle çalışmak için şunları yapmanız gerekir:

  • Desteklenen bir veri kaynağı. Azure Depolama öneririz.
  • Görüntü içeren dosyalar veya bloblar.
  • Desteklenen veri kaynağına okuma erişimi. Bu makalede anahtar tabanlı kimlik doğrulaması kullanılır, ancak dizin oluşturucular arama hizmeti kimliğini ve Microsoft Entra ID kimlik doğrulamasını kullanarak da bağlanabilir. Rol tabanlı erişim denetimi için, hizmet kimliği tarafından okuma erişimine izin vermek için veri kaynağında roller atayın. Yerel bir geliştirme makinesinde test yapıyorsanız desteklenen veri kaynağında da okuma erişimine sahip olduğunuzdan emin olun.
  • Görüntü eylemleri için yapılandırılmış bir arama dizin oluşturucu.
  • GenAI prompt becerisine sahip bir beceri kümesi.
  • Oluşturulan metin çıktısını almak üzere alanları bulunan bir arama dizini ve dizin oluşturucuda ilişkilendirmeleri oluşturan çıkış alanı eşlemeleri.

İsteğe bağlı olarak, veri madenciliği senaryoları için görüntü analizi çıktısını bir bilgi deposuna kabul etmek için projeksiyonlar tanımlayabilirsiniz.

Görüntü işleme için dizin oluşturucuları yapılandırma

Kaynak dosyalar ayarlandıktan sonra dizin oluşturucu yapılandırmasında parametresini imageAction ayarlayarak görüntü normalleştirmesini etkinleştirin. Görüntü normalleştirme, aşağı akış işleme için görüntülerin daha düzgün hale getirilmesine yardımcı olur. Görüntü normalleştirme aşağıdaki işlemleri içerir:

  • Büyük görüntüler, tekdüzen hale getirmek için maksimum yükseklik ve genişlikte yeniden boyutlandırılır.
  • Yönlendirmeyi belirten meta verileri olan görüntülerde, görüntü döndürme dikey yükleme için ayarlanır.

imageAction'nin etkinleştirilmesi (bu parametreyi none dışında bir değere ayarlamak) Azure Yapay Zeka Arama fiyatlandırma göre görüntü ayıklama için ek ücret alınacağını unutmayın.

  1. Yapılandırma özelliklerini ayarlamak için dizin oluşturucu oluşturun veya güncelleştirin:

    {
  "parameters": {
    "configuration": {
      "dataToExtract": "contentAndMetadata",
      "parsingMode": "default",
      "imageAction": "generateNormalizedImages"
    }
  }
}

  2. dataToExtract öğesini contentAndMetadata olarak ayarlayın (gerekli).

  3. öğesinin parsingModevarsayılan (gerekli) olarak ayarlandığını doğrulayın.

    Bu parametre, dizinde oluşturulan arama belgelerinin ayrıntı düzeyini belirler. Varsayılan mod, her bir blob'un bir arama belgesiyle sonuçlanacağı şekilde bire bir eşleme ayarlar. Belgeler büyükse veya beceriler daha küçük metin öbekleri gerektiriyorsa, işleme amacıyla belgeyi sayfalandırmaya alt bölümlere ayıran Metin Bölme becerisini ekleyebilirsiniz. Ancak arama senaryoları için zenginleştirme görüntü işleme içeriyorsa belge başına bir blob gerekir.

  4. Zenginleştirme ağacında imageAction düğümünü etkinleştirmek için normalized_images ayarlayın (gerekli):

    • generateNormalizedImages belgenin kırılmasının bir parçası olarak normalleştirilmiş görüntüler dizisi oluşturmak için.

    • generateNormalizedImagePerPage (yalnızca PDF için geçerlidir), PDF'deki her sayfanın bir çıkış görüntüsüne işlendiği normalleştirilmiş görüntüler dizisi oluşturmak için. PDF olmayan dosyalar için bu parametrenin davranışı, ayarlamış generateNormalizedImagesolduğunuz gibi benzerdir. Ancak, birkaç görüntünün oluşturulması gerekeceğinden, ayar generateNormalizedImagePerPage dizin oluşturma işlemini tasarım gereği daha az performansa (özellikle büyük belgeler için) ayarlayabilir.

  5. İsteğe bağlı olarak, oluşturulan normalleştirilmiş görüntülerin genişliğini veya yüksekliğini ayarlayın:

normalizedImageMaxWidth piksel cinsinden ölçülür. Varsayılan değer 2.000'dir. En yüksek değer 10.000'dir.

normalizedImageMaxHeight piksel cinsinden ölçülür. Varsayılan değer 2.000'dir. En yüksek değer 10.000'dir.

Normalleştirilmiş görüntüler hakkında

imageAction, none haricinde bir değere ayarlandığında, yeni normalized_images alanı bir görüntü dizisi içerir. Her görüntü, aşağıdaki üyelere sahip karmaşık bir türdür:

Görüntü üyesi Açıklama
Veri JPEG biçiminde normalleştirilmiş görüntünün BASE64 kodlanmış dizesi.
Genişlik Normalleştirilmiş görüntünün piksel cinsinden genişliği.
Yükseklik Normalleştirilmiş görüntünün piksel cinsinden yüksekliği.
orijinalGenişlik Normalleştirmeden önce görüntünün özgün genişliği.
orijinalYükseklik Normalleştirmeden önce görüntünün özgün yüksekliği.
Orijinalden Döndürme Normalleştirilmiş görüntüyü oluşturmak için olan saat yönünün tersine derece cinsinden döndürme. 0 derece ile 360 derece arasında bir değer. Bu adım, kamera veya tarayıcı tarafından oluşturulan görüntüdeki meta verileri okur. Genellikle 90 derecenin katı.
içerikOfseti Görüntünün ayıklandığı içerik alanı içindeki karakter uzaklığı. Bu alan yalnızca eklenmiş görüntüleri olan dosyalar için geçerlidir. contentOffset PDF belgelerinden ayıklanan resimler için her zaman belgede ayıklandığı sayfadaki metnin sonundadır. Bu, resmin sayfadaki özgün konumundan bağımsız olarak resimlerin o sayfadaki tüm metinlerden sonra görüneceği anlamına gelir.
sayfa numarası Resim PDF'den ayıklandıysa veya işlendiyse, bu alan ayıklandığı veya işlendiği PDF'deki sayfa numarasını 1'den başlayarak içerir. Resim PDF'den değilse, bu alan 0'dır.

örnek değeri normalized_images:

[
  {
    "data": "BASE64 ENCODED STRING OF A JPEG IMAGE",
    "width": 500,
    "height": 300,
    "originalWidth": 5000,  
    "originalHeight": 3000,
    "rotationFromOriginal": 90,
    "contentOffset": 500,
    "pageNumber": 2
  }
]

Görüntü işleme için beceri kümelerini tanımlama

Bu bölüm, görüntü işlemeyle ilgili becerilere dair girişleri, çıkışları ve desenleri kapsayan bağlam sağlayarak beceri referans makalelerini tamamlar.

  • Beceri eklemek için beceri kümesi oluşturun veya güncelleştirin.

Beceri kümenizin temel çerçevesi oluşturulduktan ve Döküm Araçları yapılandırıldıktan sonra, her görüntü becerisine odaklanabilir, girişleri ve kaynak bağlamı tanımlayabilir ve çıkışları bir dizin veya bilgi deposundaki alanlarla eşleyebilirsiniz.

Not

Görüntü işlemeyi aşağı akış doğal dil işleme ile birleştiren örnek bir beceri kümesi için bkz. REST Öğreticisi: Azure bloblardan aranabilir içerik oluşturmak için REST ve AI kullanma. Beceri görüntüleme çıktısının varlık tanıma ve anahtar ifade çıkarımına nasıl besleneceğini gösterir.

Görüntü işleme için örnek girişler

Belirtildiği gibi, görüntüler belgenin kırılması sırasında ayıklanır ve bir ön adım olarak normalleştirilir. Normalleştirilmiş görüntüler, herhangi bir görüntü işleme becerisinin girişleridir ve her zaman iki yoldan biriyle zenginleştirilmiş bir belge ağacında temsil edilir:

  • /document/normalized_images/* , bütün olarak işlenen belgeler içindir.
{
  "@odata.type": "#Microsoft.Skills.Custom.ChatCompletionSkill",
  "context": "/document/normalized_images/*",
  "uri": "https://contoso.openai.azure.com/openai/deployments/contoso-gpt-4o/chat/completions?api-version=2025-01-01-preview",
  "apiKey": "<YOUR-API-KEY here>",
  "inputs": [
    {
      "name": "image",
      "source": "/document/normalized_images/*/data"
    },
    {
      "name": "systemMessage",
      "source": "='You are a useful artificial intelligence assistant that helps people.'"
    },
    {
      "name": "userMessage",
      "source": "='Describe what you see in this image in 20 words or less in Spanish.'"
    }
  ],
  "outputs": [
    {
      "name": "response",
      "targetName": "captionedImage"
    }
  ]
}

Metin girişleriyle JSON şema yanıtlarını kullanma örneği

Bu örnekte, dil modelleri için yapılandırılmış çıkışların nasıl kullanılacağı gösterilmektedir. Bu özellik şu anda daha çok OpenAI dil modelleri tarafından desteklenmektedir, ancak bu gelecekte değişebilir.

{
  "@odata.type": "#Microsoft.Skills.Custom.ChatCompletionSkill",
  "context": "/document/content",
  "uri": "https://contoso.openai.azure.com/openai/deployments/contoso-gpt-4o/chat/completions?api-version=2025-01-01-preview",
  "apiKey": "<YOUR-API-KEY here>",
  "inputs": [
    {
      "name": "systemMessage",
      "source": "='You are a useful artificial intelligence assistant that helps people.'"
    },
    {
      "name": "userMessage",
      "source": "='How many languages are there in the world and what are they?'"
    }
  ],
  "response_format": {
    "type": "json_schema",
    "json_schema": {
      "name": "structured_output",
      "strict": true,
      "schema": {
        "type": "object",
        "properties": {
          "total": {
            "type": "number"
          },
          "languages": {
            "type": "array",
            "items": {
              "type": "string"
            }
          }
        },
        "required": [
          "total",
          "languages"
        ],
        "additionalProperties": false
      }
    }
  },
  "outputs": [
    {
      "name": "response",
      "targetName": "responseJsonForLanguages"
    }
  ]
}

Çıkışları arama alanlarıyla eşleştir.

Çıktı metni, iç zenginleştirilmiş belge ağacında düğümler olarak gösterilir ve her düğümün, içeriği uygulamanızda kullanılabilir hale getirmek için arama dizinindeki alanlara veya bilgi deposundaki projeksiyonlara eşlenmesi gerekir.

İlk olarak, beceri çıkışlarını kabul eden alanlar eklemek için Oluştur veya Güncelleştir - Dizin'i kullanın.

Aşağıdaki alan koleksiyonu örneğinde:

  • content blob içeriğidir.
  • metadata_storage_namedosyanın adını içerir (retrievable olarak ayarlanır).
  • metadata_storage_path blobun benzersiz yoludur ve varsayılan belge anahtarıdır.
  • merged_content , Metin Birleştirme'den çıktıdır (resimler eklendiğinde kullanışlıdır).
  • captioned_image bir beceri çıktısıdır ve arama dizinindeki tüm dil modeli çıktısını yakalamak için bir metin alanı olmalıdır.
"fields": [
  {
    "name": "content",
    "type": "Edm.String",
    "filterable": false,
    "retrievable": true,
    "searchable": true,
    "sortable": false
  },
  {
    "name": "metadata_storage_name",
    "type": "Edm.String",
    "filterable": true,
    "retrievable": true,
    "searchable": true,
    "sortable": false
  },
  {
    "name": "metadata_storage_path",
    "type": "Edm.String",
    "filterable": false,
    "key": true,
    "retrievable": true,
    "searchable": false,
    "sortable": false
  },
  {
    "name": "captioned_image",
    "type": "Edm.String",
    "filterable": false,
    "retrievable": true,
    "searchable": true,
    "sortable": false
  }
]

Ardından, beceri kümesi çıkışını (zenginleştirme ağacındaki düğümler) dizin alanlarıyla eşlemek için Güncelleştir - Dizin Oluşturucu'yı kullanın.

Zenginleştirilmiş belgeler dahilidir. Zenginleştirilmiş belge ağacındaki düğümleri dışlaştırmak için, düğüm içeriğini hangi dizin alanının alacağını belirten bir çıkış alanı eşlemesi ayarlayın. Zenginleştirilmiş verilere uygulamanız tarafından bir dizin alanı üzerinden erişilir. Aşağıdaki örnekte, arama dizinindeki bir metin alanına eşlenmiş zenginleştirilmiş bir belgedeki metin düğümü (OCR çıktısı) gösterilmektedir.

"outputFieldMappings": [
  {
    "sourceFieldName": "/document/normalized_images/*/captionedImage",
    "targetFieldName": "captioned_image"
  }
]

Kaynak belge alma, dil modeli açıklamalı alt yazıları aracılığıyla görüntü işleme ve dizin oluşturma işlemlerini çağırmak için dizin oluşturucuyu çalıştırın.

Sonuçları doğrulama

Görüntü işlemenin sonuçlarını denetlemek için dizinde bir sorgu çalıştırın. Arama Gezgini'ni bir arama istemcisi veya HTTP istekleri gönderen herhangi bir araç olarak kullanın. Aşağıdaki sorgu, görüntü işlemenin çıkışını içeren alanları seçer.

POST /indexes/[index name]/docs/search?api-version=[api-version]
{
  "search": "A cat in a picture",
  "select": "metadata_storage_name, captioned_image"
}

İlgili içerik

  • Son güncelleştirme: