Azure Foundry Araçları video çözümlerinde İçerik Anlama

Önemli

API sürümü 2026-06-01-preview genel önizleme aşamasındadır. Önizlemeler hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için önerilmez. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri için Uygun Kullanım Koşulları ve Microsoft Ürün ve Hizmetler Veri Koruma Eki ("DPA").

Azure Content Understanding, standart bir video meta verileri kümesi oluşturmanıza ve üretken modelleri kullanarak özel kullanım örneğine yönelik özel alanlar oluşturmanıza olanak tanır. Content Understanding, video varlıkları için iş akışlarını yönetmenize, kategorilere ayırmanıza, almanıza ve oluşturmanıza yardımcı olur. Medya varlık kitaplığınızı geliştirir, vurgu oluşturma gibi özellikleri destekler, içeriği kategorilere ayırır ve geri alma artırılmış oluşturma (RAG) gibi uygulamaları kolaylaştırır.

Content Understanding video işleme akışının çizimi.

Önceden oluşturulmuş video çözümleyicisi (prebuilt-videoAnalysis) RAG'a hazır çıkışlar oluşturur. Markdown'da aşağıdaki çıktıyı oluşturur:

  • Transkript: Standart WEBVTT biçiminde satır içi transkriptler
  • Anahtar Çerçeveler: Daha derin analize olanak tanıyan sıralı anahtar çerçeve küçük resimleri

JSON şeması, görsel çözümlemeden daha fazla ayrıntı içerir.

  • Açıklama: Görsel ve konuşma bağlamı ile doğal dil segment açıklamaları
  • Segmentasyon: Videoyu tanımladığınız kategorilere göre mantıksal öbeklere bölen otomatik sahne segmentasyonu

Bu biçim, bir aracıyı veya RAG iş akışını etkinleştirmek için doğrudan bir vektör deposuna bırakılabilir; işlem sonrası gerekmez.

Buradan, çıkışın daha ayrıntılı denetimi için çözümleyiciyi özelleştirebilirsiniz. Özel alanlar ve segmentler tanımlayabilirsiniz. Özelleştirme, videonun görsel ve ses ayrıntılarından derin içgörüler elde etmek için üretken modellerin tüm gücünü kullanmanıza olanak tanır.

Örneğin, özelleştirme şunları yapmanızı sağlar:

  • Özel alanları tanımlama: Videoda hangi ürünlerin ve markaların görüldüğünü veya bahsedildiği tanımlamak için.
  • Özel segmentler oluşturma: Bir haber yayınını ele alınan konulara veya haber hikayelerine göre bölümlere ayırmak için.

Video için Content Understanding neden kullanılır?

Video için içerik anlamanın geniş kapsamlı kullanım alanları vardır. Örneğin, bir eğitim videosundaki belirli sahneleri etiketlemek için meta verileri özelleştirerek çalışanların önemli bölümleri bulmasını ve yeniden ziyaret etmelerini kolaylaştırabilirsiniz. Pazarlama ekiplerinin markanın açığa çıktısını analiz etmelerine yardımcı olan tanıtım videolarındaki ürün yerleşimini belirlemek için meta veri özelleştirmesini de kullanabilirsiniz. Diğer kullanım örnekleri şunlardır:

  • Yayın medyası ve eğlence: Her varlık için ayrıntılı meta veriler oluşturarak büyük dizi, film ve klip kitaplıklarını yönetin.
  • Eğitim ve e-Öğrenme: Eğitim videolarında veya derslerde belirli anları dizine alın ve getirin.
  • Kurumsal eğitim: Eğitim videolarını önemli konulara, sahnelere veya önemli anlara göre düzenleyin.
  • Pazarlama ve reklam: Ürün yerleşimlerini, marka görünümlerini ve önemli iletileri ayıklamak için tanıtım videolarını analiz edin.

Önceden oluşturulmuş video çözümleyicisi örneği

Önceden oluşturulmuş video çözümleyicisi (önceden oluşturulmuş-videoSearch) ile bir video yükleyebilir ve hemen kullanılabilir bir bilgi varlığı elde edebilirsiniz. Hizmet, içeriği zengin biçimlendirilmiş Markdown ve JSON olarak paketler. Bu işlem, arama dizininizin veya sohbet aracınızın içeriği özel tutkal kodu olmadan almasına olanak tanır.

  1. Örneğin, video prebuilt-videoSearch için veri getirme ile artırılmış üretim için tasarlanmış çözümleyiciyi çağırın. Ayrıntılar için REST API hızlı başlangıcına bakın.

  2. 30 saniyelik bir reklam videosunu analiz etmek aşağıdaki çıkışı oluşturur:

      # Video: 00:00.000 => 00:06.000
  A lively room filled with people is shown, where a group of friends is gathered around a television. They are watching a sports event, possibly a football match, as indicated by the decorations and the atmosphere.

  Transcript

  WEBVTT

  00:03.600 --> 00:06.000
  <Speaker 1>Get new years ready.

  Key Frames
  - 00:00.600 ![](keyFrame.600.jpg)
  - 00:01.200 ![](keyFrame.1200.jpg)

  ## Video: 00:06.000 => 00:10.080
  The scene transitions to a more vibrant and energetic setting, where the group of friends is now celebrating. The room is decorated with football-themed items, and everyone is cheering and enjoying the moment.

  Transcript

  WEBVTT

  00:03.600 --> 00:06.000
  <Speaker 1>Go team!

  Key Frames
  - 00:06.200 ![](keyFrame.6200.jpg)
  - 00:07.080 ![](keyFrame.7080.jpg)

     *…additional data omitted for brevity…*

Kılavuz

Content Understanding kullanarak Videoda RAG için aşağıdaki kılavuza bakın:

Azure Content Understanding kullanarak Videoda RAG

Yetenekler

İki aşama ham videoyu yapılandırılmış içgörülere dönüştürür. Aşağıdaki diyagramda, içerik ayıklamanın alan ayıklamaya nasıl beslendiğini gösterilmektedir.

Video çözümleyicisi akışının ekran görüntüsü.

Hizmet iki aşamada çalışır. İlk aşama olan içerik ayıklama, transkriptler ve çekimler gibi temel meta verileri yakalamayı içerir. İkinci aşama olan alan ayıklama, özel alanlar üretmek ve segmentasyon gerçekleştirmek için bir oluşturucu model kullanır.

İçerik ayıklama özellikleri

İlk geçiş, kimin konuştuğunu ve kesintilerin nerede olduğunu içeren ilk ayrıntı kümesini ayıklamaktır. Sonraki adımların üzerinde mantık yürütebileceği sağlam bir meta veri omurgası oluşturur.

  • Transkripsiyon: Konuşma sesini WebVTT biçiminde aranabilir ve çözümlenebilir metin tabanlı transkriptlere dönüştürür. Ayarlanmışsa "returnDetails": true tümce düzeyinde zaman damgaları kullanılabilir. Content Understanding, Döküm Araçları'nda konuşmadan metne diller Azure konuşmanın tamamını destekler. Video için dil desteğinin ayrıntıları ses ile aynıdır. Ayrıntılar için bkz. Ses Dili İşleme. Aşağıdaki transkripsiyon ayrıntılarının dikkate alınması önemlidir:

    • Konuşmacı Ayırma: Çıktıdaki bir konuşmadaki farklı konuşmacıları ayırt eder ve transkript bölümlerini belirli konuşmacılara dağıtır.

    • Çok dilli transkripsiyon: Çok dilli transkriptler oluşturur. Dil/yerel ayar, transkriptteki tümcecik başına uygulanır. Ayarlanınca "returnDetails": true ifadeleri çıkış olarak verilir. Dil algılama devre dışıyken, dil/yöre belirtilmediğinde veya dil auto olarak ayarlandığında bu özellik etkinleştirilir.

      Not

      Çok dilli transkripsiyon kullanıldığında, desteklenmeyen yerel ayarlara sahip tüm dosyalar desteklenen en yakın yerel ayarı temel alarak bir sonuç üretir ve bu büyük olasılıkla yanlıştır. Bu sonuç bilinen bir davranıştır. Çok dilli transkripsiyon destekli bir yerel ayar kullanmadığınızda yerel ayarları yapılandırdığınızdan emin olarak transkripsiyon kalitesi sorunlarından kaçının!

    • Anahtar çerçeve ayıklama: Her çekimi tamamen temsil etmek için videolardan anahtar kareler ayıklar ve her çekimin alan ayıklamanın etkili bir şekilde çalışmasını sağlamak için yeterli anahtar çerçeveye sahip olduğundan emin olur.

    • Çekim algılama: Videonun mümkün olduğunca çekim sınırlarıyla hizalanmış kesimlerini tanımlar ve içeriğin tam olarak var olan düzenlemeleri keserek hassas bir şekilde düzenlenmesine ve yeniden paketlenmesine olanak sağlar. Çıkış, milisaniye cinsinden cameraShotTimesMs içindeki zaman damgalarının listesidir. Çıkış yalnızca "returnDetails": true ayarlandığında döndürülür.

Alan ayıklama ve segmentasyon

Ardından, oluşturucu model anlamı katmanlayarak sahneleri etiketleme, eylemleri özetleme ve çekimleri isteğinize göre segmentlere ayırma. Bu eylem, istemlerin yapılandırılmış verilere dönüştükleri yerdir.

Özel alanlar

Çıkışı iş sözlüğünüze uyacak şekilde şekillendirin. Her bir girişin bir alanın adını, türünü ve açıklamasını tanımladığı bir fieldSchema nesnesi kullanın. Çalışma zamanında, üretken model her segment için bu alanları doldurur.

  • Medya varlığı yönetimi:

    • Video Kategorisi: Düzenleyicilerin ve yapımcıların içeriği Haber, Spor, Röportaj, Belgesel veya Reklam olarak sınıflandırarak düzenlemelerine yardımcı olur. Meta veri etiketleme ve daha hızlı içerik filtreleme ve alma için kullanışlıdır.
    • Renk düzeni: Anlatı tutarlılığı ve izleyici etkileşimi için gerekli olan ruh halini ve atmosferi iletir. Renk temalarını tanımlama, hızlandırılmış video düzenleme için eşleşen kliplerin bulunmasına yardımcı olur.

  • Reklam:

    • Marka: Marka varlığını, reklam etkisini analiz etmek için kritik öneme sahip olduğunu, marka görünürlüğünü ve ürünlerle ilişkilendirmeyi tanımlar. Bu özellik, reklamverenlerin marka hakimliğini değerlendirmesine ve markalama yönergelerine uyumluluğu sağlamasına olanak tanır.
    • Reklam kategorileri: Reklam türlerini sektöre, ürün türüne veya hedef kitle segmentlerine göre kategorilere ayırır ve hedeflenen reklam stratejilerini, kategorilere ayırmayı ve performans analizini destekler.

Örnek:

"fieldSchema": {
  "description": "Extract brand presence and sentiment per scene",
  "fields": {
    "brandLogo": {
      "type": "string",
      "method": "generate",
      "description": "Brand being promoted in the video. Include the product name if available."
    },
    "Sentiment": {
      "type": "string",
      "method": "classify",
      "description": "Ad categories",
      "enum": [
        "Consumer Packaged Goods",
        "Groceries",
        "Technology"
      ]
    }
  }
}

Segmentasyon modu

Not

Bölümleme ayarı, alan tanımlanmasa bile belirteçleri kullanan üretici modeli kullanır.

Content Understanding, videoyu dilimlemenin iki yolunu sunar ve tüm videolar veya kısa klipler için ihtiyacınız olan çıkışı elde etmenize izin sağlar. Özel çözümleyicide enableSegment özelliğini ayarlayarak bu seçenekleri kullanabilirsiniz.

  • Tam video : enableSegment : false Hizmet, video dosyasının tamamını tek bir segment olarak ele alır ve meta verileri tam süresi boyunca ayıklar.

    Kullanım örnekleri:

    • Bir reklamın herhangi bir yerinde belirli marka güvenliği sorunlarını araştıran uyumluluk denetimleri
    • tam uzunlukta açıklayıcı özetler

  • Özel segmentasyon : enableSegment : true Mantığı doğal dilde açıklarsınız ve model eşleşecek segmentler oluşturur. Videonun nasıl segmentlere ayrıldığını açıklayan bir dizeyle ayarlayın contentCategories . Özel, isteme bağlı olarak saniyelerden dakikalara kadar değişen uzunlukta segmentlere izin verir. Bu sürümde video yalnızca bir contentCategories nesneyi destekler.

    Örnek: Bir haber yayını hikayelere bölümleyin.

    {
  "config": {
    "enableSegment": true,
    "contentCategories": {
      "news-story": { 
      "description": "Segment the video based on each distinct news segment. Use the timestamp of each image to identify the start and end time of each segment, no overlap segments. Ignore non-news segments like ads or promotion.",
      "analyzerId": "NewsAnalyzer"
      }         
    }
  }
}

Önemli avantajlar

Content Understanding, diğer video analizi çözümleriyle karşılaştırıldığında çeşitli önemli avantajlar sağlar:

  • Segment tabanlı çok çerçeveli analiz: Tek tek kareler yerine her video kesiminden birden çok kareyi analiz ederek eylemleri, olayları, konuları ve temaları tanımlayın.
  • Özelleştirme: Şemayı kendi kullanım örneğine uygun olarak değiştirerek oluşturduğunuz alanları ve segmentlere ayırmayı özelleştirin.
  • Üretken modeller: Hangi içeriği ayıklamak istediğinizi doğal dilde açıklayın ve Content Understanding bu meta verileri ayıklamak için üretken modeller kullanır.
  • İyileştirilmiş ön işleme: Yapay zeka üretici modellerine zengin bağlam sağlamak için iyileştirilmiş transkripsiyon ve sahne algılama gibi çeşitli içerik ayıklama ön işleme adımları gerçekleştirin.

Teknik kısıtlamalar ve sınırlamalar

Dikkate almak için video işlemenin belirli sınırlamaları:

  • Çerçeve örnekleme (~ 1 FPS): Çözümleyici saniyede yaklaşık bir kareyi inceler. Hızlı hareketler veya tek kareli olaylar kaçırılabilir.
  • Çerçeve çözünürlüğü (512 × 512 piksel): Örneklenen çerçeveler 512 piksel kareye yeniden boyutlandırılır. Küçük metin veya uzak nesneler kaybolabilir.
  • Konuşma: Yalnızca konuşulan sözcüklerin dökümü alınır. Müzik, ses efektleri ve ortam gürültüsü göz ardı edilir.

Giriş gereksinimleri

Desteklenen biçimler için bkz. Hizmet kotaları ve sınırları.

Desteklenen diller ve bölgeler

Bkz. Dil ve bölge desteği.

Veri gizliliği ve güvenliği

Tüm Döküm Araçları'da olduğu gibi Microsoft Data, koruma ve gizlilik belgelerini gözden geçirin.

İlgili içerik

  • Son güncelleştirme: