Aracılığıyla paylaş


Adlandırılmış varlık ayıklama

Uyarı

Azure AI Video Indexer (VI) geçtiğimiz yıl kullanımdan kaldırılma nedeniyle Azure Media Services'a (AMS) bağımlılığının kaldırılmaya başlanacağını duyurdu. Özellik ayarlamaları ve değişiklikler duyuruldu ve bir geçiş kılavuzu sağlandı.

Geçişi tamamlamak için son tarih 30 Haziran 2024'dü. VI, VI hesabınızı güncelleştirebilmeniz ve AMS VI varlık geçişini 31 Ağustos 2024'e kadar kabul edebilmeniz için güncelleştirme/geçiş son tarihini uzatmıştır.

Ancak 30 Haziran'dan sonra VI hesabınızı güncelleştirmediyseniz yeni videoları dizine ekleyemez veya geçirilmemiş videoları oynatamazsınız. Hesabınızı 30 Haziran'dan sonra güncelleştirirseniz, dizin oluşturmayı hemen sürdürebilirsiniz, ancak AMS VI geçişi aracılığıyla geçirilene kadar hesap güncelleştirmeden önce dizine alınmış videoları oynatamazsınız.

Adlandırılmış varlık ayıklama, ses dosyalarında ve medya dosyalarındaki görüntülerde görünen konumlar, kişiler ve markalar hakkında içgörüler elde etmek için Doğal Dil İşleme (NLP) kullanan bir Azure AI Video Indexer AI özelliğidir. Adlandırılmış varlık ayıklama transkripsiyon ve OCR ile otomatik olarak kullanılır ve içgörüleri bu işlemler sırasında ayıklananları temel alır. Elde edilen içgörüler İçgörüler sekmesinde görüntülenir ve konumlara, kişilere ve marka kategorilerine göre filtrelenir. Adlandırılmış bir varlığa tıklanması, örneğini medya dosyasında görüntüler. Ayrıca varlığın açıklamasını ve tanınabilir varlıkların Bing'de Bul bağlantısını görüntüler.

Önkoşullar

Saydamlık Notu'ne genel bakış

İçgörüleri görüntüleme

Web sitesindeki içgörüleri görmek için aşağıdakileri yapın:

  1. Görünüm'e gidin ve Adlandırılmış Varlıklar'ı işaretleyin.
  2. İçgörüler'e gidin ve adlandırılmış varlıklara kaydırın.

Adlandırılmış varlık ayıklama içgörülerini bir JSON dosyasında görüntülemek için aşağıdakileri yapın:

  1. İndir'e ve ardından İçgörüler'e (JSON) tıklayın.

  2. Adlandırılmış varlıklar üçe ayrılır:

    • Markalar
    • Konum
    • Kişiler
  3. Metni kopyalayın ve JSON Görüntüleyicinize yapıştırın.

    namedPeople: [
    {
    referenceId: "Satya_Nadella",
    referenceUrl: "https://en.wikipedia.org/wiki/Satya_Nadella",
    confidence: 1,
    description: "CEO of Microsoft Corporation",
    seenDuration: 33.2,
    id: 2,
    name: "Satya Nadella",
    appearances: [
    {
    startTime: "0:01:11.04",
    endTime: "0:01:17.36",
    startSeconds: 71,
    endSeconds: 77.4
    },
    {
    startTime: "0:01:31.83",
    endTime: "0:01:37.1303666",
    startSeconds: 91.8,
    endSeconds: 97.1
    },
    

JSON dosyasını API aracılığıyla indirmek için Azure AI Video Indexer geliştirici portalını kullanın.

Adlandırılmış varlık ayıklama bileşenleri

Adlandırılmış varlık ayıklama yordamı sırasında medya dosyası aşağıdaki gibi işlenir:

Bileşen Tanım
Kaynak dosya Kullanıcı dizin oluşturmak için kaynak dosyayı karşıya yükler.
Metin ayıklama - Ses dosyası, transkripsiyonu ayıklamak için Konuşma Hizmetleri API'sine gönderilir.
- Örneklenen çerçeveler, OCR'yi ayıklamak için Azure AI Vision API'sine gönderilir.
Analiz İçgörüler daha sonra varlıkları ayıklamak için Metin Analizi API'sine gönderilir. Örneğin, Microsoft, Paris veya Paul veya Sarah gibi bir kişinin adı.
İşleme ve birleştirme Sonuçlar daha sonra işlenir. Uygun olduğunda Wikipedia bağlantıları eklenir ve markalar Video Indexer yerleşik ve özelleştirilebilir marka listeleri aracılığıyla tanımlanır.
Güvenilirlik değeri Adlandırılmış her varlığın tahmini güvenilirlik düzeyi 0 ile 1 arasında bir aralık olarak hesaplanır. Güvenilirlik puanı, sonucun doğruluğundaki kesinliği temsil eder. Örneğin, %82'lik bir kesinlik 0,82 puanı olarak gösterilir.

Kullanım örnekleri

  • Bağlamsal reklam, örneğin İtalya'daki görüntüleri takip eden bir Pizza zinciri için reklam vermek.
  • Haberler için özellik hikayeleri oluşturmak üzere kişiler veya konumlar hakkında içgörüler için derin arama medya arşivleri.
  • Görme engelliler için erişilebilirliği geliştirmek için OCR işleme yoluyla görüntülerin sözlü bir açıklamasını oluşturma( örneğin filmlerdeki bir arka plan anlatıcısı).
  • Brand na ile ilgili içgörüler ayıklama

Kullanım örneği seçerken dikkat edilmesi gerekenler ve sınırlamalar

  • Daha doğru algılamaları teşvik etmek, ses ve görüntülerin kalitesini denetlemek, düşük kaliteli ses ve görüntüler algılanan içgörüleri etkileyebilir.
  • Adlandırılmış varlıklar yalnızca ses ve görüntülerdeki içgörüleri algılar. Marka adında logolar algılanmayabilir.
  • Kolluk kuvvetleri tarafından adlandırılmış varlıklar kullanılırken her zaman sesin parçalarını algılamayabileceğini dikkatli bir şekilde göz önünde bulundurun. Adil ve yüksek kaliteli kararlar almak için adlandırılmış varlıkları insan gözetimiyle birleştirin.
  • Ciddi olumsuz etkileri olabilecek kararlar için adlandırılmış varlıkları kullanmayın. Metin ayıklayan makine öğrenmesi modelleri algılanmamış veya yanlış metin çıkışına neden olabilir. Yanlış çıkışa dayalı kararlar ciddi olumsuz etkilere neden olabilir. Ayrıca, bireyler üzerinde ciddi etkilere neden olabilecek kararların insan tarafından gözden geçirilmesi önerilir.