Azure AI Video Indexer'a genel bakış

Azure AI Video Indexer, Azure yapay zeka hizmetlerinin bir parçası olan ve Azure yapay zeka hizmetleri (Yüz Tanıma, Çeviri, Azure Yapay Zeka Görüntü İşleme ve Konuşma gibi) üzerine kurulmuş bir bulut uygulamasıdır. Azure AI Video Indexer video ve ses modellerini kullanarak videolarınızdaki içgörüleri ayıklamanıza olanak tanır.

Azure AI Video Indexer, 30'un üzerinde yapay zeka modeli çalıştırarak zengin içgörüler oluşturarak video ve ses içeriğini analiz eder. Arka planda Azure AI Video Indexer tarafından gerçekleştirilen ses ve video analizinin bir çizimi aşağıdadır:

Azure AI Video Indexer ile içgörü ayıklamaya başlamak için nasıl başlayabilirim bölümüne bakın.

Azure AI Video Indexer ile ne yapabilirim?

Azure AI Video Indexer'ın içgörüleri birçok senaryoya uygulanabilir:

• Derin arama: Video kitaplığındaki arama deneyimini geliştirmek için videodan ayıklanan içgörüleri kullanın. Örneğin, konuşulan sözcüklerin ve yüzlerin dizine oluşturulması, bir kişinin belirli sözcükleri konuştuğu veya iki kişinin birlikte görüldüğü anları bulma deneyimine olanak sağlayabilir. Videolardan bu tür içgörülere dayalı arama, haber ajansları, eğitim kurumları, yayıncılar, eğlence içeriği sahipleri, kurumsal LOB uygulamaları ve genel olarak kullanıcıların arama yapmak zorunda olduğu bir video kitaplığına sahip olan tüm sektörler için geçerlidir.
• İçerik oluşturma: Azure AI Video Indexer'ın içeriğinizden ayıkladığınız içgörüleri temel alarak fragmanlar, vurgu makaraları, sosyal medya içeriği veya haber klipleri oluşturun. Kişilerin ve etiket görünümlerinin ana kareleri, sahne işaretçileri ve zaman damgaları, oluşturma işlemini daha sorunsuz ve kolay hale getirerek içerik oluştururken videonun ihtiyacınız olan bölümlerine kolayca ulaşabilmenizi sağlar.
• Erişilebilirlik: İçeriğinizi engelli kişiler için kullanılabilir hale getirmek veya içeriğinizin farklı diller kullanılarak farklı bölgelere dağıtılmasını istiyorsanız Azure AI Video Indexer tarafından sağlanan transkripsiyon ve çeviriyi birden çok dilde kullanabilirsiniz.
• Para kazanma: Azure AI Video Indexer videoların değerini artırmaya yardımcı olabilir. Örneğin reklam gelirine (haber medyası, sosyal medya vb.) dayanan sektörler, ayıklanan içgörüleri reklam sunucusuna ek sinyaller olarak kullanarak ilgili reklamlar sunabilir.
• Con çadır modu ration: Kullanıcılarınızı uygunsuz içeriklerden korumak ve yayımladığınız içeriğin kuruluşunuzun değerleriyle eşleştiğini doğrulamak için metinsel ve görsel con çadır modu ration modellerini kullanın. Belirli videoları otomatik olarak engelleyebilir veya kullanıcılarınızı içerik hakkında uyarabilirsiniz.
• Öneriler: Video içgörüleri, kullanıcılara ilgili video anlarını vurgulayarak kullanıcı katılımını geliştirmek için kullanılabilir. Her videoyu ek meta verilerle etiketleyerek, kullanıcılara en uygun videoları önerebilir ve videonun ihtiyaçlarına uygun bölümlerini vurgulayabilirsiniz.

Video/ses yapay zekası özellikleri

Aşağıdaki listede, Azure AI Video Indexer video ve ses AI özelliklerini (modeller) kullanarak video/ses dosyalarınızdan edinebileceğiniz içgörüler gösterilir.

Not

Gizlilik ve mevzuat gereksinimleri göz önünde bulundurulduğunda, bu özelliklerden bazıları kullanımı kısıtlamış ve/veya tam kullanım için yetkilendirme gerektirmektedir.

Aksi belirtilmediği sürece, bir model genel olarak kullanılabilir.

Video modelleri

• Yüz algılama: Videoda görünen yüzleri algılar ve gruplandırır.

• Ünlü belirleme: Dünya çapındaki dünya liderleri, aktörler, sanatçılar, sporcular, araştırmacılar, iş ve teknoloji liderleri gibi 1 milyondan fazla ünlüyü tanımlar. Bu ünlülerle ilgili veriler çeşitli web sitelerinde de bulunabilir (IMDB, Wikipedia vb.).

• Hesap tabanlı yüz belirleme: Modeli belirli bir hesap için eğiter. Ardından eğitilen modeli temel alarak videodaki yüzleri tanır. Daha fazla bilgi için bkz . Azure AI Video Indexer web sitesinden Kişi modelini özelleştirme ve Azure AI Video Indexer API'siyle Kişi modelini özelleştirme.

• Yüzler için küçük resim ayıklama: Her yüz grubundaki en iyi yakalanan yüzü tanımlar (kalite, boyut ve ön konum temelinde) ve bunu bir görüntü varlığı olarak ayıklar.

• Optik karakter tanıma (OCR):İçgörüler oluşturmak için medya dosyalarındaki resimler, sokak işaretleri ve ürünler gibi görüntülerden metin ayıklar.

• Görsel içerik moderasyonu: Yetişkinlere yönelik ve/veya müstehcen görselleri algılar.

• Etiket belirleme: Görüntülenen görsel nesneleri ve eylemleri belirler.

• Sahne segmentasyonu: Görsel ipuçlarına göre videoda bir sahnenin ne zaman değiştiğini belirler. Bir sahne tek bir olayı gösterir ve semantik olarak ilişkili bir dizi ardışık çekimden oluşur.

• Çekim algılama: Görsel ipuçlarına göre videodaki bir çekimin ne zaman değişeceğini belirler. Çekim, aynı hareket-resimli kameradan alınan bir dizi karedir. Daha fazla bilgi için bkz . Sahneler, çekimler ve ana kareler.

• Siyah kare algılama: Videoda yer alan siyah kareleri belirler.

• Ana kare ayıklama: Videodaki kararlı ana kareleri algılar.

• Sıralı krediler: TV programları ve filmlerin sonundaki sıralı kredilerin başlangıcını ve sonunu tanımlar.

• Editoryal çekim türü algılama: Çekimleri türüne göre etiketler (geniş çekim, orta çekim, yakın çekim, aşırı yakın çekim, iki çekim, birden çok kişi, dış mekan ve iç mekan vb.). Daha fazla bilgi için bkz . Editoryal çekim türü algılama.

• Gözlemlenen kişi algılama: Videolarda gözlemlenen kişileri algılar ve video çerçevesindeki kişinin konumu (sınırlayıcı kutuları kullanarak) ve bir kişi göründüğünde tam zaman damgası (başlangıç, bitiş) ve güven gibi bilgiler sağlar. Daha fazla bilgi için bkz . Videoda gözlemlenen kişileri izleme.

  • Eşleşen kişi: Videoda gözlemlenen kişileri, algılanan ilgili yüzlerle eşleştirir. Gözlemlenen kişilerle yüzler arasındaki eşleşme bir güvenilirlik düzeyi içerir.
  • Algılanan kıyafetler: Videoda görünen kişi giysi türlerini algılar ve uzun veya kısa kollu, uzun veya kısa pantolon, etek veya elbise gibi bilgiler sağlar. Algılanan kıyafetler, bunu takan kişilerle ilişkilendirilir ve algılama için güvenilirlik düzeyiyle birlikte tam zaman damgası (başlangıç, bitiş) sağlanır.
  • Öne çıkan kıyafetler: Videoda görünen öne çıkan giyim görüntülerini yakalar. Öne çıkan giyim içgörülerini kullanarak hedeflenen reklamlarınızı geliştirebilirsiniz. Öne çıkan giyim görüntülerinin nasıl derecelendirildiğini ve içgörüleri nasıl edineceklerini öğrenmek için bkz . öne çıkan kıyafetler.

• Nesne algılama Ayrıca izlenen benzersiz nesneleri algılar, böylece çerçeveye geri dönerlerse tanınırlar. Bkz. Azure AI Video Indexer nesne algılama

• Kayrak algılama: Gelişmiş dizin oluşturma seçeneğini kullanarak bir videonun dizinini oluştururken aşağıdaki film sonrası içgörülerini tanımlar:

  • Meta veri ayıklama ile clapperboard algılama.
  • Renk çubukları da dahil olmak üzere dijital desen algılama.
  • Sahne eşleştirme de dahil olmak üzere metinsiz sayfa algılama.

  Ayrıntılar için bkz . Kayrak algılama.

• Metin logosu algılama: Azure AI Video Indexer OCR kullanarak önceden tanımlanmış belirli bir metinle eşleşir. Örneğin, bir kullanıcı metin logosu oluşturduysa: "Microsoft", Microsoft sözcüğünün farklı görünümleri "Microsoft" logosu olarak algılanır. Daha fazla bilgi için bkz . Metin logosunu algılama.

Ses modelleri

• Ses transkripsiyonu: Konuşmayı 50'den fazla dile dönüştürür ve uzantılara izin verir. Daha fazla bilgi için bkz . Azure AI Video Indexer dil desteği.

• Otomatik dil algılama: Baskın konuşulan dili tanımlar. Daha fazla bilgi için bkz . Azure AI Video Indexer dil desteği. Dil güvenle tanımlanamıyorsa Azure AI Video Indexer, konuşulan dilin İngilizce olduğunu varsayar.

• Çok dilli konuşma tanımlama ve transkripsiyon: Sesten farklı segmentlerde konuşulan dili tanımlar. Medya dosyasının transkripsiyonu alınacak her bölümünü gönderir ve sonra transkripsiyonu yeniden tek bir transkripsiyon olarak birleştirir. Transkripsiyon hakkında daha fazla bilgi için bkz . Transkripsiyon

• Açıklamalı altyazı: Üç biçimde açıklamalı altyazı oluşturur: VTT, TTML, SRT.

• İki kanal işleme: Ayrı transkripti otomatik olarak algılar ve tek bir zaman çizelgesiyle birleştirilir.

• Gürültü azaltma: Telefon sesini veya gürültülü kayıtları temizler (Skype filtrelerini temel alarak).

• Transkript özelleştirmesi (CRIS): Sektöre özgü transkriptler oluşturmak için metin modellerine özel konuşmalar eğitir. Daha fazla bilgi için bkz . Dil modelini özelleştirme.

• Konuşmacı numaralandırma: Hangi konuşmacının ne zaman ve hangi sözcükleri söylediğini anlar ve eşler. Tek bir ses dosyasında on altı hoparlör algılanabilir.

• Konuşmacı istatistikleri: Konuşmacıların konuşma oranlarına ilişkin istatistikler sağlar.

• Metinsel içerik moderasyonu: Ses transkriptlerindeki müstehcen metinleri algılar.

• Metin tabanlı duygu algılama: Transkript analiziyle algılanan neşe, üzüntü, öfke ve korku gibi duygular.

• Çeviri: Ses transkriptinin birçok farklı dile çevirisini oluşturur. Daha fazla bilgi için bkz . Azure AI Video Indexer dil desteği.

• Ses efektleri algılama: İçeriğin konuşma olmayan segmentlerinde aşağıdaki ses efektlerini algılar: alarm veya siren, köpek havlaması, kalabalık tepkileri (neşelendirme, alkışlama ve booing), silah sesi veya patlama, kahkaha, kıran cam ve sessizlik.

  Algılanan akustik olaylar kapalı açıklamalı altyazılar dosyasındadır. Dosya Azure AI Video Indexer web sitesinden indirilebilir. Daha fazla bilgi için bkz . Ses efektleri algılama.

  Not

  Tüm olaylar yalnızca karşıya yükleme ön ayarında bir dosyayı karşıya yüklerken Gelişmiş Ses Analizi'ni seçtiğinizde kullanılabilir. Varsayılan olarak, yalnızca sessizlik algılanır.

Ses ve video modelleri (çok kanallı)

Bir kanala göre dizin oluştururken, bu modeller için kısmi sonuçlar kullanılabilir.

• Anahtar sözcük ayıklama: Konuşmalardaki ve görsel metinlerdeki anahtar sözcükleri ayıklar.
• Adlandırılmış varlık ayıklama: Doğal dil işleme (NLP) aracılığıyla konuşma ve görsel metinden markaları, konumları ve kişileri ayıklar.
• Konu çıkarımı: Çeşitli anahtar sözcüklere (yani 'Borsa' anahtar sözcüklerine, 'Wall Street' anahtar sözcüklerine göre 'Ekonomi' konusunu üretir) konuları ayıklar. Model üç farklı ontoloji kullanır (IPTC, Wikipedia ve Video Indexer hiyerarşik konu ontolojisi). Model, Video Indexer yüz tanıma modelini kullanarak transkripsiyon (konuşulan sözcükler), OCR içeriği (görsel metin) ve videoda tanınan ünlüleri kullanır.
• Yapıtlar: Modellerin her biri için "daha üst düzeyde ayrıntıya sahip" zengin bir yapıt kümesini ayıklar.
• Yaklaşım analizi: Konuşmalardaki ve görsel metinlerdeki olumlu, olumsuz ve nötr yaklaşımları belirler.

Azure AI Video Indexer'ı kullanmaya nasıl başlayabilirim?

Azure AI Video Indexer'ı kullanmaya başlamayı öğrenin.

Ayarladıktan sonra içgörüleri kullanmaya başlayın ve diğer Nasıl yapılır kılavuzlarına göz atın.

Uyumluluk, gizlilik ve güvenlik

Not

11 Haziran 2020’de Microsoft, insan haklarına dayalı etkili düzenlemeler yapılmadığı sürece ABD’deki polis departmanlarına yüz tanıma teknolojisi satmayacağını duyurmuştur. Bu nedenle müşteriler Yüz Tanıma veya Video Indexer gibi Azure yapay zeka hizmetlerinde yer alan yüz tanıma özelliklerini veya işlevlerini, bir müşteri Birleşik Devletler bir polis departmanı tarafından veya bu hizmetlerin kullanımına izin verirse kullanamaz.

Not

Yüz belirleme, özelleştirme ve ünlü tanıma özelliklerine erişim, Sorumlu yapay zeka ilkelerimizi desteklemek için uygunluk ve kullanım ölçütlerine göre sınırlıdır. Yüz belirleme, özelleştirme ve ünlü tanıma özellikleri yalnızca Microsoft tarafından yönetilen müşteriler ve iş ortakları tarafından kullanılabilir. Erişim için başvurmak için Yüz Tanıma giriş formunu kullanın.

Azure AI Video Indexer kullanımınızda geçerli olan tüm yasalara uymanız gerekir ve Azure AI Video Indexer'ı veya herhangi bir Azure hizmetini başkalarının haklarını ihlal eden veya başkaları için zararlı olabilecek şekilde kullanamazsınız.

Azure AI Video Indexer'a herhangi bir video/görüntü yüklemeden önce, yasaların gerektirdiği durumlarda, azure yapay zeka video indexer ve Azure'da verilerinin kullanımı, işlenmesi ve depolanması için video/görüntüdeki kişilerden (varsa) gelen tüm gerekli onaylar dahil olmak üzere videoyu/görüntüyü kullanmak için tüm uygun ve yasal haklara sahip olmanız gerekir. Bazı yargı bölgeleri, biyometrik veriler gibi belirli veri kategorilerinin toplanması, çevrimiçi işlenmesi ve depolanması için özel yasal gereksinimler uygulayabilir. Özel yasal gereksinimlere tabi olan verilerin işlenmesi ve depolanması için Azure AI Video Indexer'ı ve Azure'ı kullanmadan önce, kullanımınızın Sizin ve hedeflenen kullanımınız için geçerli olabilecek tüm yasal gereksinimlere uygun olduğundan emin olmanız gerekir.

Azure AI Video Indexer'da uyumluluk, gizlilik ve güvenlik hakkında bilgi edinmek için lütfen Microsoft Güven Merkezi'ni ziyaret edin. Verilerinizi silme de dahil olmak üzere Microsoft'un gizlilik yükümlülükleri, veri işleme ve saklama uygulamaları için lütfen Microsoft'un Gizlilik Bildirimini, Çevrimiçi Hizmet Koşulları 'nı ("OST") ve Veri İşleme Eki'ni ("DPA") gözden geçirin. Azure AI Video Indexer'ı kullanarak OST, DPA ve Gizlilik Bildirimi'ne bağlı kalmayı kabul etmiş olursunuz.