Azure AI görüntü ve video işleme ve oluşturma teknolojisi seçme

Döküm Araçları , geliştiricilerin ve kuruluşların kullanıma hazır, önceden oluşturulmuş ve özelleştirilebilir API'leri ve modelleri kullanarak sorumlu yapay zeka uygulamalarıyla uyumlu yapay zeka tabanlı, gelişmiş, üretime hazır uygulamalar oluşturmalarına yardımcı olur.

Bu makalede Görsel analiz ve görüntü oluşturma, nesne algılama, görüntü sınıflandırma ve yüz tanıma gibi Araçlar'daki video ve görüntü işleme özellikleri açıklanmaktadır. Paket aşağıdaki hizmetleri içerir:

  • Döküm Modellerinde Azure OpenAI , aşağıdaki OpenAI dil modellerine erişim sağlar:

    • Görüntü ve ses özelliklerine sahip en son nesil GPT modelleri

    • Görüntü oluşturma için DALL-E

    • Gerçek zamanlı sesli konuşmalar, ses oluşturma, konuşmayı metne dönüştürme (STT) transkripsiyonu, çeviri ve metin okuma (TTS) için ses modelleri

    Azure OpenAI'yi doğal dilden görüntü oluşturma, geniş ve özel olmayan görüntü analizi veya özel konuşma hizmeti gerektirmeyen ses senaryoları için kullanın.

  • Foundry Araçları'nda Azure Vision , görüntüleri işleyen ve görsel özelliklere göre bilgi döndüren gelişmiş algoritmalar sağlar. Optik karakter tanıma (OCR), görüntü analizi ve yüz algılama özelliklerini içerir.

  • Microsoft Azure AI Özel Görüntü İşleme , diğer hizmetlerin karşılayabildiği belirli gereksinimler için görüntü tanımlayıcı modellerinizi oluşturmak, dağıtmak ve geliştirmek için kullanabileceğiniz bir görüntü tanıma hizmetidir.

  • Döküm Araçları'nda Azure Content Understanding , görüntülerden ve videolardan yapılandırılmış alanları ayıklamak için üretken yapay zeka kullanır. Şema tanımlı ayıklama, sahne segmentasyonu veya alma artırımlı oluşturma (RAG) için uygun video çıkışına ihtiyacınız olduğunda Azure Content Understanding'i kullanın.

  • Microsoft Azure AI Video Indexer , kuruluşların video ve ses içeriklerinden ayrıntılı içgörüler elde etmek için kullanabileceği bir yapay zeka çözümüdür. Gelişmiş makine öğrenmesi ve üretken yapay zeka modellerini kullanarak hem canlı hem de karşıya yüklenen kaynakları destekler.

Azure OpenAI

Azure OpenAI , görüntü, video ve ses özelliklerine sahip en son nesil GPT modelleri de dahil olmak üzere OpenAI'nin güçlü dil modellerine erişim sağlar. DALL-E ve GPT görüntü oluşturma modelleri ile gerçek zamanlı sesli konuşmalar, ses oluşturma ve transkripsiyon, STT, konuşma çevirisi ve TTS için ses modelleri de kullanılabilir.

Bu görevler için Azure OpenAI kullanın Bu görevler için Azure OpenAI kullanmayın
DALL-E veya GPT görüntü modellerini kullanarak doğal dil açıklamalarından görüntü oluşturun. Form ayıklama veya etki alanı özel algılama gibi belirli görüntü işleme görevlerini gerçekleştirin. Bu görevler için Azure Document Intelligence kullanın.
GPT-4o gibi görüntü işleme özellikli modelleri kullanarak görüntüler üzerinde geniş, özel olmayan analizler yapın. Tanımladığınız bir şemayı kullanarak görüntülerden yapılandırılmış alanları ayıklayın. Şema temelli ayıklama için Azure Content Understanding'i kullanın.
Fısıltı veya GPT-4o transkripsiyon modellerini kullanarak STT'nin dökümünü yapın veya konuşulan sesi çevirin. İnsan yüzlerini algılama, tanıma veya analiz etme. Yüzle ilgili görevler için Azure Görüntü İşleme'yi kullanın.
GPT-4o Gerçek zamanlı ses modellerini kullanarak düşük gecikme süreli gerçek zamanlı sesli konuşmaları etkinleştirin. Gelişmiş özelleştirme, konuşmacı sözlüğü veya özel sözlük gerektiren yüksek hacimli konuşma transkripsiyonu yapın. Bu senaryolar için , Döküm Araçları'nda Azure Konuşma'yı kullanın.
Görüntüler için erişilebilirlik açıklamaları oluşturun. Açık kaynak görüntü oluşturma modellerini kullanın. Açık kaynak modelleri için Azure Machine Learning'i kullanın.

Ses modelleri

Azure OpenAI aşağıdaki API'ler aracılığıyla ses modelleri sağlar:

  • Düşük gecikme süreli, gerçek zamanlı sesli konuşmalar için Gerçek Zamanlı API

  • Tek bir model çağrısında esnek ses oluşturma ve transkripsiyon için sesli Sohbet Tamamlamaları API'si

  • Whisper ve GPT-4o transkripsiyon modellerinde dosya tabanlı STT transkripsiyonu, konuşma çevirisi ve TTS için Ses API'si aracılığıyla /audio uç noktası

Azure Vision

Azure Vision , Araçlar'daki bir hizmettir. Görüntüleri işleyen ve belirttiğiniz görsel özelliklere göre bilgi döndüren gelişmiş algoritmalar sağlar. Azure Vision OCR, görüntü analizi ve yüz algılama özelliklerini içerir.

Bu görevler için Azure Vision kullanın Bu görevler için Azure Vision kullanmayın
OCR kullanarak resim ve belgelerden yazdırılan ve el yazısı metinleri ayıklayın. Transkripsiyon, çeviri veya içerik özetleme gibi gelişmiş video analizi yapın. Bu görevler için Video Indexer'ı kullanın.
Nesneler, yüzler ve otomatik olarak oluşturulan açıklamalar gibi görsel özellikleri ayıklamak için görüntüleri analiz edin. Güvenlik için orta düzeyde içerik. İçerik denetimi için , DökümHane Denetim Düzlemi'nde İçerik Güvenliği'ni kullanın.
Görüntülerdeki insan yüzlerini algılama, tanıma ve analiz etme. GPT-4o gibi büyük, çok modüllü temel modellerin zaten desteklediği analizler yapın.

Kullanılabilir Azure Vision özellikleri

Aşağıdaki tabloda Azure Görüntü İşleme'de kullanılabilen özelliklerin listesi yer alır.

Özellik Açıklama
Optik karakter tanıma Görüntülerden metin ayıklar. Fotoğraflardan ve belgelerden yazdırılan ve el yazısı metinleri ayıklamak için Okuma API'sini kullanabilirsiniz. Derin öğrenme tabanlı modeller kullanır ve iş belgeleri, faturalar, makbuzlar, posterler, kartvizitler, mektuplar ve beyaz tahtalar gibi çeşitli yüzeylerde ve arka planlarda metinlerle çalışır.
Görüntü Analizi Görüntülerden nesneler, yüzler, yetişkinlere yönelik içerik ve otomatik olarak oluşturulan metin açıklamaları gibi birçok görsel özelliği ayıklar. Floransa temel modelini temel alan Görüntü Analizi 4.0'ı kullanarak özel görüntü tanımlayıcı modelleri oluşturabilirsiniz.
Yüz algılama ve analiz Genellikle yüzün çevresinde dikdörtgen oluşturan sınırlayıcı kutu koordinatlarını döndürerek, bir görüntünün insan yüzü içeren bölgelerini tanımlar.
Benzer yüzleri bulma Bir hedef yüzü bir dizi aday yüzle eşleştirir ve hedef yüze benzeyen daha küçük bir yüz grubunu tanımlar. Bu özellik, görüntüye göre yüz araması için kullanışlıdır.
Grup yüzler Bilinmeyen yüzler kümesini benzerliğe göre birkaç küçük gruba böler.
Yüz belirleme Bir görüntüdeki bir yüzün güvenli bir depodaki yüz kümesiyle bire çok eşleşmesini sağlar. Eşleşme adayları, yüz verilerinin sorgu yüzüyle ne kadar yakın eşleşirlerine bağlı olarak döndürülür.
Yüz doğrulama Kullanıcının iddia ettikleri kişi olduğunu onaylamak için birebir eşleştirme yapar.
Canlılık algılama Bir kullanıcının kameranın önünde fiziksel olarak mevcut olup olmadığını denetleen bir kimlik sahtekarlığına karşı koruma özelliği. Basılı bir fotoğraf, kaydedilmiş video veya kullanıcının yüzünün 3B maskesini kullanan kimlik sahtekarlık saldırılarını önler.

Azure Vision için kullanım örnekleri

Aşağıdaki tabloda Azure Görüntü İşleme için olası kullanım örneklerinin bir listesi sağlanmaktadır.

Kullanım örneği Açıklama
Resim alternatif metni oluşturma (alternatif metin) Resimler için otomatik olarak alternatif metin açıklamaları oluşturmak için Görüntü Analizi açıklamalı alt yazı modellerini kullanın. Alternatif metin, görme engelli veya görme bozukluğu olan kullanıcılar için erişilebilirliği artırır, yasal uyumluluk gereksinimlerini karşılamaya yardımcı olur ve gelişmiş SEO aracılığıyla web sitenizi daha bulunabilir hale getirir. PowerPoint, Word ve Edge gibi Microsoft ürünleri bu özelliği kullanır.
Kimlik doğrulaması Kullanıcıların iddia ettikleri kişi olduğunu onaylamak için Azure Yüz Tanıma'yı kullanın. Doğrulama, erişim denetimi senaryoları için yoklama görüntüsünü kamu tarafından verilen kimlik gibi kayıtlı bir şablonla karşılaştırır. Bu yaklaşım, bilgi tabanlı yöntemlerle karşılaştırıldığında kullanıcı deneyimini ve güvenliğini geliştirmeye yardımcı olur.
Yüz gizleme Görüntülenen kişilerin mahremiyetini korumak için videodaki yüzlerini gizleyin veya bulanıklaştırın.
Dokunmatik olmayan erişim denetimi Gelişmiş erişim denetimi için, fiziksel medya paylaşımı, kayıp veya hırsızlıktan kaynaklanan bakım ve güvenlik risklerini azaltırken isteğe bağlı yüz tanıma kullanın. Yüz tanıma, havalimanları, stadyumlar, tema parkları, binalar, ofisler, hastaneler, spor salonları, kulüpler ve okullardaki resepsiyon noktalarında insan gözetimi ile check-in sürecine yardımcı olur.

Özelleştirilmiş Görü

Özel Görüntü İşleme , görüntü tanımlayıcı modellerinizi oluşturmak, dağıtmak ve geliştirmek için kullanabileceğiniz bir görüntü tanıma hizmetidir. Görüntü tanımlayıcısı, görsel özelliklerine göre resimlere etiketler uygular. Her etiket bir sınıflandırmayı veya nesneyi temsil eder. Kendi etiketlerinizi belirtmek ve bunları algılamak için özel modelleri eğitmek için Özel Görüntü İşleme'yi kullanın.

Bu görevler için Özel Görüntü İşleme kullan Bu görevler için Özel Görüntü İşleme kullanmayın
Standart görüntü analizinin algılayabildiği olağan dışı nesneleri ve üretim hatalarını tanıyın. Temel nesne algılama veya yüz algılama yapın. Bunun yerine Azure Vision kullanın.
Belirli iş gereksinimleri için ayrıntılı özel sınıflandırmalar sağlayın. Temel görsel analizi yapın. Bunun yerine Azure OpenAI'deki görüntü özellikli modelleri veya Machine Learning'deki açık kaynak modelleri kullanın.
Özelleştirilmiş senaryolar için modelleri kendi etiketli görüntülerinizle eğitin.

Özel Görüntü İşleme, özel özelliklere yönelik görüntüleri analiz etmek için bir makine öğrenmesi algoritması kullanır. İstediğiniz görsel özelliklere sahip ve olmayan görüntü kümeleri gönderirsiniz. Ardından, gönderme sırasında resimleri kendi etiketlerinizle veya etiketlerinizle etiketleyebilirsiniz. Algoritma, aynı görüntüler üzerinde kendini test ederek kendi doğruluğunu eğitmek ve hesaplamak için bu verileri kullanır. Modelinizi eğitdikten sonra görüntüleri sınıflandırmak veya nesneleri algılamak için görüntü tanıma uygulamanızda modeli test edebilir, yeniden eğitebilir ve sonunda kullanabilirsiniz. Modeli çevrimdışı kullanım için de dışarı aktarabilirsiniz.

Kullanılabilir Özel Görüntü İşleme özellikleri

Aşağıdaki tablo, Özel Görüntü İşleme'de kullanılabilen özelliklerin listesini sağlar.

Özellik Açıklama
Görüntü sınıflandırması Özellik olarak adlandırılan bir dizi girişi temel alarak bir kategoriyi veya sınıfı tahmin edin. Olası her sınıf için bir olasılık puanı hesaplayın ve nesnenin büyük olasılıkla ait olduğu sınıfı gösteren bir etiket döndürür. Bu modeli kullanmak için özelliklerden ve etiketlerinden oluşan verilere ihtiyacınız vardır.
Nesne algılama Görüntüdeki bir nesnenin koordinatlarını alma. Bu modeli kullanmak için özelliklerden ve etiketlerinden oluşan verilere ihtiyacınız vardır.

Custom Vision için kullanım örnekleri

Aşağıdaki tablo, Özel Görüntü İşleme için olası kullanım örneklerinin bir listesini sağlar.

Kullanım örneği Açıklama
Görsel durumları raporlamak için Nesnelerin İnterneti (IoT) cihazıyla Özel Görüntü İşleme'yi kullanın. Kameralı bir cihazı görsel durumları algılamak üzere eğitmek için Özel Görüntü İşleme'yi kullanın. Dışarı aktarılan bir ONNX modeli kullanarak bu algılama senaryosunu bir IoT cihazında çalıştırabilirsiniz. Görsel durum, boş oda, kişi içeren bir oda, boş bir araç yolu veya kamyonlu bir garaj yolu gibi bir görüntünün içeriğini açıklar.
Görüntüleri ve nesneleri sınıflandırma. Özel bir model eğiterek fotoğrafları analiz edin ve belirli logoları tarayın.

Azure İçerik Anlama

Azure Content Understanding , Araçlar'daki bir hizmettir. Görüntülerden ve videolardan yapılandırılmış alanları ayıklamak için üretken yapay zeka kullanır. Çıkartılacak öğeleri belirten bir şema tanımlarsınız ve Azure Content Understanding, yapılandırılmış JSON veya RAG uyumlu Markdown çıktısı üretmek için üretken modeller uygular. Ayrıca, ayıklanan her değer için güven puanları ve dayanak sağlayarak, hedeflenen insan incelemesiyle otomatik iş akışlarını destekler.

Bu görevler için Azure Content Understanding'i kullanma Bu görevler için Azure Content Understanding kullanmayın
Ürün, marka veya hata algılama gibi tanımladığınız bir şema kullanarak görüntülerden özel yapılandırılmış alanları ayıklayın. Nesne algılama veya OCR gibi standart görüntü analizi yapın. Bu görevler için Azure Vision kullanın.
Arama dizinlerinde veya sohbet aracılarında kullanmak üzere sahne açıklamaları, transkriptler ve anahtar çerçeveler de dahil olmak üzere videodan RAG'a hazır çıkış oluşturun. Ünlü belirleme, konuşmacı numaralandırması veya uzun biçimli içeriklerde yaklaşım analizi gibi ayrıntılı video içgörüleri ayıklayın. Bu görevler için Video Indexer kullanın.
Videoları sahnelere bölün ve marka varlığı veya reklam kategorisi gibi her segment için özel meta verileri ayıklayın.
Resimlerde veya videolarda yüz ifadeleri veya ünlü tanımlaması gibi yüz açıklamaları oluşturun. Bu özelliklerin erişimi sınırlıdır.

Kullanılabilir Azure Content Understanding özellikleri

Aşağıdaki tablo, Azure Content Understanding'de kullanılabilen görüntü ve video özelliklerinin listesini sağlar.

Özellik Açıklama
Görüntü alanı ayıklama Görüntülerden özel yapılandırılmış alanları, tanımladığınız bir şemaya göre ayıklar. Alanları doğrudan ayıklayabilir, bir kategori kümesinden sınıflandırabilir veya bir oluşturucu model kullanarak oluşturabilirsiniz. Bu özellik perakende raf analizi, üretim kalite denetimi ve grafik tabanlı iş zekası (BI) için kullanışlıdır.
Anahtar çerçeve ayıklama Bir videodaki her çekimden temsil niteliğindeki anahtar kareleri ayıklar. Her kesimin aşağı akış alanı ayıklaması için yeterli görsel bağlama sahip olmasını sağlar.
Çekim algılama Bir videodaki çekim sınırlarını görsel ipuçlarına göre tanımlar. Hassas düzenleme, yeniden paketleme ve segmentlere ayırma için zaman damgalarının listesini oluşturur.
Sahne segmentasyonu Videoları doğal dilde açıklanan mantıksal sahnelere böler. Bir haber yayınını hikaye konusuna göre bölme gibi segmentasyon mantığını tanımlarsınız ve oluşturucu model eşleşen segmentler oluşturur.
Video alanı ayıklama Oluşturucu bir model kullanarak, her video segmenti için bir şemaya göre marka logoları, reklam kategorileri veya sahne yaklaşımı gibi özel yapılandırılmış alanlar oluşturur.
Yüz açıklaması Resim veya videodaki yüzlerin yüz kılları, ifadeler ve ünlü tanımlaması gibi metinsel açıklamaları oluşturur. Yüz açıklaması, çözümleyici yapılandırmasında yüz bulanıklaştırmayı kapatmanızı gerektiren sınırlı erişimli bir özelliktir.

Azure Content Understanding için kullanım örnekleri

Aşağıdaki tabloda, görüntülere ve videolara uygulanan Azure Content Understanding için olası kullanım örneklerinin listesi sağlanır.

Kullanım örneği Açıklama
Videoda RAG Satır içi transkriptler, anahtar çerçeve küçük resimleri ve doğal dil segment açıklamaları dahil olmak üzere video dosyalarından RAG'a hazır Markdown oluşturun. Aracı veya arama iş akışlarının işlem sonrası gerekmeden çalışmasına izin vermek için çıktıyı doğrudan bir vektör veri deposuna yerleştirin.
Medya varlığı yönetimi İçerik kategorisi, marka varlığı ve önemli anlar gibi sahne düzeyinde meta verilerle video varlıklarını etiketleyin. Bu yaklaşım düzenleyicilerin, yapımcıların ve pazarlama ekiplerinin büyük video kitaplıklarından içerik düzenlemelerine ve almalarına yardımcı olur.
Üretim kalite kontrolü Üretim hatlarındaki hataları, anomalileri veya yanlış hizalamaları algılamak için ürün görüntülerini özel bir şemaya göre analiz edin.
Perakende raf analizi Ürünleri saymak, yanlış yerleştirmeleri algılamak ve stok düzeylerini izlemek için raf görüntülerinden yapılandırılmış verileri ayıklayın.
Reklam ve marka analizi Markanın açığa çıkması ve markalama yönergeleriyle uyumluluğu değerlendirmek için tanıtım video segmentlerindeki marka logolarını ve reklam kategorilerini belirleyin.

Video Dizinleyici

Video Indexer , kuruluşların canlı ve karşıya yüklenen video ve ses içeriklerinden derin içgörüler elde etmek için kullanabileceği bir yapay zeka çözümüdür. Gelişmiş makine öğrenmesi ve üretken yapay zeka modellerini kullanır ve transkripsiyon, çeviri, nesne algılama ve video özetleme gibi çok çeşitli özellikleri destekler. Video Indexer esnektir. Bunu bulutta kullanabilir veya Azure Arc aracılığıyla uç konumlara dağıtabilirsiniz.

Bu görevler için Video Indexer kullan Bu görevler için Video Indexer kullanmayın
Transkripsiyon, çeviri ve içerik analizi gibi yüklenen videolardan içgörüleri çıkarın. Kişi sayma ve hareket algılama gibi temel video analizi görevlerini gerçekleştirin. Azure Vision , bu görevler için daha uygun maliyetli bir araçtır.
Perakende, üretim veya güvenlik senaryoları için canlı video akışlarını gerçek zamanlı olarak analiz edin. Statik görüntülerden metin ayıklama. Görüntülerdeki OCR için Azure Vision'ı kullanın.
Azure Arc kullanarak katı veri yerleşimi veya düşük gecikme süresi gereksinimleri olan uç cihazlarda video analizi çalıştırın.

Dağıtım seçenekleri

Video Indexer aşağıdaki dağıtım seçeneklerini sağlar.

Seçenek Açıklama
Bulut Tabanlı Video Indexer Azure Yüz Tanıma, Döküm Araçları'nda Azure Translator, Azure Görüntü İşleme ve Azure Konuşma dahil olmak üzere Araçlar üzerinde oluşturulmuş bir bulut uygulaması. Ayrıntılı içgörüler oluşturmak için 30'dan fazla yapay zeka modeli çalıştırarak video ve ses içeriğini analiz eder.
Azure Arc tarafından etkinleştirilen Video Indexer Uç cihazlarda video ve ses analizi ile üretken yapay zeka çalıştıran bir Azure Arc uzantısı. Hem karşıya yüklenen hem de canlı video akışlarını destekleyerek, doğrudan veri kaynağında gerçek zamanlı analiz yapmayı sağlar. Katı veri yerleşimi gereksinimlerine veya düşük gecikme süresine sahip operasyonel gereksinimlere sahip sektörlere uygundur.

Video modelleri

Aşağıdaki tabloda, Video Indexer'da kullanılabilen video analizi özelliklerinin listesi sağlanır.

Özellik Açıklama
Yüz algılama Videoda görünen yüzleri algılar ve gruplar.
Hesap tabanlı yüz belirleme Modeli belirli bir hesap için eğiter ve eğitilen modele göre videolardaki yüzleri tanır.
Kişi algılamada gözlemlenenler Videolarda gözlemlenen kişileri algılar ve sınırlayıcı kutuları kullanarak tam zaman damgaları ve güvenilirlik düzeyleriyle konum bilgileri sağlar. Eşleşen kişi, algılanan kıyafetler ve öne çıkan giyim içgörüleri içerir.
Nesne algılama Benzersiz nesneleri algılar ve izler, böylece çerçeveye geri döndüklerinde bunları tanıyabilir.
Optik karakter tanıma Medya dosyalarındaki resimler, sokak tabelaları ve ürünler gibi görüntülerden metin çıkararak içgörüler oluşturur.
Etiket tanımlaması Görsel nesneleri ve görüntülenen eylemleri tanımlar.
Sahne segmentasyonu Görsel ipuçlarına göre videoda bir sahnenin ne zaman değişeceğini belirler. Sahne, ardışık bir dizi çekimden oluşan tek bir olayı gösterir.
Çekim algılama Görsel ipuçlarına göre videodaki bir çekimin ne zaman değişeceğini belirler. Çekim, aynı hareket-resimli kameradan alınan bir dizi karedir.
Anahtar çerçeve ayıklama Videodaki kararlı anahtar çerçeveleri algılar.
Kayrak algılama Çekim tahtası algılama, dijital desen algılama ve metinsiz sahne kartı algılama gibi film sonrası içgörülerini sağlar.

Ses modelleri

Aşağıdaki tablo, Video Indexer'da kullanılabilen ses analizi özelliklerinin listesini sağlar.

Özellik Açıklama
Sesli transkripsiyon STT'i 50'den fazla dilde dönüştürür ve uzantıları destekler.
Otomatik dil algılama Baskın konuşma dilini tanımlar.
Birden çok dilli konuşma belirleme Farklı ses segmentlerinde konuşulan dili tanımlar, döküme alınacak her kesimi gönderir ve bunları tek bir birleşik transkripsiyonda birleştirir.
Kapalı açıklamalı alt yazı Web Video Metin Parçaları (WebVTT), Zamanlanmış Metin İşaretleme Dili (TTML) ve SubRip Alt Başlığı (SRT) biçimlerinde kapalı açıklamalı alt yazı oluşturur.
İki kanal işleme Ayrı transkriptleri otomatik olarak algılar ve tek bir zaman çizelgesinde birleştirir.
Gürültü azaltma Skype filtrelerini temel alarak telefon sesini veya gürültülü kayıtları temizler.
Konuşmacı numaralandırması Hangi konuşmacının hangi sözcükleri ve ne zaman konuştuğunu eşler ve anlar. Tek bir ses dosyasında 16 hoparlör algılayabilir.
Çeviri Ses transkriptinin çevirilerini birçok farklı dilde oluşturur.
Ses efektleri algılama Alarmlar ve sirenler, köpek havlaması, kalabalık tepkileri, yüksek sesli darbe sesleri, kahkaha, kırılan cam ve sessizlik gibi ses efektlerini algılar.

Birleşik ses ve video modelleri

Aşağıdaki özellikler ses ve video içeriğini analiz eder.

Özellik Açıklama
Anahtar kelimelerin çıkarılması Konuşma ve görsel metinden anahtar sözcükleri ayıklar
Adlandırılmış varlıkların çıkarılması Doğal dil işleme (NLP) aracılığıyla konuşma ve görsel metinden markaları, konumları ve kişileri ayıklar
Konu çıkarımı Uluslararası Basın Telekomünikasyon Konseyi (IPTC), Wikipedia ve Video Indexer hiyerarşik konu ontolojisini kullanarak çeşitli anahtar sözcüklere dayalı konuları ayıklar
Duygu analizi Konuşma ve görsel metinden pozitif, negatif ve nötr yaklaşımları tanımlar

Daha fazla bilgi için bkz. Video Indexer'a genel bakış.

Bulut tabanlı Video Indexer için kullanım örnekleri

Aşağıdaki tablo, bulut tabanlı Video Indexer için olası kullanım örneklerinin bir listesini sağlar.

Kullanım örneği Açıklama
Derin arama Video Indexer'ın ayıkladığı içgörüleri kullanarak video kitaplığındaki arama deneyimini geliştirin. Örneğin, konuşulan sözcükleri ve yüzleri dizine eklediğinizde, kullanıcılar videoda bir kişinin belirli sözcükler söylediği veya iki kişinin birlikte görüldüğü anları bulabilir. Bu kullanım örnekleri, haber ajansları, eğitim kurumları, yayıncılar, eğlence içeriği sahipleri ve kurumsal iş kolu (LOB) uygulamaları dahil olmak üzere kullanıcıların araması gereken bir video kitaplığına sahip olan tüm sektörler için geçerlidir.
İçerik oluşturma Video Indexer'ın içeriğinizden çıkardığı içgörüler temelinde fragmanlar, özellikli bölümler, sosyal medya içeriği veya haber klipleri oluşturun. Kişi ve etiket görünümlerine ait ana kareler, sahne işaretçileri ve zaman damgaları oluşturma işlemini basitleştirir.
Erişilebilirlik Video Indexer'ın sağladığı transkripsiyon ve çeviri özelliklerini kullanarak içeriğinizi engelli kişiler için kullanılabilir hale getirin veya içeriği farklı dilleri kullanan bölgelere dağıtın.
Gelir elde etme Videoların değerini artırın. Haber medyası ve sosyal medya gibi reklam gelirine dayanan sektörler, ayıklanan içgörüleri reklam sunucusuna ek sinyaller olarak kullanarak ilgili reklamlar sunabilir.
İçerik moderasyonu Kullanıcılarınızı uygunsuz içeriklerden koruyun ve metinsel ve görsel içerik denetleme modellerini kullanarak yayımladığınız içeriğin kuruluşunuzun değerleriyle eşleştiğini onaylayın.
Öneriler Kullanıcılara ilgili video anlarını vurgulayarak kullanıcı katılımını geliştirin. Her videoyu ek meta verilerle etiketleyerek en ilgili videoları önerebilir ve kullanıcıların ihtiyaçlarına uyan bölümleri vurgulayabilirsiniz.

Azure Arc tarafından etkinleştirilen Video Indexer kullanım örnekleri

Aşağıdaki tabloda, Azure Arc tarafından etkinleştirilen Video Indexer için olası kullanım örneklerinin listesi sağlanır.

Kullanım örneği Açıklama
Perakende Mağaza düzenlerini iyileştirin ve müşteri deneyimini ve güvenliğini geliştirin. Personeli iyileştirmek ve bekleme sürelerini azaltmak için ödeme satırlarındaki müşteri sayısını gerçek zamanlı olarak izleyin.
İmalat Video analizi ile kalite denetimi ve çalışan güvenliği sağlayın. Kritik olayların gerçek zamanlı tespiti ile koruyucu ekipman kullanmayan çalışanları algılayın.
Modern güvenlik Güvenlik ve güvenlik sorunlarını risk oluşturmadan önce algılayın ve belirleyin.
Veri idaresi yapay zekayı içeriğe getirin. Düzenlemeler, mimari kararları veya büyük veri depoları nedeniyle dizine alınan içeriği şirket içinden buluta taşıyamadığınızda Arc tarafından etkinleştirilen Video Indexer'ı kullanın.
Dizin oluşturma öncesi Buluta yüklemeden önce içeriği dizine ekleyin. Şirket içi video veya ses arşivinizi önceden düzenleyin ve ardından yalnızca bulutta standart veya gelişmiş dizin oluşturma için karşıya yükleyin.
  • Last updated on