Aracılığıyla paylaş

Azure OpenAI ile MetinSel Video Özeti

  • Makale

Uyarı

Azure AI Video Indexer (VI) geçtiğimiz yıl kullanımdan kaldırılma nedeniyle Azure Media Services'a (AMS) bağımlılığının kaldırılmaya başlanacağını duyurdu. Özellik ayarlamaları ve değişiklikler duyuruldu ve bir geçiş kılavuzu sağlandı.

Geçişi tamamlamak için son tarih 30 Haziran 2024'dü. VI, VI hesabınızı güncelleştirebilmeniz ve AMS VI varlık geçişini 31 Ağustos 2024'e kadar kabul edebilmeniz için güncelleştirme/geçiş son tarihini uzatmıştır.

Ancak 30 Haziran'dan sonra VI hesabınızı güncelleştirmediyseniz yeni videoları dizine ekleyemez veya geçirilmemiş videoları oynatamazsınız. Hesabınızı 30 Haziran'dan sonra güncelleştirirseniz, dizin oluşturmayı hemen sürdürebilirsiniz, ancak AMS VI geçişi aracılığıyla geçirilene kadar hesap güncelleştirmeden önce dizine alınmış videoları oynatamazsınız.

Bu makale, Azure AI Video Indexer ile Azure OpenAI metin özetlemesine genel bir bakıştır.

Azure AI Video Indexer ile metinsel video özetleme nedir?

Azure AI Video Indexer, videonun tamamını izlemek zorunda kalmadan videonun ne hakkında olduğunu gösteren kısa bir özet sağlar. Uzun videoları sindirerek ve size çok daha kısa bir biçimde özetleyerek size zaman kazandıracak şekilde tasarlanmıştır. Bir dizinin tüm bölümlerini izleyen ve sonra sizi sadece birkaç dakika içinde arsada yakalayan bir arkadaşınızın olması gibi.

Sistem, uzun videoları kısa, sindirilebilir özetlere ayırarak üretkenliği ve öğrenmeyi geliştiren destekleyici bir araç olarak tasarlanmıştır.

Video için en uygun içgörüleri belirlemek için özetleme algoritmalarını kullanır. Genel temanın önemine ve ilgisine göre puanlama içgörüleri içerir. Kullanıcı dostu bir arabirim, video girmenize ve ihtiyacınız olan özet türünü özelleştirmenize olanak tanır.

Sistem, geri bildirim seçenekleri sunarak kullanıcı etkileşimlerine göre zaman içinde öğrenmesini ve geliştirmesini sağlar.

Önemli

Sistem, özellikle ayrıntıların ve nüansların sorumlu kararlar alma açısından kritik öneme sahiptir olduğu içeriklerde tam görüntülemenin yerini almaya yönelik değildir. Ayrıca, bağlam ve gizliliğin en önemli olduğu son derece hassas veya gizli videoları özetlemek için tasarlanmamıştır.

Kullanım örnekleri

Yapay zeka tabanlı video özetleme sisteminin amaçlanan kullanımları, kullanıcılara daha uzun videoların içeriğini tamamen izlemek zorunda kalmadan anlamaları için hızlı ve verimli bir yol sunmaktır. Aşağıda, belirli amaçlarla kullanılan bazı kullanımlar bulunur:

Eğitim

Öğrenciler ve eğitimciler sistemi kullanarak dersleri, seminerleri veya eğitim içeriklerini özetleyebilir, çalışma malzemelerini daha erişilebilir ve gözden geçirmesi daha kolay hale getirebilir ve önemli öğrenme noktalarına veya tanımlara odaklanabilir.

Kurumsal

Profesyoneller toplantıların, sunuların veya toplantılardan alınan kararları, eylem öğelerini veya önemli noktaları vurgulayan eğitim oturumlarının özetlerini oluşturabilir. Hızlı özetler sağlar ve önemli bilgilerin kaçırılmamasını sağlar.

Medya

Gazeteciler ve genel halk, haberlerin, belgesellerin veya röportajların özünü elde etmek için sistemi kullanarak bilgi sahibi olurken zaman kazandırabilir. Anlatımı kaybetmeden haberleri veya belgeselleri ısırık parçalar halinde sıkıştırır.

Çıkış biçimleri

Özetleri farklı dil stilleri kullanacak şekilde ayarlayabilirsiniz: nötr, gündelik veya resmi. Özet uzunluğunu kısa veya uzun olarak da ayarlayabilirsiniz.

Sınırlamalar

Modeller

hassas ayarlı modeller desteklenmez. Azure OpenAI'de (AOAI) ince ayarlı bir model, kişiselleştirilmiş bir veri kümesi üzerinde eğitilerek belirli bir görev için daha da iyileştirilmiş, böylece söz konusu uygulama için performansını ve doğruluğunu geliştiren önceden eğitilmiş bir yapay zeka modelidir.

İngilizce olmayan diller

Metin özetleme, İngilizce dili için iyileştirilmiştir. Ancak, kullanılan belirli GenAI modeli tarafından desteklenen tüm dillerle, yani GPT3.5 Turbo veya GPT4.0 ile uyumludur. Bu nedenle İngilizce olmayan dillere uygulandığında, özetlerin doğruluğu ve kalitesi değişebilir. Bu sınırlamayı azaltmak için fazladan dikkatli olun ve oluşturulan özetleri doğruluk ve eksiksizlik açısından doğrulayın.

Birden çok dil içeren videolar

Bir videoda birden çok dilde konuşma varsa, metin özetlemesi videoda öne çıkan tüm dilleri doğru bir şekilde tanımakta zorlanabilir. Çok dilli videolar için MetinSel Video Özetleme özelliğini kullanırken bu olası sınırlamaya dikkat edin.

Son derece özelleştirilmiş veya teknik videolar

Video özeti yapay zeka modelleri genellikle haberler, filmler ve diğer genel içerikler dahil olmak üzere çok çeşitli videolar üzerinde eğitilir. Video son derece özel veya teknikse, model videonun özetini doğru bir şekilde ayıklayamayabilir.

Düşük ses kalitesine veya Optik Karakter Tanıma (OCR) özelliğine sahip videolar

Metin özetleme yapay zeka modelleri, videodan özet ayıklamak için sese (diğer içgörülerin yanında) veya ekranda görünen metni ayıklamak için OCR'ye de güvenir. Ses kalitesi düşükse ve OCR tanımlanmadıysa model videodaki özeti doğru şekilde ayıklayamayabilir.

Düşük aydınlatmalı veya hızlı hareket eden videolar

Düşük aydınlatmada çekilen veya hızlı hareket eden videolar modelin işlemesi zor olabilir ve bu da düşük performansa neden olabilir.

Sık rastlanmayan aksanlı veya diyalektli videolar

Yapay zeka modelleri genellikle farklı aksanlar ve diyalektler de dahil olmak üzere çok çeşitli konuşmalar üzerinde eğitilir. Ancak, videoda eğitim verilerinde iyi temsil etmeyen aksanlı veya diyalektli bir konuşma varsa, model videodan transkripti doğru bir şekilde ayıklamakta zorlanabilir.

Zararlı içerik içeren videolar

Zararlı veya hassas içerik içeren videolar, hassas veya zararlı içerik içeren bölümler hariç tutulabileceğinden kısmi bir özete neden olabilir.

Edge cihazında metin özetleme

Edge uzantısını kullanıyorsanız, web portalındaki video sayfasından bir özet oluşturabilir ve özelleştirmeler gibi aynı işlevleri kullanabilirsiniz, ancak model dağıtımını değiştirme seçeneği yoktur. Bunun yerine, oluşturulan her yeni uzantı Microsoft tarafından geliştirilen yerel bir Phi-3-mini-4k-instruct modeli içerir. Modele yönelik istekler için ücret alınmaz.

Belirtimler

  • Desteklenen donanım: Şu anda yalnızca Intel CPU ve Nvidia GPU'ları desteklemektedir.
  • Ortalama çalışma zamanı CPU'da video uzunluğunun %46-57'sini veya GPU'da %15-17 arasında değişir.

Bilinen Sınırlamalar ve Bilinen Sorunlar

  • CPU: Şu anda AMD CPU'larda VI çalıştırmak, çalışma zamanlarının önemli ölçüde daha uzun sürmesine neden olabilir ve şu anda desteklenmemektedir.
  • Özetleme özelliği bir yapay zeka dil modeli tarafından oluşturulur ve genel bir genel bakış sağlamaya hizmet eder. Doğruluk ve güvenilirlik hedeflesek de, içerik orijinal malzemenin özünü tamamen kapsüllemeyebilir. Bir insanın kullanımdan önce özeti gözden geçirmesini ve düzenlemesini öneririz. Profesyonel veya kişiselleştirilmiş tavsiye olarak görüntülenmemelidir.
  • Özet sonuçları genel olarak her özetleme ayarında tutarlıdır. Ancak, transkripti düzenlemek veya videonun yeniden dizine alınması farklı çıkış sonuçlarına yol açabilir.
  • Ürün belgeleri için yasal uyarı: Özetleme ayarlarını kullanırken Nötr stil bazen Resmi stile benzeyebilir. Gündelik stil içerikle ilgili hashtag'ler içerebilir. Ayrıca, bazı durumlarda "Orta" uzunluk özeti "Kısa" bir özetten daha kısa olabilir.
  • Çok az içeriği olan videolar (çok kısa videolar gibi) genellikle kısa girişle ilgilenirken olabilecek olası model yanlışlıklarını azaltmak için özetlenmez.
  • Özet zaman zaman sağlanan iç yönergeleri içerebilir veya bunlara başvurabilir ("meta istem" olarak adlandırılır). Bu, zararlı içeriği dışlayan yönergeleri kapsayabilir.
  • Özetin uzunluğu, video özetinden ayıklanan ayrıntı düzeyini etkileyebilir. Daha uzun özetler, daha az belirli ayrıntıların eklenmesine neden olabilir.
  • Oluşturulan özette cinsiyet, yaş ve diğer kişisel özelliklerin yanlış tanımlanması gibi yanlışlıklar bulunabilir.
  • Özgün video uygunsuz içerik içeriyorsa, video özetleme çıktısı ayıklaması şu şekillerde etkilenebilir: eksik olabilir, uygunsuz içerikle ilgili sorumluluk reddi içerebilir ve bazı durumlarda, yasal uyarıyla veya bildirim olmadan sunulabilecek gerçek uygunsuz tırnakları içerebilir.

Ek bilgi

Metin özetlemenin nasıl kullanıldığı hakkında daha fazla bilgi için bkz . Metin özetleme için saydamlık notları .

Metinsel video özetlemeyi deneyin

Metinsel video özetlemeyi kullanmayı deneyin.