Pod yayını ses dosyalarını işlemek için Azure OpenAI kullanma

Bu makalede, ses dosyalarını işlemek için kullanabileceğiniz bir işlem hattının örnek tasarımı sağlanır. İşlem hattı, konuşmayı metne dönüştürme için Azure AI hizmetlerini ve analiz için Azure OpenAI Hizmetini kullanır. Mimari, işletimsel bir pano ve medya dosyalarını düzenleyen ve işleyen üç Azure işlevi sağlayan statik bir web uygulamasından oluşur. Bu çözümü otomatik ve ölçeklenebilir yapay zeka analizi gerektiren medya iş yükleri için kullanabilirsiniz.

Mimari

Bu mimarinin bir Visio dosyasını indirin.

İş Akışı

1. Kullanıcı, ses dosyalarını karşıya yüklemek için kullanıcı arabirimi olan bir web sayfasına gider.

2. Statik web uygulaması, ses dosyasını Azure Blob Depolama yükleyen kodu içerir.

3. Kullanıcı, ses dosyasının depolama hesabı içinde belirlenen bir kapsayıcıya aktarılmasını başlatmak için HTTP uç noktası kullanan bir işlevi tetikleyen web sayfasıyla etkileşim kurar.

4. Blob Depolama yeni bir dosyanın karşıya yüklendiğini algıladıktan sonra, Azure AI Konuşma kullanılarak sesi metne dönüştüren başka bir işlev çağrılır. Transkripsiyon sonuçları metin dosyası biçiminde depolanır ve başka bir kapsayıcıya yüklenir.

5. Üçüncü bir işlev transkripsiyonları algılamak ve işlemek ve özetler, arama motoru için iyileştirilmiş anahtar sözcükler ve çeviriler oluşturmak için üretken yapay zeka kullanır.

Bileşenler

• Statik Web Uygulamaları , statik web uygulamalarını barındırmayı ve dağıtmayı basitleştirmek için kullanabileceğiniz bir hizmettir. Statik Web Apps, otomatik dağıtım ve sürekli tümleştirme ve sürekli dağıtım (CI/CD) işlem hatları için GitHub depolarıyla sorunsuz tümleştirme sağlar.

• Azure İşlevleri, geliştiricilerin altyapıyı yönetmek zorunda kalmadan kod çalıştırmak için kullanabileceği sunucusuz bir bilgi işlem hizmetidir.

• Blob Depolama , metin veya ikili veri gibi büyük miktarlarda yapılandırılmamış verileri depolamak için kullanabileceğiniz bir depolama hizmetidir.

• Yapay zeka hizmetleri , konuşma tanıma, doğal dil anlama ve görüntü işleme gibi özellikler sunan bulut tabanlı API'lerden ve önceden oluşturulmuş yapay zeka modellerinden oluşan bir pakettir.

• Azure OpenAI , Microsoft Azure ile OpenAI arasında, Azure platformu aracılığıyla OpenAI'nin modellerine ve teknolojilerine erişim sağlayan bir ortaklıktır.

Senaryo ayrıntıları

Pod yayınları fikirlerinizi, hikayelerinizi ve perspektiflerinizi paylaşmak için etkili bir ortamdır. Birçok kuruluş ve kişi, pod yayınlarını kullanarak hedef kitlelerini birbirine bağlayıp büyütmenin gücünü keşfetti. Daha da geniş bir hedef kitleye ulaşmak için içerik oluşturucular, içeriklerini diğer dillerin konuşmacıları için daha erişilebilir hale getirmek için pod yayını özetini ve içerik yerelleştirmesini kullanabilir.

Pod yayını özetleri, içerik oluşturucuların pod yayını bölümlerinin ne hakkında olduğunu dinleyicilere bildirmesi için hızlı ve kolay bir yoldur. Pod yayını synopsis, dinleyicilerin dinleme yapmak isteyip istemediklerine karar vermelerine yardımcı olabilir. Çevrilmiş bir özet, potansiyel uluslararası dinleyicilerin pod yayınını keşfetmesini ve neler sunduğunu öğrenmesini kolaylaştırır.

Yerelleştirme, pod yayını içeriğinizi belirli bir dile ve kültüre uyarlama işlemidir. Yerelleştirme çevirinin ötesine geçer ve hedef kitlenizin nüanslarını, tercihlerini ve beklentilerini dikkate alır. Yerelleştirme, dinleyicilerinizle daha derin bir düzeyde bağlantı kurmanıza ve katılımlarını ve sadakatlerini artırmanıza yardımcı olabilir.

İçerik oluşturmak ve yayımlamak zordur. Yapay zeka, süreçleri otomatikleştirmenize ve pod yayını üretim ve dağıtımınızı ölçeklendirmenize yardımcı olabilir. Yapay zeka ve yapay zeka altyapısını kullanarak pod yayınınızın sesinin dökümünü alabilir, özetinizi çevirebilir ve çeşitli dillerde ve vurgularda seslendirmeler oluşturabilirsiniz.

Bu makalede, bir pod yayını synopsis oluşturmak, pod yayınını birden çok dilde yerelleştirmek ve içerik hedef kitlenizi genişletmeye yardımcı olacak pazarlama ve arama motoru iyileştirme (SEO) anahtar sözcüklerini otomatik olarak oluşturmak için yapay zekanın nasıl kullanılacağı açıklanmaktadır. Bu çözüm, Konuşma ve Azure OpenAI ile bu işlemin büyük bir bölümünü otomatikleştirmek için GPT'nin gücünün nasıl kullanılacağını göstermektedir. GPT'yi kullanarak sesi otomatik olarak metne dönüştürebilir, belirli bir stilde ve tonda bir özet oluşturabilir, akılda kalıcı etiket çizgileri ve SEO anahtar sözcükleri önerebilir ve özetleri birden çok dile çevirerek birkaç dakika içinde genel bir hedef kitleye ulaşabilirsiniz.

Web uygulaması

Statik bir web uygulaması bu uygulamanın işlevselliğini kullanıma sunar. Uygulama React web kitaplığı kullanılarak yazılır. Ses dosyalarını karşıya yüklemek için React web kitaplığını kullanabilirsiniz. Ses dosyaları işlendikten sonra React şunları içeren görüntülenebilir ve indirilebilir sonuçlar oluşturur:

• Bir özet.
• Çevrilmiş bir özet.
• Alternatif başlık.
• SEO anahtar sözcükleri.

Depolama

Bu çözüm ham dosyaları (ses), transkripsiyonları (sesin metin transkripsiyonlarını) ve Azure OpenAI sonuçlarını depolamak için birden çok kapsayıcıya sahip tek bir Azure Depolama hesabı kullanır.

İşlem

Bu çözüm, ses dosyalarını işlemek için belirli bir iş akışında üç Azure işlevi kullanır. Üç işlev de Python'da yazılır.

HTTP ile tetiklenen işlev

Statik web sitesi, HTTP ile tetiklenen ilk işlevi kullanır. İşlev bir Flask uygulama çerçevesine sahiptir ve iki uç noktayı kullanıma sunar:

• Ses dosyasını Blob Depolama'ya yüklemek için POST işlemi
• Oluşturulan yapay zeka içgörülerinin sonuçlarını almak için GET işlemi

Ham dosyalar kapsayıcısı için blob ile tetiklenen işlev

İkinci işlev, depolama hesabının ham dosyalar kapsayıcısını kullanacak şekilde ayarlanmış bağlamaları olan blob ile tetiklenen bir işlevdir. Bu kapsayıcıya bir dosya yüklendiğinde işlev otomatik olarak tetikleniyor. Bu işlev, ses dosyalarını WAV'a ffmpeg dönüştürmek için Azure Dosyalar kullanarak bağlanan CLI aracından da yararlanır. Konuşma , WAV biçimini kullanır. Dosya WAV dosya biçimine dönüştürüldükten sonra Konuşma'ya geçirilir. Konuşma, ses dosyasının metin dökümünü oluşturur. Metin transkripsiyonu daha sonra depolama hesabı içindeki transkripsiyon kapsayıcısına yüklenir.

Transkripsiyon kapsayıcısı için blob ile tetiklenen işlev

Üçüncü ve son işlev, depolama hesabının transkripsiyon kapsayıcısını kullanacak şekilde ayarlanmış bağlamaları olan blob ile tetiklenen bir işlevdir. Bu kapsayıcıya yüklenen tüm dosyalar, işlevin çalıştırılmasını tetikler. Bu son işlev, Azure OpenAI'de transkripsiyonu özetleyen, etiket satırları ve SEO anahtar sözcükleri oluşturan ve transkripti İngilizce olmayan dillere çeviren bir dizi istem oluşturur.

Özet, SEO anahtar sözcükleri ve çeviri oluşturulduktan sonra Azure OpenAI yanıtları depolama hesabındaki open-ai-results kapsayıcısına yüklenir.

Yapay zeka ve makine öğrenmesi

Bu çözümde iki Azure AI iş yükü kullanılır:

• Konuşma
• Azure OpenAI

Konuşma'daki konuşmayı metne dönüştürme özellikleri, sesi metne dönüştürmektedir. Azure OpenAI GPT modelleri metni işler. Modeller etiketler, SEO anahtar sözcükleri, özetleme ve çeviri hizmeti oluşturmak için üretken özellikler kullanır. Metin içerik oluşturma görevlerini gerçekleştirmek için transkripsiyonu kullanırlar.

Olası kullanım örnekleri

Mimari çerçeve, yapay zekanın otomatik olarak analiz yaptığı medya görevleri için tasarlanmıştır. Bu çerçeve medya uygulamalarına yöneliktir, ancak özellikle ses kayıtlarının metin özetlemesi gerektiren ve transkriptler, özetlemeler, etiket çizgileri ve synops'lar için yapay zeka tarafından oluşturulan içeriği kullanan görevler için daha geniş uygulamalar için kullanılabilir.

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazarlar:

• Kathy Lee | Üst Düzey Bulut Çözümü Mimarı
• Uffaz Nathaniel | Baş Yazılım Mühendisi
• Chew-Yean Yam| Sorumlu Veri Bilimci

Diğer katkıda bulunanlar:

• Andy Beach | Dünya Çapında Medya ve Eğlence Genel Müdürü (CTO)
• Simon Powell | Asıl Program Yöneticisi

Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.

Sonraki adımlar

• Pod yayını synopsis oluşturma örneği
• Azure OpenAI GPT ile pod yayını synopsis oluşturma işlemini otomatikleştirme