Ses akışına genel bakış - ses aboneliği

Azure İletişim Hizmetleri, geliştiricilere etkin aramalar sırasında ses içeriğini yakalamak, analiz etmek ve işlemek için güçlü araçlar sunarak çift yönlü ses akışı özellikleri sağlar. Bu geliştirme, hem geliştiriciler hem de işletmeler için gerçek zamanlı iletişimde yeni olasılıkların önünü açar.

İki yönlü ses akışını Azure OpenAI ve diğer gerçek zamanlı ses API'leri gibi hizmetlerle tümleştiren işletmeler sorunsuz, düşük gecikme süreli iletişim sağlayabilir. Bu ek özellik, konuşma yapay zekası çözümlerinin geliştirilmesini ve dağıtımını önemli ölçüde geliştirerek daha ilgi çekici ve verimli etkileşimler sağlar.

Çift yönlü akış sayesinde işletmeler artık ses çözümlerini düşük gecikme süreli, insan benzeri, etkileşimli konuşma yapay zekası aracılarına yükseltebilir. Çift yönlü akış API'lerimiz, geliştiricilerin Azure İletişim Hizmetleri üzerinde devam eden bir aramadan sesleri gerçek zamanlı olarak web sunucularına aktarmasını ve ardından sesi tekrar aramaya geri göndermesini sağlar. Bu özelliklerin ilk odak noktası işletmelerin konuşma yapay zekası aracıları oluşturmasına yardımcı olmak olsa da diğer kullanım örnekleri arasında konuşma analizi için Doğal Dil İşleme veya son kullanıcılarla etkin etkileşimde olan aracılara gerçek zamanlı içgörüler ve öneriler sunma sayılabilir.

Bu genel önizleme, geliştiricilerin Azure İletişim Hizmetleri aracılığıyla bir WebSocket üzerinden gerçek zamanlı ses akışlarına erişmesini ve sesi geri aramaya aktarmasını destekler.

Gerçek zamanlı arama yardımı

• Konuşma yapay zekası çözümlerinden yararlanın: Müşterilerle gerçek zamanlı olarak etkileşim kurabilen ve anında yanıtlar ve çözümler sağlayan gelişmiş müşteri desteği sanal aracıları geliştirin.

• Kişiselleştirilmiş müşteri deneyimleri: İşletmeler gerçek zamanlı verilerden yararlanarak gerçek zamanlı olarak daha kişiselleştirilmiş ve dinamik müşteri etkileşimleri sunarak daha fazla memnuniyet ve sadakat sağlayabilir.

• Müşteriler için bekleme sürelerini kısaltın: Büyük Dil Modelleri (LLM) ile çift yönlü ses akışlarını kullanarak, müşteriler için ilk iletişim noktası olarak hizmet veren sanal aracılar oluşturabilir ve bu sayede bir insan temsilcinin bekleme süresini kısaltabilirsiniz.

Kimlik Doğrulaması

• Biyometrik kimlik doğrulaması – Ses tanıma/eşleşen altyapı/araç aracılığıyla aramadaki sesi çalıştırarak ses kimlik doğrulamasını gerçekleştirmek için ses akışlarını kullanın.

İki yönlü ses akışının konuşma yapay zeka aracıları için nasıl kullanılabileceğini gösteren örnek mimari

Desteklenen biçimler

Karışık

Aramadaki tüm katılımcıların karışık sesini içerir. Tüm ses tek bir akışa indirgenir.

Karışık değil

Bir aramanın herhangi bir noktasında en baskın dört hoparlör için en fazla dört kanal desteğiyle kanal başına katılımcı başına ses içerir. Ayrıca konuşmacıyı belirlemek için kullanabileceğiniz bir participantRawID alırsınız.

Ek bilgi

Geliştiriciler, ses paketlerini uygulamaları için sesli içeriğe dönüştürmek için Azure İletişim Hizmetleri gönderilen ses hakkında aşağıdaki bilgileri kullanabilir.

• Kare hızı: Saniyede 50 kare
• Paket akış hızı: 20 ms hız
• Veri paketi boyutu: 16.000 hz için 640 bayt ve 24.000 hz için 960 bayt
• Ses ölçümü: 16.000 hz ve 24.000 hz'de 16 bit PCM mono
• Genel dize verileri, ham PCM dosyası oluşturmak için bayt dizisine dönüştürülmesi gereken bir base64 dizesidir.

Faturalandırma

Ses akışının nasıl faturalandığı hakkında bilgi için Azure İletişim Hizmetleri fiyatlandırma sayfasına bakın. Fiyatlar, ses akışı altındaki çağrı kategorisinde bulunabilir.

Bilinen Sınırlamalar

• Yeni bir operationContext kullanarak medya akışının durdurulması güncelleştirilmiş bağlamı doğru yansıtmaz.
  • operationContext değeri "ABC" olarak ayarlanmış ve medya akışını etkinleştiren bir çağrı oluşturur veya yanıtlarsanız operationContext: "ABC" ile MediaStreamingStarted olayını alırsınız.
  • StopStreaming API'yi farklı bir operationContext ile çağırırsanız, örneğin 'XYZ,' operationContext: "XYZ" ile MediaStreamingStopped olayını almayı beklersiniz. Ancak bilinen bir sorun nedeniyle MediaStreamingStopped olayı hala operationContext: "ABC" içeriyor.
• Yeni bir geri çağırma URI'sini kullanarak medya akışını durdururken, olaylar çağrı oluşturma veya yanıtlama sırasında kullanılan varsayılan geri çağırma URI'sine gönderilmeye devam ediyor.
  • Varsayılan geri arama URI'siyle bir çağrı oluşturur veya yanıtlarsanız ve medya akışını etkinleştirirseniz, MediaStreamingStarted olayı "https://ABC.com"" gönderilecektir.
  • Ardından StopStreaming API'sini kullanarak akışı durdurur ve yeni bir geri çağırma URI'sini "https://XYZ.com" olarak belirtirseniz, MediaStreamingStopped olayının "https://XYZ.com."" adresine gönderilmesini beklersiniz. Ancak, bilinen bir sorun nedeniyle, olay hala özgün geri çağırma URI'sine "https://ABC.com"" gönderilir.

Sonraki Adımlar

Daha fazla bilgi edinmek için ses akışı hızlı başlangıç kılavuzuna göz atın.