Gambaran umum kecerdasan buatan (AI)

Teknologi kecerdasan buatan (AI) berguna untuk banyak pengalaman komunikasi. AI dapat membantu manusia berkomunikasi dengan lebih baik dan menyelesaikan misi mereka dengan lebih efisien, misalnya, karyawan perbankan dapat menggunakan ringkasan rapat yang dihasilkan AI untuk membantu mereka menindaklanjutinya. AI dapat mengurangi beban kerja manusia dan memungkinkan keterlibatan pelanggan yang lebih fleksibel, seperti mengoperasikan bot telepon 24/7 yang dipanggil pelanggan untuk memeriksa saldo akun mereka.

Contoh lainnya meliputi:

• Mengoperasikan obrolan atau bot suara yang merespons percakapan manusia.
• Mengubah konten ucapan audio menjadi transkripsi teks.
• Ubah umpan video untuk mengaburkan latar belakang pengguna.
• Buat anotasi dan analisis percakapan untuk mengidentifikasi tren dan peluang untuk meningkatkan layanan.
• Ubah korpus obrolan teks dan transkripsi rapat menjadi ringkasan. Pengalaman ini mungkin melibatkan antarmuka AI generatif di mana pengguna bertanya, "Ringkas semua percakapan antara saya dan pengguna Joe."

Artikel ini merangkum ketersediaan fitur yang berdekatan dengan AI dan AI di Azure Communication Services. Ada dua kategori fungsionalitas AI yang luas:

• AI terintegrasi: Azure Communication Services terintegrasi langsung dengan Azure AI dan Microsoft Copilot Studio. Umumnya fitur-fitur ini mengharuskan Anda membuat dan menautkan sumber daya Azure Communication Services dan Azure AI di portal Azure. Setelah penautan satu kali ini, menggunakan fitur AI ini sama mudahnya dengan satu panggilan API.
• Aksesor: Azure Communication Services menyediakan berbagai API yang memberi Anda akses mentah dan diubah ke data komunikasi Anda sehingga memudahkan Anda untuk menghubungkan layanan eksternal dan sistem AI Anda sendiri.

Olahpesan: SMS, obrolan, email, WhatsApp

Bagian ini meringkas fitur untuk mengintegrasikan AI ke dalam pesan Azure Communication.

Integrasi Langsung

• Analisis pesan tingkat lanjut: API olahpesan Azure Communication Services untuk WhatsApp menyediakan integrasi bawaan dengan Azure OpenAI yang menganalisis dan membuat anotasi pesan. Integrasi ini dapat mendeteksi bahasa pengguna, mengenali niat mereka, dan mengekstrak frasa kunci.
• Azure Bot Service: Integrasi saluran obrolan: Sistem obrolan Azure Communication Services terintegrasi langsung dengan Azure Bot Service. Integrasi ini menyederhanakan pembuatan bot obrolan yang berinteraksi dengan pengguna manusia.

Pengakses

Semua kemampuan olahpesan Azure Communication Services dapat diakses melalui REST API, SDK berorientasi server, dan pemberitahuan Event Grid. Anda dapat menggunakan SDK ini untuk mengekspor konten ke datastore eksternal dan melampirkan model bahasa untuk meringkas percakapan. Atau Anda dapat menggunakan SDK untuk mengintegrasikan bot yang langsung berinteraksi dengan pengguna manusia. Misalnya, sampel GitHub ini menunjukkan bagaimana API Azure Communication Services untuk obrolan dapat diakses melalui REST API lalu dianalisis oleh Azure OpenAI.

Suara, video, dan telepon

Bagian ini meringkas fitur untuk mengintegrasikan AI ke dalam panggilan suara dan video Azure Communication.

Integrasi Langsung

• Panggil REST API dan SDK Automation: Azure Communication Services memiliki API sederhana untuk mensintesis dan mengenali ucapan. Skenario paling umum untuk API ini adalah menerapkan bot suara, yang terkadang disebut respons suara interaktif (IVR).
• Microsoft Copilot Studio: Copilot Studio terintegrasi langsung dengan telepon Azure Communication Services. Integrasi ini dirancang untuk bot suara dan IVR.
• Keterangan klien: SDK klien Panggilan menyediakan API untuk keterangan tertutup real time, yang dioptimalkan untuk aksesibilitas.
• Salinan di portal Azure: Anda dapat menggunakan Copilot di portal Azure untuk mengajukan pertanyaan tentang Azure Communication Services. Copilot menggunakan dokumentasi teknis Azure untuk menjawab pertanyaan Anda dan paling baik digunakan untuk mengajukan pertanyaan tentang kode kesalahan dan perilaku API.
• Efek latar belakang klien: SDK klien panggilan menyediakan API untuk mengaburkan atau mengganti latar belakang pengguna.
• Peningkatan dan efek kebisingan klien: SDK klien Panggilan mengintegrasikan model pembelajaran mesin DeepVQE untuk meningkatkan kualitas audio melalui pembatalan gema dan penindasan kebisingan latar belakang. Transformasi ini diaktifkan dan dinonaktifkan dengan menggunakan SDK klien.

Pengakses

Mirip dengan olahpesan Azure Communication Services, ada REST API untuk banyak fitur panggilan suara dan video. Namun sifat panggilan real time memerlukan SDK sumber tertutup dan API yang lebih kompleks seperti streaming websocket.

• Panggil REST API dan SDK Automation: Aplikasi layanan dan AI menggunakan REST API Call Automation untuk menjawab, merutekan, dan mengelola semua jenis panggilan suara dan video Azure.
• Streaming audio layanan ke layanan: Aplikasi AI menggunakan API WebSocket layanan-ke-layanan Azure untuk mengalirkan data audio. Ini berfungsi di kedua arah, AI Anda dapat mendengarkan panggilan, dan berbicara.
• Transkripsi real time layanan-ke-layanan: Aplikasi AI menggunakan API WebSocket layanan-ke-layanan Azure untuk mengalirkan transkripsi yang dihasilkan Azure secara real time. Dibandingkan dengan konten audio atau video, data transkrip sering kali lebih mudah dialami model AI.
• Perekaman panggilan: Anda dapat merekam panggilan Azure di datastore Anda sendiri lalu mengarahkan layanan AI untuk memproses konten tersebut.
• Audio dan video mentah klien: SDK klien panggilan menyediakan API untuk mengakses dan memodifikasi umpan audio dan video mentah. Contoh skenario adalah mengambil umpan video, menggunakan visi komputer untuk membedakan pembicara manusia dari latar belakang mereka, dan menyesuaikan latar belakang itu.