Eksperimen A/B untuk aplikasi AI

Penting

Item-item yang ditandai (pratinjau) dalam artikel ini sedang dalam pratinjau publik atau privat. Pratinjau ini disediakan tanpa kesepakatan tingkat layanan, dan kami tidak merekomendasikannya untuk penggunaan dalam lingkungan produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk informasi lebih lanjut, lihat Supplemental Terms of Use for Microsoft Azure Previews.

Di bidang pengembangan aplikasi AI, eksperimen A/B telah muncul sebagai praktik penting. Ini memungkinkan evaluasi berkelanjutan aplikasi AI, menyeimbangkan dampak bisnis, risiko, dan biaya. Meskipun evaluasi offline dan online memberikan beberapa wawasan, mereka perlu dilengkapi dengan eksperimen A/B untuk memastikan penggunaan metrik yang tepat untuk mengukur keberhasilan. Eksperimen A/B melibatkan perbandingan dua versi fitur, permintaan, atau model menggunakan bendera fitur atau konfigurasi dinamis untuk menentukan mana yang berkinerja lebih baik. Metode ini sangat penting karena beberapa alasan:

• Meningkatkan Performa Model - Eksperimen A/B memungkinkan pengembang untuk menguji secara sistematis berbagai versi model, algoritma, atau fitur AI untuk mengidentifikasi versi yang paling efektif. Dengan eksperimen terkontrol, Anda dapat mengukur efek perubahan pada metrik performa utama, seperti akurasi, keterlibatan pengguna, dan waktu respons. Proses iteratif ini memungkinkan Anda mengidentifikasi model terbaik, membantu menyempurnakan dan memastikan bahwa model Anda memberikan hasil terbaik.
• Mengurangi Bias dan Meningkatkan Kewajaran - Model AI secara tidak sengaja dapat memperkenalkan bias, yang menyebabkan hasil yang tidak adil. Eksperimen A/B membantu mengidentifikasi dan mengurangi bias ini dengan membandingkan performa versi model yang berbeda di berbagai grup pengguna. Ini memastikan bahwa aplikasi AI adil dan merata, memberikan performa yang konsisten untuk semua pengguna.
• Mempercepat Inovasi - Eksperimen A/B menumbuhkan budaya inovasi dengan mendorong eksperimen dan pembelajaran berkelanjutan. Anda dapat dengan cepat memvalidasi ide dan fitur baru, mengurangi waktu dan sumber daya yang dihabiskan untuk pendekatan yang tidak produktif. Ini mempercepat siklus pengembangan dan memungkinkan tim untuk membawa solusi AI inovatif ke pasar lebih cepat.
• Mengoptimalkan Pengalaman Pengguna - Pengalaman pengguna sangat penting dalam aplikasi AI. Eksperimen A/B memungkinkan Anda bereksperimen dengan desain antarmuka pengguna, pola interaksi, dan strategi personalisasi yang berbeda. Dengan menganalisis umpan balik dan perilaku pengguna, Anda dapat mengoptimalkan pengalaman pengguna, membuat aplikasi AI lebih intuitif dan menarik.
• Data-Driven Pengambilan Keputusan - Eksperimen A/B menyediakan kerangka kerja yang kuat untuk pengambilan keputusan berbasis data. Alih-alih mengandalkan intuisi atau asumsi, Anda dapat mendasarkan keputusan Anda pada bukti empiris. Hal ini mengarah pada strategi yang lebih terinformasi dan efektif untuk meningkatkan aplikasi AI.

Bagaimana eksperimen A/B cocok dengan siklus hidup aplikasi AI?

Eksperimen A/B dan evaluasi offline adalah komponen penting dalam pengembangan aplikasi AI, masing-masing melayani tujuan unik yang saling melengkapi.

Evaluasi offline melibatkan pengujian model AI menggunakan himpunan data pengujian untuk mengukur performanya pada berbagai metrik seperti kefasihan dan koherensi. Setelah memilih model di azure AI Model Catalog atau gitHub Model marketplace, evaluasi praproduksi offline sangat penting untuk validasi model awal selama pengujian integrasi, memungkinkan Anda mengidentifikasi potensi masalah dan melakukan peningkatan sebelum menyebarkan model atau aplikasi ke produksi.

Namun, evaluasi offline memiliki batasannya. Ini tidak dapat sepenuhnya menangkap interaksi kompleks yang terjadi dalam skenario dunia nyata. Di sinilah eksperimen A/B mulai dimainkan. Dengan menyebarkan berbagai versi model AI atau fitur UX kepada pengguna langsung, eksperimen A/B memberikan wawasan tentang bagaimana model dan aplikasi berkinerja dalam kondisi dunia nyata. Ini membantu Anda memahami perilaku pengguna, mengidentifikasi masalah yang tidak terduga, dan mengukur dampak perubahan pada metrik evaluasi model, metrik operasional (misalnya, latensi), dan metrik bisnis (misalnya, pendaftaran akun, konversi, dll.).

Seperti yang ditunjukkan dalam diagram, sementara evaluasi offline sangat penting untuk validasi dan penyempurnaan model awal, eksperimen A/B menyediakan pengujian dunia nyata yang diperlukan untuk memastikan aplikasi AI berkinerja efektif dan adil dalam praktik. Bersama-sama, mereka membentuk pendekatan komprehensif untuk mengembangkan aplikasi AI yang kuat, aman, dan ramah pengguna.

Menskalakan aplikasi AI dengan evaluasi Azure AI dan eksperimen A/B online menggunakan alur kerja CI/CD

Kami secara signifikan menyederhanakan proses evaluasi dan eksperimen A/B dengan GitHub Actions yang dapat diintegrasikan dengan mulus ke dalam alur kerja CI/CD yang ada di GitHub. Dalam alur kerja CI, Anda sekarang dapat menggunakan Tindakan GitHub Evaluasi Azure AI kami untuk menjalankan evaluasi manual atau otomatis setelah perubahan diterapkan menggunakan Azure AI Evaluation SDK untuk menghitung metrik seperti koherensi dan kefasihan.

Dengan menggunakan Tindakan GitHub Eksperimen Online (pratinjau), Anda dapat mengintegrasikan eksperimen A/B ke dalam alur kerja penyebaran berkelanjutan (CD) Anda. Anda dapat menggunakan fitur ini untuk membuat dan menganalisis eksperimen A/B secara otomatis dengan metrik model AI bawaan dan metrik kustom sebagai bagian dari alur kerja CD Anda setelah penyebaran berhasil. Selain itu, Anda dapat menggunakan GitHub Copilot untuk plugin Azure untuk membantu eksperimen, membuat metrik, dan mendukung pengambilan keputusan.

Penting

Eksperimen online tersedia melalui pratinjau akses terbatas. Minta akses untuk mempelajari lebih lanjut.

Mitra Azure AI

Anda juga dipersilakan untuk menggunakan penyedia eksperimen A/B Anda sendiri untuk menjalankan eksperimen pada aplikasi AI Anda. Ada beberapa solusi yang dapat dipilih di Marketplace Azure:

Statsig

Statsig adalah platform eksperimen untuk tim Produk, Teknik, dan Ilmu Data yang menghubungkan fitur yang Anda bangun ke metrik bisnis yang Anda pedulikan. Statsig mendukung pengujian dan eksperimen A/B otomatis untuk aplikasi web dan seluler, memberi tim pandangan komprehensif tentang fitur mana yang mendorong dampak (dan mana yang tidak). Untuk menyederhanakan eksperimen dengan Azure AI, Statsig telah menerbitkan SDK yang dibangun di atas Azure AI SDK dan Azure AI Inference API yang memudahkan pelanggan Statsig untuk menjalankan eksperimen.

Penyedia Eksperimen A/B Lainnya

Split.io

Split.io memungkinkan Anda menyiapkan bendera fitur dan menyebarkan dengan aman ke produksi, mengontrol siapa yang melihat fitur dan kapan. Anda juga dapat menghubungkan setiap bendera ke data kontekstual, sehingga Anda tahu apakah fitur Anda membuat segalanya lebih baik atau lebih buruk, dan bertindak tanpa ragu- ragu. Dengan integrasi Microsoft Split, kami membantu tim pengembangan mengelola bendera fitur, memantau performa rilis, eksperimen, dan memunculkan data untuk membuat keputusan berkelanjutan yang didorong data.

LaunchDarkly

LaunchDarkly adalah platform manajemen fitur dan eksperimen yang dibangun dengan mengingat pengembang perangkat lunak. Ini memungkinkan Anda mengelola bendera fitur dalam skala besar, menjalankan pengujian dan eksperimen A/B, dan secara progresif mengirimkan perangkat lunak untuk dikirim dengan percaya diri.

Konten terkait

• Azure AI Evaluation SDK