Versi model dalam Model Microsoft Foundry

Microsoft Foundry Models secara teratur merilis versi model baru yang menggabungkan fitur dan peningkatan terbaru dari penyedia model. Artikel ini menjelaskan cara kerja penerapan versi model, kebijakan pembaruan apa yang tersedia untuk penyebaran Anda, dan cara Azure OpenAI dan versi model mitra dikelola.

Setelah membaca artikel ini, Anda akan mengetahui kebijakan peningkatan mana yang harus dipilih saat Anda menyebarkan model, bagaimana Azure mengelola peningkatan versi secara otomatis, dan bagaimana penerapan versi model mitra berbeda dari penerapan versi model OpenAI Azure.

Cara kerja versi model

Anda dapat memilih untuk memulai dengan versi model tertentu dan tetap menggunakannya, atau secara otomatis diperbarui saat versi baru dirilis.

Ada dua versi berbeda yang perlu dipertimbangkan saat bekerja dengan model:

  • Versi model itu sendiri.
  • Versi API yang digunakan untuk mengakses penyebaran model.

Versi model

Catatan

Panduan peningkatan berikut hanya berlaku untuk jenis penyebaran Standar. Untuk panduan tentang memperbarui atau memigrasikan jenis penyebaran yang disediakan, tinjau dokumentasi manajemen model.

Anda mengonfigurasi kebijakan pembaruan saat menyebarkan model di portal Foundry. Anda juga dapat mengubah kebijakan nanti di pengaturan penyebaran. Kebijakan pembaruan dikonfigurasi per penyebaran dan bervariasi menurut model dan penyedia.

Kebijakan peningkatan versi mencakup opsi berikut:

  • Penyebaran yang diatur ke Menolak pembaruan versi model otomatis memerlukan pembaruan manual jika versi baru dirilis. Ketika model dihentikan, penyebaran tersebut berhenti berfungsi.
  • Penyebaran diatur ke Tingkatkan setelah versi default baru tersedia secara otomatis diperbarui untuk menggunakan versi default baru.
  • Penyebaran diatur ke Setelah versi saat ini kedaluwarsa akan secara otomatis diperbarui ketika versi saat ini dihentikan.

Misalnya, penyebaran gpt-4o mungkin menargetkan versi 2024-08-06. Ketika versi 2024-11-20 tersedia, sistem yang disetel untuk pembaruan otomatis akan beralih ke versi baru secara otomatis.

Untuk memeriksa versi penyebaran saat ini, gunakan salah satu metode berikut:

  • Portal Foundry: Buka penyebaran Anda di portal Foundry, lalu buka tab Detail untuk melihat versi model saat ini.
  • REST API: Mengkueri titik akhir penyebaran untuk sumber daya Anda. Tanggapan mencakup versi model untuk setiap penyebaran.

Versi API yang digunakan untuk mengakses penyebaran model

Versi API menunjukkan kontrak yang Anda gunakan untuk berinteraksi dengan model dalam kode. Saat menggunakan REST API, Anda menunjukkan versi API menggunakan parameter kueri api-version. Azure SDK versi biasanya dipasangkan dengan versi API tertentu, tetapi Anda dapat menentukan versi API yang ingin Anda gunakan.

Penyebaran model tertentu mungkin mendukung beberapa versi API. Rilis versi model baru tidak selalu mengharuskan Anda untuk meningkatkan ke versi API baru, seperti halnya ketika ada pembaruan pada bobot model. Azure mempertahankan versi utama model sebelumnya hingga tanggal penghentiannya, sehingga Anda dapat beralih kembali ke model tersebut jika diperlukan.

Pembaruan model Azure OpenAI

Azure bekerja sama dengan OpenAI untuk merilis versi model baru. Saat versi baru model dirilis, Anda dapat segera mengujinya dalam penyebaran baru. Azure menerbitkan saat versi model baru dirilis, dan memberi tahu pelanggan setidaknya dua minggu sebelum versi baru menjadi versi default model. Azure juga mempertahankan versi utama model sebelumnya hingga tanggal penghentiannya, sehingga pelanggan dapat beralih kembali ke model tersebut jika diinginkan.

Bersiap untuk peningkatan versi model OpenAI Azure

Sebagai pelanggan Azure model OpenAI, Anda mungkin melihat beberapa perubahan dalam perilaku model dan kompatibilitas setelah peningkatan versi. Perubahan ini dapat memengaruhi aplikasi dan alur kerja Anda yang bergantung pada model. Berikut adalah beberapa tips untuk membantu Anda mempersiapkan peningkatan versi dan meminimalkan dampaknya:

  • Baca apa yang baru dan model untuk memahami perubahan dan fitur baru.
  • Baca panduan tentang Foundry Models Deployment dan peningkatan versi untuk memahami cara bekerja dengan versi model.
  • Uji aplikasi dan alur kerja Anda dengan versi model baru setelah rilis.
  • Perbarui kode dan konfigurasi Anda untuk menggunakan fitur dan kemampuan baru dari versi model baru.

Apakah peningkatan model akan terjadi jika versi model baru belum tersedia di wilayah tersebut?

Ya, bahkan dalam kasus di mana versi model terbaru belum tersedia di suatu wilayah, Azure secara otomatis meningkatkan penyebaran selama jendela peningkatan terjadwal. Tim teknik memulai peluncuran versi model baru mulai tanggal peningkatan yang diumumkan. Misalnya, jika gpt-4o versi 2024-11-20 belum tersedia di Jepang Timur, tim teknik Azure menyebarkan gpt-4o versi 2024-11-20 ke Jepang Timur untuk meningkatkan versi model lama sebagai bagian dari proses peningkatan versi model default.

Pembaruan model kemitraan

Azure bekerja sama dengan penyedia model untuk merilis versi model baru. Saat versi baru model dirilis, Anda dapat segera mengujinya dalam penyebaran baru.

Versi model baru dapat mengakibatkan ID model baru diterbitkan. Misalnya, Meta-Llama-3-70B-Instruct dan Meta-Llama-3.1-70B-Instruct dihentikan demi Llama-3.3-70B-Instruct. Setiap generasi menggunakan ID model yang berbeda. Dalam beberapa kasus, semua versi model mungkin tersedia dalam versi API yang sama. Dalam kasus lain, Anda mungkin juga perlu menyesuaikan versi API yang digunakan untuk menggunakan model, karena kontrak API mungkin telah berubah dari satu model ke model lainnya.

Apa yang terjadi ketika model dihentikan

Ketika versi model mencapai tanggal penghentiannya, apa yang terjadi selanjutnya tergantung pada kebijakan peningkatan yang dikonfigurasi untuk penyebaran tersebut:

  • Menolak peningkatan versi model otomatis: Penyebaran berhenti menerima permintaan dan mengembalikan kesalahan setelah model dihentikan. Perbarui penyebaran ke versi model yang didukung sebelum tanggal penghentian untuk menghindari gangguan layanan.
  • Tingkatkan setelah versi default baru tersedia: Penyebaran secara otomatis diperbarui ke versi default saat ini. Tidak diperlukan tindakan.
  • Setelah versi saat ini kedaluwarsa: Penyebaran secara otomatis diperbarui ke versi berikutnya yang tersedia saat versi saat ini kedaluwarsa.

Azure memberi tahu Anda tentang penghentian yang akan datang melalui email kepada pemilik langganan dan kontributor, pemberitahuan Azure Service Health, dan tabel penghentian yang akan datang di Penghentian dan Pensiun Model untuk Model Microsoft Foundry.

Konten terkait

  • Terakhir diperbarui pada