AksEndpoint Kelas
Catatan
Ini adalah kelas eksperimental, dan dapat berubah kapan saja. Lihat https://aka.ms/azuremlexperimental untuk mengetahui informasi selengkapnya.
Menunjukkan kumpulan versi layanan web di balik titik akhir yang sama yang berjalan di Azure Kubernetes Service.
Sedangkan AksWebservice menyebarkan satu layanan dengan titik akhir penilaian tunggal, kelas AksEndpoint memungkinkan Anda untuk menyebarkan beberapa versi layanan web di balik titik akhir penilaian yang sama. Setiap versi layanan web dapat dikonfigurasi untuk melayani sekian persentase lalu lintas sehingga Anda dapat menyebarkan model secara terkontrol, misalnya, untuk pengujian A/B. AksEndpoint memungkinkan penyebaran dari objek model yang mirip dengan AksWebservice.
Menginisialisasi instans Webservice.
Konstruktor Webservice mengambil representasi cloud dari objek Webservice yang terkait dengan ruang kerja yang disediakan. Ini akan mengembalikan instans kelas anak yang sesuai dengan jenis tertentu dari objek Webservice yang diambil.
- Warisan
-
AksEndpoint
Konstruktor
AksEndpoint(workspace, name)Parameter
Variabel
- versions
- dict[str, AksWebservice]
Kamus nama versi hingga objek versi. Berisi semua versi yang disebarkan sebagai bagian dari Titik Akhir ini.
Metode
| create_version |
Tambahkan versi baru di Titik Akhir dengan properti yang disediakan. |
| delete_version |
Hapus versi di Titik Akhir. |
| deploy_configuration |
Buat objek konfigurasi untuk disebarkan ke target komputasi AKS. |
| serialize |
Konversi Layanan Web ini menjadi kamus serial JSON. |
| update |
Perbarui Titik Akhir dengan properti yang disediakan. Nilai yang tersisa sebagai Tidak Ada akan tetap tidak berubah di Titik Akhir ini |
| update_version |
Perbarui versi yang ada di Titik Akhir dengan properti yang disediakan. Nilai yang tersisa sebagai Tidak Ada akan tetap tidak berubah dalam versi ini. |
create_version
Tambahkan versi baru di Titik Akhir dengan properti yang disediakan.
create_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)Parameter
- autoscale_enabled
- bool
Apakah akan mengaktifkan penskalaan otomatis untuk versi ini di Titik Akhir atau tidak.
Default ke True jika num_replicas adalah Tidak Ada.
- autoscale_min_replicas
- int
Jumlah minimum kontainer yang akan digunakan saat penskalaan otomatis versi ini di Titik Akhir. Default ke 1
- autoscale_max_replicas
- int
Jumlah maksimum kontainer yang akan digunakan saat penskalaan otomatis versi ini di Titik Akhir. Default ke 10
- autoscale_refresh_seconds
- int
Seberapa sering penskala otomatis harus mencoba menskalakan versi ini di Titik Akhir. Default ke 1
- autoscale_target_utilization
- int
Penggunaan target (dalam persen dari 100) penskala otomatis harus berusaha mempertahankan versi ini di Titik Akhir. Default ke 70
- collect_model_data
- bool
Apakah akan mengaktifkan kumpulan data model untuk versi ini di Titik Akhir atau tidak. Default ke False
- cpu_cores
- float
Jumlah inti CPU yang akan dialokasikan untuk versi ini di Titik Akhir. Bisa berupa desimal. Default ke 0,1
- memory_gb
- float
Jumlah memori (dalam GB) yang akan dialokasikan untuk versi ini di Titik Akhir. Bisa berupa desimal. Default ke 0,5
- scoring_timeout_ms
- int
Batas waktu untuk menerapkan guna menilai panggilan ke versi ini di Titik Akhir. Default ke 60000.
- replica_max_concurrent_requests
- int
Jumlah permintaan bersamaan maksimum setiap replika untuk mengizinkan versi ini di Titik Akhir. Default ke 1. Jangan ubah pengaturan ini dari nilai default 1 kecuali diminta oleh Dukungan Teknis Microsoft atau anggota tim Azure Machine Learning.
- max_request_wait_time
- int
Jumlah maksimum waktu permintaan akan tetap dalam permintaan (dalam milidetik) sebelum menampilkan kesalahan 503. Default ke 500.
- num_replicas
- int
Jumlah kontainer yang dialokasikan untuk versi ini di Titik Akhir. Tidak ada default, jika parameter ini tidak diatur maka penskala otomatis diaktifkan secara default.
Kamus properti nilai kunci untuk memberikan Titik Akhir ini. Properti ini tidak dapat diubah setelah penyebaran, namun pasangan nilai kunci baru bisa ditambahkan.
Daftar objek Model untuk dikemas dengan layanan yang diperbarui.
- inference_config
- InferenceConfig
Objek InferenceConfig yang digunakan untuk menyediakan properti penyebaran model yang diperlukan.
- gpu_cores
- int
Jumlah inti GPU yang akan dialokasikan untuk versi ini di Titik Akhir. Default ke 0.
- period_seconds
- int
Seberapa sering (dalam hitungan detik) untuk melakukan probe keaktifan. Default ke 10 detik. Nilai minimalnya adalah 1.
- initial_delay_seconds
- int
Jumlah detik setelah kontainer dimulai sebelum pemeriksaan keaktifan diinisiasi. Default ke 310.
- timeout_seconds
- int
Jumlah detik setelah waktu probe keaktifan habis. Default ke 2 detik. Nilai minimalnya adalah 1.
- success_threshold
- int
Keberhasilan minimum berturut-turut untuk pemeriksaan keaktifan yang dianggap berhasil setelah gagal. Default ke 1. Nilai minimalnya adalah 1.
- failure_threshold
- int
Saat sebuah Pod dimulai dan probe keaktifan gagal, Kube akan mencoba waktu failureThreshold sebelum menyerah. Default ke 3. Nilai minimalnya adalah 1.
- is_default
- bool
Apakah akan menjadikan versi ini sebagai versi default di Titik Akhir atau tidak. Default ke False.
- is_control_version_type
- bool
Apakah akan menjadikan versi ini sebagai versi kontrol di Titik Akhir atau tidak. Default ke False.
- cpu_cores_limit
- float
Jumlah maksimum inti cpu yang boleh digunakan oleh Layanan Web ini. Bisa berupa desimal.
- memory_gb_limit
- float
Jumlah maksimum memori (dalam GB) yang boleh digunakan oleh Layanan web ini. Bisa berupa desimal.
Pengecualian
delete_version
Hapus versi di Titik Akhir.
delete_version(version_name)Parameter
Pengecualian
deploy_configuration
Buat objek konfigurasi untuk disebarkan ke target komputasi AKS.
static deploy_configuration(autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, auth_enabled=None, cpu_cores=None, memory_gb=None, enable_app_insights=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, primary_key=None, secondary_key=None, tags=None, properties=None, description=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, namespace=None, token_auth_enabled=None, version_name=None, traffic_percentile=None, compute_target_name=None, cpu_cores_limit=None, memory_gb_limit=None)Parameter
- autoscale_enabled
- bool
Apakah akan mengaktifkan penskalaan otomatis untuk versi ini di Titik Akhir atau tidak.
Default ke True jika num_replicas adalah Tidak Ada.
- autoscale_min_replicas
- int
Jumlah minimum kontainer yang akan digunakan saat penskalaan otomatis versi ini di Titik Akhir. Default ke 1.
- autoscale_max_replicas
- int
Jumlah maksimum kontainer yang akan digunakan saat penskalaan otomatis versi ini di Titik Akhir. Default ke 10.
- autoscale_refresh_seconds
- int
Seberapa sering penskala otomatis harus mencoba menskalakan versi ini di Titik Akhir. Default ke 1.
- autoscale_target_utilization
- int
Penggunaan target (dalam persen dari 100) penskala otomatis harus berusaha mempertahankan versi ini di Titik Akhir. Default ke 70.
- collect_model_data
- bool
Apakah akan mengaktifkan kumpulan data model untuk versi ini di Titik Akhir atau tidak. Default ke False.
- auth_enabled
- bool
Apakah akan mengaktifkan autentikasi kunci untuk versi ini di Titik Akhir atau tidak. Default ke True.
- cpu_cores
- float
Jumlah inti cpu yang akan dialokasikan untuk versi ini di Titik Akhir. Bisa berupa desimal. Default ke 0,1
- memory_gb
- float
Jumlah memori (dalam GB) yang akan dialokasikan untuk versi ini di Titik Akhir. Bisa berupa desimal. Default ke 0,5
- enable_app_insights
- bool
Apakah akan mengaktifkan pengelogan ApplicationInsights untuk versi ini di Titik Akhir atau tidak. Default ke False.
- scoring_timeout_ms
- int
Batas waktu untuk menerapkan panggilan penilaian ke versi ini di Titik Akhir. Default ke 60000
- replica_max_concurrent_requests
- int
Jumlah permintaan bersamaan maksimum setiap replika untuk mengizinkan versi ini di Titik Akhir. Default ke 1. Jangan ubah pengaturan ini dari nilai default 1 kecuali diminta oleh Dukungan Teknis Microsoft atau anggota tim Azure Machine Learning.
- max_request_wait_time
- int
Jumlah maksimum waktu permintaan akan tetap dalam permintaan (dalam milidetik) sebelum menampilkan kesalahan 503. Default ke 500.
- num_replicas
- int
Jumlah kontainer yang dialokasikan untuk versi ini di Titik Akhir. Tidak ada default, jika parameter ini tidak diatur maka penskala otomatis diaktifkan secara default.
- primary_key
- str
Kunci autentikasi utama yang akan digunakan untuk Titik Akhir ini.
- secondary_key
- str
Kunci autentikasi sekunder yang akan digunakan untuk Titik Akhir ini.
Kamus properti nilai kunci untuk memberikan Titik Akhir ini. Properti ini tidak dapat diubah setelah penyebaran, tetapi pasangan nilai kunci baru dapat ditambahkan
- gpu_cores
- int
Jumlah inti GPU yang akan dialokasikan untuk versi ini di Titik Akhir. Default ke 0.
- period_seconds
- int
Seberapa sering (dalam hitungan detik) untuk melakukan probe keaktifan. Default ke 10 detik. Nilai minimalnya adalah 1.
- initial_delay_seconds
- int
Jumlah detik setelah kontainer dimulai sebelum probe keaktifan dimulai. Default ke 310.
- timeout_seconds
- int
Jumlah detik setelah waktu pemeriksaan keaktifan habis. Defaultnya diatur ke 2 detik. Nilai minimalnya adalah 1.
- success_threshold
- int
Keberhasilan minimum berturut-turut untuk probe keaktifan dianggap berhasil setelah gagal. Default ke 1. Nilai minimalnya adalah 1.
- failure_threshold
- int
Saat Pod dimulai dan pemeriksaan keaktifan gagal, Kubernetes akan mencoba failureThreshold kali sebelum menyerah. Default ke 3. Nilai minimalnya adalah 1.
- namespace
- str
Namespace Kubernetes untuk menyebarkan Titik Akhir ini: hingga 63 karakter alfanumerik huruf kecil ('a'-'z', '0'-'9') dan tanda hubung ('-'). Karakter pertama dan terakhir tidak boleh berupa tanda hubung.
- token_auth_enabled
- bool
Apakah akan mengaktifkan autentikasi Token untuk Titik Akhir ini atau tidak. Jika autentikasi Token diaktifkan, pengguna dapat mengakses Titik Akhir ini dengan mengambil token akses menggunakan kredensial Azure Active Directory mereka. Default ke False.
- cpu_cores_limit
- float
Jumlah maksimum inti cpu yang boleh digunakan oleh Layanan Web ini. Bisa berupa desimal.
- memory_gb_limit
- float
Jumlah maksimum memori (dalam GB) yang boleh digunakan oleh Layanan web ini. Bisa berupa desimal.
Tipe hasil
Pengecualian
serialize
Konversi Layanan Web ini menjadi kamus serial JSON.
serialize()Mengembalikan
Representasi JSON dari Layanan Web ini.
Tipe hasil
Pengecualian
update
Perbarui Titik Akhir dengan properti yang disediakan.
Nilai yang tersisa sebagai Tidak Ada akan tetap tidak berubah di Titik Akhir ini
update(auth_enabled=None, token_auth_enabled=None, enable_app_insights=None, description=None, tags=None, properties=None)Parameter
- auth_enabled
- bool
Apakah akan mengaktifkan autentikasi kunci untuk versi ini di Titik Akhir atau tidak. Default ke True.
- token_auth_enabled
- bool
Apakah akan mengaktifkan autentikasi Token untuk Titik Akhir ini atau tidak. Jika autentikasi Token diaktifkan, pengguna dapat mengakses Titik Akhir ini dengan mengambil token akses menggunakan kredensial Azure Active Directory mereka. Default ke False.
- enable_app_insights
- bool
Apakah akan mengaktifkan pengelogan Application Insights untuk versi ini di Titik Akhir atau tidak. Default ke False.
Kamus properti nilai kunci untuk memberikan Titik Akhir ini. Properti ini tidak dapat diubah setelah penyebaran, namun pasangan nilai kunci baru bisa ditambahkan.
Pengecualian
update_version
Perbarui versi yang ada di Titik Akhir dengan properti yang disediakan.
Nilai yang tersisa sebagai Tidak Ada akan tetap tidak berubah dalam versi ini.
update_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)Parameter
- autoscale_enabled
- bool
Apakah akan mengaktifkan penskalaan otomatis untuk versi ini di Titik Akhir atau tidak. Default ke True jika num_replicas Tidak Ada.
- autoscale_min_replicas
- int
Jumlah minimum kontainer yang akan digunakan saat penskalaan otomatis versi ini di Titik Akhir. Default ke 1.
- autoscale_max_replicas
- int
Jumlah maksimum kontainer yang akan digunakan saat penskalaan otomatis versi ini di Titik Akhir. Default ke 10.
- autoscale_refresh_seconds
- int
Seberapa sering penskala otomatis harus mencoba menskalakan versi ini di Titik Akhir. Default ke 1
- autoscale_target_utilization
- int
Penggunaan target (dalam persen dari 100) penskala otomatis harus berusaha mempertahankan versi ini di Titik Akhir. Default ke 70.
- collect_model_data
- bool
Apakah akan mengaktifkan kumpulan data model untuk versi ini di Titik Akhir atau tidak. Default ke False.
- cpu_cores
- float
Jumlah inti cpu yang akan dialokasikan untuk versi ini di Titik Akhir. Bisa berupa desimal. Default ke 0,1
- memory_gb
- float
Jumlah memori (dalam GB) yang akan dialokasikan untuk versi ini di Titik Akhir. Bisa berupa desimal. Default ke 0,5
- scoring_timeout_ms
- int
Batas waktu untuk menerapkan guna menilai panggilan ke versi ini di Titik Akhir. Default ke 60000.
- replica_max_concurrent_requests
- int
Jumlah permintaan bersamaan maksimum setiap replika untuk mengizinkan versi ini di Titik Akhir. Default ke 1. Jangan ubah pengaturan ini dari nilai default 1 kecuali diminta oleh Dukungan Teknis Microsoft atau anggota tim Azure Machine Learning.
- max_request_wait_time
- int
Jumlah maksimum waktu permintaan akan tetap dalam permintaan (dalam milidetik) sebelum menampilkan kesalahan 503. Default ke 500.
- num_replicas
- int
Jumlah kontainer yang dialokasikan untuk versi ini di Titik Akhir. Tidak ada default, jika parameter ini tidak diatur maka penskala otomatis diaktifkan secara default.
Kamus properti nilai kunci untuk memberikan Titik Akhir ini. Properti ini tidak dapat diubah setelah penyebaran, namun pasangan nilai kunci baru bisa ditambahkan.
Daftar objek Model yang untuk paket dengan layanan yang diperbarui
- inference_config
- InferenceConfig
Objek InferenceConfig yang digunakan untuk menyediakan properti penyebaran model yang diperlukan.
- gpu_cores
- int
Jumlah inti GPU yang akan dialokasikan untuk versi ini di Titik Akhir. Default ke 0.
- period_seconds
- int
Seberapa sering (dalam hitungan detik) untuk melakukan probe keaktifan. Default ke 10 detik. Nilai minimalnya adalah 1.
- initial_delay_seconds
- int
Jumlah detik setelah kontainer dimulai sebelum pemeriksaan keaktifan diinisiasi. Default ke 310.
- timeout_seconds
- int
Jumlah detik setelah waktu probe keaktifan habis. Default ke 2 detik. Nilai minimalnya adalah 1.
- success_threshold
- int
Keberhasilan minimum berturut-turut untuk pemeriksaan keaktifan yang dianggap berhasil setelah gagal. Default ke 1. Nilai minimalnya adalah 1.
- failure_threshold
- int
Saat sebuah Pod dimulai dan probe keaktifan gagal, Kube akan mencoba waktu failureThreshold sebelum menyerah. Default ke 3. Nilai minimalnya adalah 1.
- is_default
- bool
Apakah akan menjadikan versi ini sebagai versi default di Titik Akhir atau tidak. Default ke False.
- is_control_version_type
- bool
Apakah akan menjadikan versi ini sebagai versi kontrol di Titik Akhir atau tidak. Default ke False.
- cpu_cores_limit
- float
Jumlah maksimum inti cpu yang boleh digunakan oleh Layanan Web ini. Bisa berupa desimal.
- memory_gb_limit
- float
Jumlah maksimum memori (dalam GB) yang boleh digunakan oleh Layanan web ini. Bisa berupa desimal.
Pengecualian
Saran dan Komentar
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat: https://aka.ms/ContentUserFeedback.
Kirim dan lihat umpan balik untuk