Model yang melayani pengamatan dengan Kode Genie

Penting

Fitur ini ada di Pratinjau Umum.

Artikel ini menjelaskan bagaimana Kode Genie dapat membantu Anda mendiagnosis masalah, menganalisis performa, dan mendapatkan panduan untuk model Anda yang melayani titik akhir.

Persyaratan

Untuk menggunakan Kode Genie untuk model yang melayani pengamatan, ruang kerja Anda memerlukan hal berikut:

Nota

Kode Genie saat ini hanya mendukung model kustom yang melayani titik akhir.

Apa yang dapat dibantu oleh Genie Code?

Saat Anda menggunakan Kode Genie pada halaman titik akhir pemodelan, kode tersebut menjadi pendamping observabilitas untuk penyajian model. Ini dapat menganalisis kesehatan titik akhir, mendiagnosis kegagalan penyebaran, menyelidiki masalah latensi, dan memberikan panduan praktik terbaik - semua dari panel Kode Genie.

Panel Kode Genie pada halaman titik akhir

Genie Code adalah penasihat baca-saja dalam mode ini. Ini dapat memeriksa titik akhir Anda dan memberikan rekomendasi, tetapi tidak dapat memodifikasi konfigurasi atau penyebaran. Ini memiliki instruksi dan tautan langkah demi langkah yang jelas ke dokumentasi sehingga Anda dapat membuat perubahan sendiri.

Get started

Untuk memulai:

  1. Buka halaman titik akhir penyajian model.
  2. Klik ikon Asisten DB. untuk membuka panel Kode Genie.
  3. Di sudut kanan bawah, pilih Agen. Ini mengaktifkan mode Agen Genie Code.
  4. Masukkan perintah yang menjelaskan apa yang Anda perlukan bantuannya. Misalnya, "Periksa kesehatan titik akhir ini" atau "Mengapa latensi saya begitu tinggi?"

Capabilities

Pemeriksaan kesehatan dan diagnostik

Kode Genie dapat menganalisis status dan konfigurasi titik akhir Anda untuk mengidentifikasi potensi masalah:

  • Periksa kondisi titik akhir dan status penyebaran.
  • Tinjau konfigurasi sesuai dengan praktik terbaik.
  • Menilai penskalaan dan pemanfaatan sumber daya.

Pemecahan masalah dan analisis

Kode Genie dapat membantu menyelesaikan masalah dengan endpoint Anda.

  • Mendiagnosis kegagalan penyebaran menggunakan log build, kejadian, dan status titik akhir.
  • Selidiki masalah latensi tinggi atau batas waktu menggunakan metrik, peristiwa, dan data tabel inferensi.
  • Menganalisis pola kesalahan dari log layanan dan tabel inferensi.
  • Identifikasi kesalahan konfigurasi atau batasan sumber daya.
  • Bandingkan konfigurasi saat ini dan yang belum berlaku dengan penilaian risiko.

Panduan dan praktik terbaik

Kode Genie memiliki rekomendasi berdasarkan konfigurasi titik akhir Anda:

  • Merekomendasikan konfigurasi penskalaan optimal untuk beban kerja produksi dan pengembangan.
  • Menjelaskan status dan transisi titik akhir.
  • Memandu Anda dalam penyiapan pemantauan dan pengamatan.
  • Cari dokumentasi Azure Databricks dan berikan tautan ke artikel yang relevan.

Skenario penggunaan

Coba perintah ini untuk memulai:

  • Pemeriksaan kesehatan:
    • Periksa kesehatan dari endpoint ini.
    • Apakah endpoint saya sudah dikonfigurasi dengan benar?
    • "Tinjau konfigurasi penskalakan titik akhir saya."
  • Kegagalan penyebaran:
    • "/diagnose" atau pun "Mengapa penggelaran saya gagal?"
    • Bantu saya memperbaiki kesalahan dalam penerapan.
    • Titik akhir saya berada dalam keadaan tertunda.
  • Penelusuran kesalahan latensi:
    • "Mengapa latensi saya begitu tinggi?"
    • "Analisis lonjakan latensi dari pagi ini."
    • "Tunjukkan metrik performa selama 24 jam terakhir."
  • Tinjauan konfigurasi:
    • "Apa yang berubah dalam konfigurasi saya yang tertunda?"
    • "Apakah pengaturan konkurensi saya sesuai untuk produksi?"
    • "Tunjukkan konfigurasi tabel inferensi saya."
  • Riwayat permintaan:
    • Perlihatkan permintaan terbaru ke endpoint ini.
    • "Kesalahan apa yang ditemui pengguna saya?"
    • "Analisis pola kesalahan dari minggu lalu."

Informasi tambahan

  • Last updated on