Model Dasar API Databricks

Artikel ini menyediakan gambaran umum API Model Foundation di Azure Databricks. Ini termasuk persyaratan untuk digunakan, model yang didukung, dan batasan.

Apa itu API Model Databricks Foundation?

Mosaic AI Model Serving sekarang mendukung API Model Foundation yang memungkinkan Anda mengakses dan mengkueri model terbuka canggih dari titik akhir penyajian. Model-model ini dihosting oleh Databricks dan Anda dapat dengan cepat dan mudah membangun aplikasi yang menggunakannya tanpa mempertahankan penyebaran model Anda sendiri. Foundation Model API merupakan Databricks Designated Service, yang berarti memanfaatkan Databricks Geos untuk pengelolaan residensi data saat mengolah konten pelanggan.

API Model Foundation disediakan dalam mode berikut:

  • Bayar per token: Ini adalah cara paling mudah untuk mulai mengakses model dasar di Databricks dan direkomendasikan untuk memulai perjalanan Anda dengan API Model Dasar. Mode ini tidak dirancang untuk aplikasi throughput tinggi, tetapi dapat digunakan untuk beban kerja produksi.
  • Throughput yang disediakan: Mode ini direkomendasikan untuk semua beban kerja produksi, terutama yang memerlukan throughput tinggi, jaminan kinerja, model yang dioptimalkan, atau memiliki persyaratan keamanan tambahan. Titik akhir throughput yang telah disediakan tersedia dengan sertifikasi kepatuhan seperti HIPAA.
  • Model fungsi AI yang dioptimalkan: Mode ini direkomendasikan untuk beban kerja inferensi batch. Anda dapat memilih untuk menjalankan inferensi batch menggunakan model AI atau ML generatif menggunakan AI Functions.

Lihat Penggunaan API Model Dasar untuk panduan tentang cara menggunakan moda ini dan model yang didukung.

Menggunakan API Model Foundation, Anda dapat melakukan hal berikut:

  • Mengkueri LLM umum untuk memverifikasi validitas proyek sebelum menginvestasikan lebih banyak sumber daya.
  • Kueri LLM umum untuk membuat bukti konsep cepat untuk aplikasi berbasis LLM sebelum berinvestasi dalam pelatihan dan menyebarkan model kustom.
  • Gunakan model dasar, bersama dengan indeks vektor, untuk membangun chatbot menggunakan generasi augmentasi pengambilan (RAG).
  • Ganti model kepemilikan dengan alternatif terbuka untuk mengoptimalkan biaya dan performa.
  • Bandingkan LLM secara efisien untuk melihat kandidat terbaik untuk kasus penggunaan Anda, atau tukar model produksi dengan performa yang lebih baik.
  • Bangun aplikasi LLM untuk pengembangan atau produksi di atas solusi penyajian LLM yang dapat diskalakan dan didukung SLA yang dapat mendukung lonjakan lalu lintas produksi Anda.

Persyaratan

Menggunakan API Model Fondasi

Anda memiliki beberapa opsi untuk menggunakan API Model Foundation.

API kompatibel dengan OpenAI, sehingga Anda dapat menggunakan klien OpenAI untuk kueri. Anda juga dapat menggunakan UI, FOUNDATION Models API Python SDK, MLflow Deployments SDK, atau REST API untuk mengkueri model yang didukung. Databricks merekomendasikan penggunaan SDK klien OpenAI atau API untuk interaksi yang diperluas dan UI untuk mencoba fitur tersebut.

Lihat Menggunakan model fondasi untuk contoh penilaian.

API Model Dasar Berbasis Pembayaran per Token

Titik akhir yang telah dikonfigurasi sebelumnya yang melayani model bayar per token dapat diakses di ruang kerja Azure Databricks Anda. Model bayar per token ini direkomendasikan untuk memulai. Untuk mengaksesnya di ruang kerja Anda, buka tab Layanan di bilah sisi kiri. API Model Foundation terletak di bagian atas tampilan daftar Titik Akhir.

Daftar titik akhir penyajian

Throughput yang Disediakan untuk API Model Dasar

Throughput yang telah diatur menyediakan titik akhir dengan inferensi yang dioptimalkan untuk beban kerja model dasar yang memerlukan jaminan kinerja. Databricks merekomendasikan throughput yang telah diatur sebelumnya untuk beban kerja produksi.

Dukungan throughput yang sudah dialokasikan meliputi:

  • Model dasar dalam semua ukuran. Model dasar dapat diakses menggunakan Databricks Marketplace, atau Anda dapat mengunduhnya dari Hugging Face atau sumber eksternal lain dan mendaftarkannya di Unity Catalog. Pendekatan yang terakhir berfungsi dengan varian model yang didukung yang sudah dioptimalkan.
  • Varian model dasar yang dioptimalkan, seperti model yang dioptimalkan pada data eksklusif.
  • Bobot dan tokenizer kustom sepenuhnya, seperti yang dilatih dari awal atau kelanjutan dari pra-pelatihan atau variasi lain menggunakan arsitektur model dasar (misalnya, CodeLlama).

Fungsi AI untuk inferensi batch

Lihat Memperkaya data menggunakan Fungsi AI.

Lihat Menyebarkan alur inferensi batch untuk cara membuat alur inferensi batch menggunakan AI Functions.

Keterbatasan

Lihat batas penggunaan API Model Foundation .

Sumber daya tambahan

  • Last updated on