Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Penting
Fitur ini ada di Pratinjau Umum di wilayah berikut: centralus, eastus, eastus2, northcentralus, dan westus.
Dengan Penyetelan Model Fondasi (sekarang bagian dari Pelatihan Model AI Mosaik), Anda dapat menggunakan data Anda sendiri untuk menyesuaikan model fondasi guna memaksimalkan kinerjanya untuk aplikasi spesifik Anda. Dengan melakukan penyempurnaan atau pelatihan berkelanjutan dari model fondasi, Anda dapat melatih model Anda sendiri menggunakan data, waktu, dan sumber daya komputasi yang jauh lebih sedikit daripada melatih model dari awal.
Dengan Databricks, Anda memiliki semuanya dalam satu platform: data Anda sendiri untuk digunakan untuk pelatihan, model fondasi untuk melatih, titik pemeriksaan yang disimpan ke MLflow, dan model yang terdaftar di Unity Catalog dan siap untuk disebarkan.
Lihat Tutorial: Membuat dan menyebarkan jalankan Penyempurnaan Model Dasar untuk mempelajari cara membuat sebuah jalankan menggunakan API Penyempurnaan Model Dasar, lalu tinjau hasilnya dan sebarkan model menggunakan antarmuka pengguna Databricks dan Penyajian Model Mosaic AI.
Apa itu Penyelarasan Model Dasar?
Penyempurnaan Model Foundation memungkinkan Anda menggunakan Databricks API atau UI untuk menyetel atau melatih model fondasi lebih lanjut.
Dengan menggunakan Penyelarasan Model Dasar, Anda dapat:
- Latih model dengan data kustom Anda, dengan titik pemeriksaan disimpan ke MLflow. Anda mempertahankan kontrol sepenuhnya atas model terlatih.
- Daftarkan model secara otomatis ke Unity Catalog, memungkinkan penyebaran mudah melalui layanan model.
- Latih lebih lanjut model properti yang sudah lengkap dengan memuat bobot dari model yang dilatih sebelumnya.
Databricks merekomendasikan agar Anda mencoba Penyesuaian Model Dasar jika:
- Anda telah mencoba pembelajaran few-shot dan menginginkan hasil yang lebih baik.
- Anda telah mencoba teknik rekayasa prompt pada model yang ada dan ingin mendapatkan hasil yang lebih baik.
- Anda ingin kepemilikan penuh atas model kustom untuk privasi data.
- Anda peka terhadap latensi atau peka biaya dan ingin menggunakan model yang lebih kecil dan lebih murah dengan data khusus tugas Anda.
Tugas yang didukung
Penyempurnaan Pemodelan Dasar mendukung kasus penggunaan berikut:
- Penyelesaian chat: Rekomendasi tugas. Latih model Anda pada log obrolan antara pengguna dan asisten AI. Format ini dapat digunakan baik untuk log obrolan aktual, dan sebagai format standar untuk jawaban atas pertanyaan dan teks percakapan. Teks secara otomatis diformat ke dalam format yang sesuai untuk model tertentu. Lihat contoh templat obrolan dalam dokumentasi HuggingFace untuk informasi selengkapnya tentang templat.
- Penyempurnaan instruksi: Latih model Anda pada data perintah-respons terstruktur. Gunakan ini untuk menyesuaikan model Anda ke tugas baru, mengubah gaya responsnya, atau menambahkan kemampuan berikut instruksi. Tugas ini tidak secara otomatis menerapkan pemformatan apa pun ke data Anda dan hanya disarankan ketika pemformatan data kustom diperlukan.
- Pra-pelatihan lanjutan: Latih model Anda dengan data teks tambahan. Gunakan ini untuk menambahkan pengetahuan baru ke model atau memfokuskan model pada domain tertentu.
Persyaratan
- Ruang kerja Databricks di salah satu wilayah Azure berikut:
centralus, ,eastus,eastus2northcentralus, atauwestus. - API Penyempurnaan Model Dasar diinstal menggunakan
pip install databricks_genai. - Databricks Runtime 12.2 LTS ML atau lebih tinggi jika data Anda berada dalam tabel Delta.
Lihat Menyiapkan data untuk Penyempurnaan Model Foundation untuk mengetahui informasi mengenai format data input yang diperlukan.
Ukuran data yang direkomendasikan untuk pelatihan model
Databricks merekomendasikan pelatihan awal menggunakan satu hingga empat epoch. Setelah mengevaluasi model yang disempurnakan, jika Anda ingin output model lebih mirip dengan data pelatihan Anda, Anda dapat mulai melanjutkan pelatihan dengan menggunakan satu hingga dua epoch lagi.
Jika performa model menurun secara signifikan pada tugas yang tidak diwakili dalam data penyempurnaan Anda, atau jika model tampaknya menghasilkan salinan yang tepat dari data penyempurnaan Anda, Databricks merekomendasikan untuk mengurangi jumlah epoch pelatihan.
Untuk penyesuaian instruksi dan penyelesaian percakapan, Anda harus memberikan token yang cukup untuk setidaknya satu panjang penuh konteks model. Misalnya, token 131072 untuk meta-llama/Llama-3.2-3B-Instruct.
Untuk pra-pelatihan lanjutan, Databricks merekomendasikan minimal 1,5 juta token untuk mendapatkan model berkualitas lebih tinggi yang mempelajari data kustom Anda.
Model yang didukung
Tabel berikut mencantumkan model yang didukung. Lihat lisensi Model untuk informasi lisensi model yang berlaku dan kebijakan penggunaan yang dapat diterima.
Untuk terus mendukung model paling canggih, Databricks mungkin memperbarui model yang didukung atau menghentikan model lama.
| Modél | Panjang konteks maksimum | Catatan |
|---|---|---|
meta-llama/Llama-3.3-70B-Instruct |
131072 | |
meta-llama/Llama-3.2-1B |
131072 | |
meta-llama/Llama-3.2-1B-Instruct |
131072 | |
meta-llama/Llama-3.2-3B |
131072 | |
meta-llama/Llama-3.2-3B-Instruct |
131072 | |
meta-llama/Meta-Llama-3.1-70B |
131072 | |
meta-llama/Meta-Llama-3.1-70B-Instruct |
131072 | |
meta-llama/Meta-Llama-3.1-8B |
131072 | |
meta-llama/Meta-Llama-3.1-8B-Instruct |
131072 |
Lisensi Model
Tabel berikut ini menyediakan lisensi model yang berlaku dan informasi kebijakan penggunaan yang dapat diterima untuk keluarga model yang didukung.
| Keluarga model | Lisensi dan kebijakan penggunaan yang dapat diterima |
|---|---|
| Meta Llama 3.2 | Meta Llama 3.2 dilisensikan berdasarkan Lisensi Komunitas LLAMA 3.2, Hak Cipta © Meta Platforms, Inc. Semua Hak Dilindungi Undang-Undang. Pelanggan bertanggung jawab untuk memastikan kepatuhan mereka terhadap ketentuan lisensi ini dan Kebijakan Penggunaan yang Dapat Diterima Llama 3.2. |
| Meta Llama 3.1 | Meta Llama 3.1 dilisensikan berdasarkan Lisensi Komunitas LLAMA 3.1, Hak Cipta © Meta Platforms, Inc. Semua Hak Dilindungi Undang-Undang. Pelanggan bertanggung jawab untuk memastikan kepatuhan terhadap lisensi model yang berlaku. |
Menggunakan Penyetelan Model Dasar
Penyempurnaan Model Foundation dapat diakses menggunakan databricks_genai SDK. Contoh berikut membuat dan memulai proses pelatihan yang menggunakan data dari Volume Katalog Unity. Lihat Membuat menjalankan pelatihan menggunakan API Penyelarasan Model Foundation untuk detail konfigurasi.
from databricks.model_training import foundation_model as fm
model = 'meta-llama/Meta-Llama-3.1-8B-Instruct'
# UC Volume with JSONL formatted data
train_data_path = 'dbfs:/Volumes/main/mydirectory/ift/train.jsonl'
register_to = 'main.mydirectory'
run = fm.create(
model=model,
train_data_path=train_data_path,
register_to=register_to,
)
Lihat notebook demo penyempurnaan instruksi: Pengenalan Entitas Bernama untuk contoh penyempurnaan instruksi yang memberikan langkah-langkah persiapan data, konfigurasi run pelatihan fine-tuning, dan penerapannya.
Batasan
- Himpunan data besar (10B+ token) tidak didukung karena ketersediaan komputasi.
- Untuk pra-pelatihan lanjutan, beban kerja dibatasi hingga 60-256MB file. File yang lebih besar dari 1GB dapat menyebabkan waktu pemrosesan yang lebih lama.
- Databricks berusaha untuk membuat model mutakhir dan tercanggih tersedia untuk penyesuaian menggunakan Penyetelan Halus Model Foundation. Saat model baru tersedia, akses ke model yang lebih lama dari API atau UI mungkin dihapus, model yang lebih lama mungkin tidak digunakan lagi, atau model yang didukung diperbarui. Lihat Kebijakan pemeliharaan model AI generatif.
- Untuk menggunakan Fine-tuning Model Foundation dengan ruang kerja Databricks yang telah diaktifkan Private Link Azure, ruang kerja harus berada di wilayah
eastus2tersebut. - Jika Anda memiliki Private Link yang disiapkan di penyimpanan Anda, Databricks merekomendasikan penggunaan tabel Unity Catalog.
- Jika Anda mengaktifkan firewall di akun Azure Data Lake Storage yang menyimpan data Anda di Unity Catalog, Anda perlu mengizinkan lalu lintas daftar dari kluster sarana data tanpa server Databricks untuk menggunakan Penyempurnaan Model Foundation. Hubungi tim akun Databricks Anda untuk informasi lebih lanjut dan kemungkinan solusi kustom.