Sistem pemberi rekomendasi berbasis pembelajaran mendalam

Penting

Fitur ini ada di Beta. Admin ruang kerja dapat mengontrol akses ke fitur ini dari halaman Pratinjau . Lihat Kelola Pratinjau Azure Databricks.

Halaman ini menyediakan contoh buku catatan untuk membangun sistem rekomendasi menggunakan komputasi GPU Tanpa Server. Contoh-contoh ini menunjukkan cara membuat model rekomendasi yang efisien menggunakan pendekatan pembelajaran mendalam modern.

Model rekomendasi dua menara

Notebook ini menunjukkan cara mengonversi data rekomendasi Anda menjadi format Mosaic Data Shard (MDS) lalu menggunakan data tersebut untuk membuat model rekomendasi dua menara. Pendekatan ini sangat efektif untuk sistem rekomendasi skala besar.

Persiapan data: Mengonversi himpunan data model rekomendasi ke format MDS

Pertama, konversi himpunan data rekomendasi Anda ke format MDS untuk pemuatan data yang efisien:

Konversikan data

Dapatkan buku catatan

Pelatihan model: Model pemberi rekomendasi dua menara menggunakan PyTorch Lightning

Latih model pemberi rekomendasi dua menara menggunakan himpunan data yang disiapkan dan API PyTorch Lightning Trainer pada beberapa simpul GPU (GPU A10 atau H100).

Pemberi rekomendasi PyTorch

Dapatkan buku catatan

Contoh: Menyempurnakan model penyematan dengan llm-foundry pada komputasi GPU tanpa server

Model penyematan adalah komponen penting dari sistem rekomendasi modern, terutama dalam tahap pengambilan di mana model tersebut memungkinkan pencarian kesamaan yang efisien di jutaan item. Sementara model dua menara menghasilkan penyematan khusus tugas, model penyematan yang telah dilatih sebelumnya dapat disempurnakan untuk aplikasi khusus domain untuk meningkatkan kualitas pengambilan.

Contoh notebook berikut menunjukkan cara menggunakan pembelajaran kontras untuk mengoptimalkan model embedding gaya BERT pada komputasi GPU tanpa server (SGC). Ini menggunakan kerangka kerja llm-foundry dengan Composer trainer untuk menyempurnakan model seperti gte-large-en-v1.5, bekerja dengan data yang disimpan dalam Delta tables. Contoh ini menggunakan Mosaic Streaming untuk mengonversi data ke format Mosaic Data Shard (MDS) untuk pemuatan data terdistribusi dan MLflow untuk pelacakan dan pengelogan model.

Menyempurnakan buku catatan model penyematan

Dapatkan buku catatan

Nota

• Model penyematan mengharapkan data dengan kolom untuk query_text, positive_passage, dan negative_passages secara opsional.
• Penyematan yang disempurnakan dapat digunakan di penyimpanan vektor untuk operasi pencarian kesamaan, memungkinkan pengambilan item yang relevan secara efisien untuk sistem rekomendasi.
• Pendekatan ini sangat berguna ketika Anda perlu menyesuaikan model penyematan tujuan umum ke domain atau kasus penggunaan spesifik Anda.