Derin öğrenme tabanlı öneri sistemleri

Önemli

Bu özellik Beta sürümündedir. Çalışma alanı yöneticileri Bu özelliğe erişimi Önizlemeler sayfasından denetleyebilir. Bkz. Azure Databricks önizlemelerini yönetme.

Bu sayfada Sunucusuz GPU işlem kullanarak öneri sistemleri oluşturmaya yönelik not defteri örnekleri sağlanmaktadır. Bu örnekler, modern derin öğrenme yaklaşımlarını kullanarak verimli öneri modelleri oluşturmayı göstermektedir.

İki kuleli öneri modeli

Bu not defterleri, öneri verilerinizi Mozaik Veri Parçası (MDS) biçimine dönüştürmeyi ve ardından bu verileri kullanarak iki kuleli bir öneri modeli oluşturmayı gösterir. Bu yaklaşım özellikle büyük ölçekli öneri sistemleri için etkilidir.

Veri hazırlama: Öneri modeli veri kümesini MDS biçimine dönüştürme

İlk olarak, verimli veri yükleme için öneri veri kümenizi MDS biçimine dönüştürün:

Verileri dönüştürme

Dizüstü bilgisayar al

Model eğitimi: PyTorch Lightning kullanan iki kuleli öneri modeli

Hazırlanan veri kümesini ve PyTorch Lightning Trainer API'sini birden çok GPU düğümünde (A10 veya H100 GPU) kullanarak iki kuleli öneri modelini eğitin.

PyTorch önericisi

Dizüstü bilgisayar al

Örnek: Sunucusuz GPU işlemlerinde llm-foundry ile ekleme modellerinde ince ayar yapma

Gömme modelleri, modern öneri sistemlerinin, özellikle milyonlarca öğe arasında verimli benzerlik araştırması sağlayan geri alma aşamasında kritik bir bileşenidir. İki kuleli model görev spesifik yerleştirmeler oluştururken, geri çağırma kalitesini artırmak amacıyla alan spesifik uygulamalar için önceden eğitilmiş yerleştirme modelleri ince ayarlanabilir.

Aşağıdaki örnek not defterinde, sunucusuz GPU işlemde (SGC) BERT stilinde bir ekleme modeline ince ayar yapmak için karşıt öğrenmenin nasıl kullanılacağı gösterilmektedir. Modellerde ince ayar yapmak için llm-foundry çerçevesini Composer'ın eğitmeniyle birlikte kullanır ve Delta tablolarında depolanan verilerle çalışarak gte-large-en-v1.5 gibi modeller üzerinde ince ayar yapar. Bu örnekte, verileri Mozaik Veri Parçası (MDS) biçimine dönüştürmek ve dağıtılmış veri yükleme için Mozaik Akış kullanılırken, model izleme ve günlüğe kaydetme için MLflow kullanılmıştır.

Model not defteri eklemede ince ayar yapma

Dizüstü bilgisayar al

Uyarı

• Gömme modeli, query_text, positive_passage ve isteğe bağlı olarak negative_passages sütunları olan verileri bekler.
• İyi ayarlanmış eklemeler, benzerlik arama işlemleri için vektör depolarında kullanılabilir ve öneri sistemleri için ilgili öğelerin verimli bir şekilde alınmasına olanak tanır.
• Bu yaklaşım, genel amaçlı bir ekleme modelini belirli bir etki alanınıza veya kullanım örneğinize uyarlamanız gerektiğinde özellikle yararlıdır.