Aracılığıyla paylaş

Databricks'te büyük dil modelleri (LLM'ler)

  • Makale

Azure Databricks, genel kullanıma açık büyük dil modellerine erişmeyi ve bunları oluşturmayı kolaylaştırır.

Machine Learning için Databricks Runtime, önceden eğitilmiş mevcut modelleri veya diğer açık kaynak kitaplıkları iş akışınızla tümleştirmenize olanak sağlayan Hugging Face Transformers ve LangChain gibi kitaplıklar içerir. Buradan, daha iyi etki alanı performansı için kendi verilerinizi kullanarak LLM'lerde ince ayar yapmak için Azure Databricks platform özelliklerinden yararlanabilirsiniz.

Ayrıca Azure Databricks, SQL kullanıcılarının yapay zeka işlevlerini kullanarak Azure OpenAI ve OpenAI gibi LLM'lere erişmesi ve bunları denemesi için yerleşik işlevler sunar.

Mozaik Yapay Zeka Modeli Eğitimi

Önemli

Bu özellik Genel Önizlemededir. Genel Önizleme'ye kaydolmak için Databricks hesap ekibinize ulaşın.

Mozaik AI Modeli Eğitimi (eski adıyla Foundation Model Eğitimi), tam model ince ayarı gerçekleştirmek için Databricks eğitim yığınına yönelik basit bir arabirimdir.

Mozaik Yapay Zeka Modeli Eğitimi'ni kullanarak aşağıdakileri yapabilirsiniz:

  • MLflow'a kaydedilen denetim noktalarıyla özel verilerinizle modelde ince ayar yapın. hassas ayarlı modelin tam denetimini korursunuz.
  • Modeli Unity Kataloğu'na otomatik olarak kaydederek model sunma ile kolay dağıtıma olanak tanır.
  • Daha önce ince ayarlanmış bir modelin ağırlıklarını yükleyerek tamamlanmış, özel bir modele ince ayar yapın.

Bkz . Mozaik AI Modeli Eğitimine Giriş.

Yüz Transformatörlerine Sarılma

Databricks'te Yüz Dönüştürücülerini Kucaklama ile doğal dil işleme (NLP) toplu iş uygulamalarınızın ölçeğini genişletebilir ve büyük dil modeli uygulamaları için modellerde ince ayar yapabilirsiniz.

Hugging Face transformers kitaplığı Databricks Runtime 10.4 LTS ML ve üzeri sürümlerine önceden yüklenmiş olarak gelir. Popüler NLP modellerinin çoğu GPU donanımında en iyi şekilde çalışır, bu nedenle CPU'larda kullanılmak üzere özel olarak iyileştirilmiş bir model kullanmadığınız sürece en son GPU donanımını kullanarak en iyi performansı elde edebilirsiniz.

LangChain

LangChain, LangChain müşterilerinin MLflow'un güçlü araçlarından ve deneme izleme özelliklerinden doğrudan Azure Databricks ortamından yararlanmasını sağlayan deneysel bir MLflow aroması olarak kullanılabilir.

LangChain, büyük dil modellerinden (LLM) yararlanan uygulamalar oluşturmaya yardımcı olmak ve BUNLARı dış verilerle birleştirerek LLM'leriniz için daha fazla eğitim bağlamı sağlamaya yardımcı olmak üzere tasarlanmış bir yazılım çerçevesidir.

Databricks Runtime ML, Databricks Runtime 13.1 ML ve üzeri sürümleri içerir langchain .

Databricks'e özgü LangChain tümleştirmeleri hakkında bilgi edinin.

Yapay zeka işlevleri

Önemli

Bu özellik Genel Önizlemededir.

Yapay zeka işlevleri , SQL kullanıcılarının şunları sağlamasına olanak sağlayan yerleşik SQL işlevleridir:

  • Şirketinizin verileriyle ilgili çeşitli görevleri tamamlamak için Databricks Foundation Model API'lerini kullanın.
  • OpenAI'den GPT-4 gibi dış modellere erişin ve bunlarla denemeler yapın.
  • Mozaik Yapay Zeka Modeli Tarafından Barındırılan Sorgu Modelleri SQL sorgularından uç noktalar sunar.