Databricks'te yapay zeka ve makine öğrenmesi
Bu makalede, Mozaik yapay zekanın (eski adı Databricks Machine Learning) yapay zeka ve ML sistemleri oluşturmanıza yardımcı olmak için sağladığı araçlar açıklanmaktadır. Diyagramda, Databricks platformundaki çeşitli ürünlerin yapay zeka ve ML sistemleri oluşturup dağıtmak için uçtan uca iş akışlarınızı uygulamanıza nasıl yardımcı olduğu gösterilmektedir
Databricks'te üretken yapay zeka
Mozaik yapay zeka, yapay zeka yaşam döngüsünü veri toplama ve hazırlamadan geliştirme ve LLMOps modellerinden hizmet ve izlemeye kadar birleştirir. Aşağıdaki özellikler, üretken yapay zeka uygulamalarının geliştirilmesini kolaylaştırmak için özel olarak iyileştirilmiştir:
- Veriler, özellikler, modeller ve işlevler için idare, bulma, sürüm oluşturma ve erişim denetimi için Unity Kataloğu .
- Model geliştirme izleme ve LLM değerlendirmesi için MLflow.
- LLM'leri dağıtmak için Mozaik AI Modeli Sunma . Özellikle üretken yapay zeka modellerine erişmek için uç nokta sunan bir model yapılandırabilirsiniz:
- Temel Model API'lerini kullanarak en yeni açık LLM'ler.
- Databricks dışında barındırılan üçüncü taraf modelleri. Bkz. Mozaik Yapay Zeka Modeli Sunma'da dış modeller.
- Mozaik AI Vektör Arama, ekleme vektörlerini depolayan sorgulanabilir bir vektör veritabanı sağlar ve bilgi bankası otomatik olarak eşitlenecek şekilde yapılandırılabilir.
- Çıkarım tablolarıyla otomatik yük günlüğü kullanarak veri izleme ve izleme modeli tahmin kalitesi ve kayma için Lakehouse İzleme.
- Databricks çalışma alanınızdaki üretken yapay zeka modellerini test eden AI Playground . Sistem istemi ve çıkarım parametreleri gibi ayarları sorabilir, karşılaştırabilir ve ayarlayabilirsiniz.
- Mozaik Yapay Zeka Modeli Eğitimi (eski adıyla Temel Model Eğitimi), uygulamanızın performansını iyileştirmek üzere kendi verilerinizi kullanarak bir temel modeli özelleştirmeye yöneliktir.
- Alma Artırılmış Nesil (RAG) uygulamaları gibi üretim kalitesinde aracılar oluşturmak ve dağıtmak için Mozaik AI Aracısı Çerçevesi .
- RAG uygulamaları ve zincirler de dahil olmak üzere üretken yapay zeka uygulamalarının kalitesini, maliyetini ve gecikme süresini değerlendirmek için Mozaik AI Aracısı Değerlendirmesi .
Üretken yapay zeka nedir?
Üretken yapay zeka, bilgisayarların görüntüler, metin, kod ve yapay veriler gibi içerik oluşturmak için modelleri kullanma yeteneğine odaklanan bir yapay zeka türüdür.
Üretken yapay zeka uygulamaları, büyük dil modelleri (LLM' ler) ve temel modeller olmak üzere üretken yapay zeka modellerinin üzerine kurulmuştur.
- LLM'ler , dil işleme görevlerinde üstünlük sağlamak için çok büyük veri kümelerini kullanan ve eğiten derin öğrenme modelleridir. Eğitim verilerine göre doğal dili taklit eden yeni metin bileşimleri oluşturur.
- Temel modeller , daha özel dil anlama ve oluşturma görevleri için ince ayar yapmak amacıyla önceden eğitilmiş büyük ML modelleridir. Bu modeller, giriş verileri içindeki desenleri ayırt etmek için kullanılır.
Bu modeller öğrenme süreçlerini tamamladıktan sonra, istendiğinde istatistiksel olarak olası çıkışlar oluşturur ve aşağıdakiler gibi çeşitli görevleri yerine getirmek için kullanılabilir:
- Mevcut görüntüleri temel alan görüntü oluşturma veya yeni bir resim oluşturmak veya değiştirmek için bir görüntünün stilini kullanmak.
- Transkripsiyon, çeviri, soru/yanıt oluşturma ve metnin amacını veya anlamını yorumlama gibi konuşma görevleri.
Önemli
Birçok LLM'nin veya diğer üretken yapay zeka modellerinin korumaları olsa da, yine de zararlı veya yanlış bilgiler oluşturabilir.
Üretken yapay zeka aşağıdaki tasarım desenlerine sahiptir:
- İstem Mühendisliği: LLM davranışına kılavuzluk etmek için özel istemler oluşturma
- Alma Artırılmış Nesil (RAG): Bir LLM'yi dış bilgi alma ile birleştirme
- İnce ayar: Önceden eğitilmiş bir LLM'yi belirli etki alanı veri kümelerine uyarlama
- Ön eğitim: LlM'yi sıfırdan eğitme
Databricks'te makine öğrenmesi
Mozaik AI ile tek bir platform, ham verilerden sunulan bir model için her isteği ve yanıtı kaydeden çıkarım tablolarına kadar ml geliştirme ve dağıtımının her adımına hizmet vermektedir. Veri bilimciler, veri mühendisleri, ML mühendisleri ve DevOps, aynı araçlar kümesini ve veriler için tek bir doğru kaynağını kullanarak işlerini yapabilir.
Mozaik yapay zeka, veri katmanını ve ML platformunu birleştirilir. Modeller ve işlevler gibi tüm veri varlıkları ve yapıtları bulunabilir ve tek bir katalogda yönetilir. Veri ve modeller için tek bir platform kullanmak, ham verilerden üretim modeline kadar kökenin izlenmesini mümkün kılar. Yerleşik veriler ve model izleme, kalite ölçümlerini platformda depolanan tablolara kaydederek model performansı sorunlarının kök nedenini belirlemeyi kolaylaştırır. Databricks'in tam ML yaşam döngüsünü ve MLOps'yi nasıl desteklediği hakkında daha fazla bilgi için bkz . Azure Databricks'te MLOps iş akışları ve MLOps Stacks: kod olarak model geliştirme işlemi.
Veri zekası platformunun temel bileşenlerinden bazıları şunlardır:
| Görevler | Bileşen |
|---|---|
| Verileri, özellikleri, modelleri ve işlevleri yönetin ve yönetin. Ayrıca bulma, sürüm oluşturma ve köken. | Unity Kataloğu |
| Verilerde, veri kalitesinde ve model tahmini kalitesindeki değişiklikleri izleme | Lakehouse İzleme, Çıkarım tabloları |
| Özellik geliştirme ve yönetim | Özellik mühendisliği ve hizmet. |
| Modelleri eğitme | Databricks AutoML, Databricks not defterleri |
| Model geliştirmeyi izleme | MLflow izleme |
| Özel modeller sunma | Mozaik Yapay Zeka Modeli Sunma. |
| Otomatik iş akışları ve üretime hazır ETL işlem hatları oluşturma | Databricks İşleri |
| Git ile tümleştirme | Databricks Git klasörleri |
Databricks hakkında derin öğrenme
Derin öğrenme uygulamaları için altyapıyı yapılandırmak zor olabilir. Machine Learning için Databricks Runtime, TensorFlow, PyTorch ve Keras gibi en yaygın derin öğrenme kitaplıklarının yerleşik uyumlu sürümlerine sahip kümelerle bunu sizin için halleder.
Databricks Runtime ML kümeleri ayrıca sürücüler ve destekleyici kitaplıklarla önceden yapılandırılmış GPU desteği içerir. Ayrıca, ML iş akışlarını ve ML uygulamalarını ölçeklendirmek için işlem işlemeyi paralel hale getirmek için Ray gibi kitaplıkları da destekler.
Databricks Runtime ML kümeleri ayrıca sürücüler ve destekleyici kitaplıklarla önceden yapılandırılmış GPU desteği içerir. Mozaik AI Model Sunma , ek yapılandırma olmadan derin öğrenme modelleri için ölçeklenebilir GPU uç noktalarının oluşturulmasını sağlar.
Databricks, makine öğrenmesi uygulamaları için Machine Learning için Databricks Runtime çalıştıran bir küme kullanılmasını önerir. Bkz . Databricks Runtime ML kullanarak küme oluşturma.
Databricks'te derin öğrenmeye başlamak için bkz:
- Azure Databricks'de derin öğrenme için en iyi yöntemler
- Databricks hakkında derin öğrenme
- Derin öğrenme için başvuru çözümleri
Sonraki adımlar
Başlamak için bkz:
Databricks Mozaik AI'de önerilen MLOps iş akışı için bkz:
Temel Databricks Mozaik yapay zeka özellikleri hakkında bilgi edinmek için bkz: