Databricks 上的 AI 和機器學習

使用馬賽克 AI 建置、部署及管理 AI 和機器學習應用程式，這是整合式平臺，可整合整個 AI 生命週期，從數據準備到生產監視。

如需一組可供您開始使用的教學課程，請參閱 AI 和機器學習教學課程。

建置生成式 AI 應用程式

開發和部署企業級的生成式 AI 應用程式，例如微調的大型語言模型、AI 代理和檢索增強生成。

特徵 / 功能	說明
AI 遊樂場	建立原型和測試無程式碼的提示設計及參數調整的生成式 AI 模型。
代理元件	簡單、無程序代碼的方法，可針對常見的 AI 使用案例建置及優化特定領域、高品質的 AI 代理程式系統。
基礎模型	透過安全、可擴充的 API，提供最先進的 LLM，包括 Meta Llama、Anthropic Claude 和 OpenAI GPT。
馬賽克 AI 代理程序架構	使用 Python 建置和部署生產品質代理程式，包括 RAG 應用程式和多代理程式系統。
GenAI 的 MLflow	使用 AI 支援的計量和完整的追蹤可觀察性，測量、改善及監視 GenAI 應用程式生命週期的品質。
向量搜尋	儲存和查詢嵌入向量，並自動同步至RAG應用程式的知識庫。
基礎模型微調	使用您自己的數據自定義基礎模型，以優化特定應用程式的效能。

使用自動化工具和共同作業開發環境建立機器學習模型。

特徵 / 功能	說明
AutoML	使用自動化功能工程和超參數微調，使用最少的程式代碼自動建置高品質的模型。
適用於機器學習 (ML) 的 Databricks Runtime	使用 TensorFlow、PyTorch、Keras 和 GPU 支援的預先設定叢集，以進行深度學習開發。
MLflow 追蹤	追蹤實驗、比較模型效能，以及管理完整的模型開發生命週期。
特徵工程	使用自動化的數據管線和功能探索來建立、管理及提供功能。
Databricks 筆記本	針對 ML 工作流程支援 Python、R、Scala 和 SQL 的共同作業開發環境。

使用內建架構來開發深度學習模型。

特徵 / 功能	說明
分散式定型	使用 Ray、TorchDistributor 和 DeepSpeed 的分散式深度學習範例。
Databricks 深度學習的最佳做法	Databricks 深度學習的最佳做法。
PyTorch	使用 PyTorch 的單一節點和分散式訓練。
TensorFlow	使用 TensorFlow 和 TensorBoard 的單節點和分散式訓練。
參考解決方案	深度學習的參考解決方案。

使用可調整的端點、即時推斷和企業級監視，將模型部署至生產環境。

特徵 / 功能	說明
模型服務	使用自動調整和 GPU 支援，將自定義模型和 LLM 部署為可調整的 REST 端點。
AI 閘道	使用使用追蹤、承載記錄和安全性控制來管理及監視生成式 AI 模型的存取權。
外部模型	結合托管於 Databricks 外部的第三方模型，並實現統一的治理和監控。
基礎模型 API	存取和查詢 Databricks 所裝載的最新開放模型。

確保模型品質、數據完整性和合規性，以及完整的監視和治理工具。

特徵 / 功能	說明
Unity 目錄	使用統一訪問控制、譜系追蹤和探索來管理數據、特徵、模型和函式。
湖屋監控	使用自動化警示和根本原因分析來監視數據品質、模型效能和預測漂移。
MLflow 用於模型	在整個開發生命週期中追蹤、評估和監視產生的 AI 應用程式。

使用自動化工作流程、CI/CD 整合和準備投入生產的管線來擴展機器學習作業規模。

任務	說明
模型登錄	使用集中式模型生命週期管理來管理模型版本、核准和部署。
Lakeflow 作業	建置自動化工作流程和生產環境就緒的 ETL 管線，以進行 ML 數據處理。
Databricks 上的Ray	使用分散式運算調整 ML 工作負載，以進行大規模模型定型和推斷。
MLOps 工作流程	使用自動化定型、測試和部署管線來實作端對端MLOps。
Git 整合	版本控制機器學習程式代碼和筆記本，具有順暢的 Git 整合及協作開發能力。