Databricks 上的大型語言模型 （LLM）
Azure Databricks 可讓您輕鬆地存取及建置公開可用的大型語言模型。
適用於 機器學習 的 Databricks Runtime 包含 Hugging Face Transformers 和 LangChain 等連結庫，可讓您將現有的預先定型模型或其他開放原始碼連結庫整合到工作流程中。 您可以從這裡利用 Azure Databricks 平臺功能來微調使用您自己的數據來微調 LLM，以提升網域效能。
此外，Azure Databricks 還提供內建功能，讓 SQL 用戶能夠使用 AI 函式來存取和實驗 LLM，例如 Azure OpenAI 和 OpenAI。
馬賽克 AI 模型訓練
重要
這項功能處於公開預覽狀態。 請連絡 Databricks 帳戶小組，以註冊公開預覽版。
馬賽克 AI 模型定型 （先前稱為基礎模型定型） 是 Databricks 訓練堆疊的簡單介面，可執行完整的模型微調。
您可以使用馬賽克 AI 模型訓練來執行下列動作：
- 使用自定義數據微調模型，並將檢查點儲存至 MLflow。 您可以保留微調模型的完整控制權。
- 自動將模型註冊至 Unity 目錄，以方便使用模型服務進行部署。
- 藉由載入先前微調模型的權數，微調已完成的專屬模型。
請參閱 馬賽克 AI 模型訓練簡介。
Hugging Face Transformers
透過 Databricks 上的擁抱臉部轉換器，您可以相應放大自然語言處理 （NLP） 批次應用程式，並微調大型語言模型應用程式的模型。
擁抱臉部 transformers 連結庫已預安裝在 Databricks Runtime 10.4 LTS ML 和更新版本上。 許多熱門的 NLP 模型在 GPU 硬體上效果最佳，因此，除非您使用特別針對 CPU 使用優化的模型，否則您可能會使用最新的 GPU 硬體獲得最佳效能。
LangChain
LangChain 可作為實驗性 MLflow 類別，可讓 LangChain 客戶直接從 Azure Databricks 環境運用 MLflow 的強大工具和實驗追蹤功能。
LangChain 是一種軟體架構，旨在協助建立利用大型語言模型 （LLM） 的應用程式，並將其與外部數據結合，為您的 LLM 帶來更多的定型內容。
Databricks Runtime ML 包含 langchain Databricks Runtime 13.1 ML 和更新版本。
瞭解 Databricks 特定的 LangChain 整合。
AI 函式
重要
這項功能處於公開預覽狀態。
AI 函 式是內建的 SQL 函式，可讓 SQL 使用者：
- 使用 Databricks Foundation 模型 API 來完成公司數據的各種工作。
- 從 OpenAI 存取 GPT-4 之類的外部模型，並加以實驗。
- 由馬賽克 AI 模型裝載的查詢模型從 SQL 查詢提供端點。