Azure Databricks 提供多種方式來查詢大型語言模型（LLM）、基礎模型及已部署代理。 根據你的工作流程，選擇互動式 UI、SQL、REST API 或客戶端函式庫。
AI 遊樂場
AI Playground 是 Azure Databricks 工作區中的一個無需撰寫程式碼的聊天環境，可用來提示及比較大型語言模型。 用它來實驗提示詞、調整溫度和最大 token 數等參數，並在著手寫程式之前，為工具呼叫代理和問答機器人並排製作原型。
利用 AI 函式豐富資料
AI 函式是內建的 SQL 函式，將大型語言模型及其他模型應用於儲存在 Azure Databricks 中的資料。 可從 Databricks SQL、筆記本、Lakeflow Spark 宣告式管線或工作流程中執行，以分類支援工單、從文件中擷取實體、摘要內容，或以批次規模翻譯文字。
請從兩種功能類型中選擇：
-
任務專屬函式如
ai_classify、ai_extract及ai_parse_document，皆為單一任務優化，並使用Azure Databricks管理、研究支持的系統。 -
ai_query是通用功能——提供你自己的提示詞並選擇任何支援的基礎模型。 詳見 使用ai_query。
端對端範例請參見 「使用 AI 功能分析客戶評論」。
查詢代理程式
建置並部署代理程式後，從你的應用程式 查詢代理 程式。 代理可以託管在 Databricks 應用程式或 Mosaic AI 模型服務端點上。 Azure Databricks 支援三種查詢方法：
- Databricks OpenAI 用戶端 — 推薦用於新應用，具備原生串流及完整功能支援。
- OpenAI 相容的 REST API — 語言無關，適用於任何已使用 OpenAI API 的平台。
-
ai_query— 查詢由 SQL 托管於模型服務端點的舊有代理。
基礎模型
Mosaic AI Model Serving 透過統一的 API 提供開放式、由 Azure Databricks 管理的，以及外部基礎模型。 選擇最適合你工作負載的部署選項：
- 按代幣付費 — 查詢工作空間中預先設定的端點，無需基礎設施負擔。 適合實驗。
- 配置吞吐量 — 部署經過精細調整的模型，並保證服務與效能，以滿足生產環境。
- 外部模型 — 透過Azure Databricks治理，將請求路由至像 OpenAI 或 Anthropic 這類供應商。