馬賽克 AI 是建置、評估、部署及監視產生式 AI 應用程式（Gen AI 應用程式）的平臺。 它彙集了一套工具，可解決 開發企業級 AI 應用程式的挑戰。 馬賽克 AI 與熱門的開放原始碼框架整合，並新增企業級治理、可觀測性及運營工具，統稱為 LLMOps。
馬賽克 AI 元件概觀
模型服務 可協助您：
- 使用整合介面部署和查詢 Gen AI 應用程式和模型
- 控管和監視部署
代理人評估 協助您：
- 快速在開發迴圈中反覆改進以達到高品質。
- 在生產期間監視和修正品質。
- 收集生成 AI 應用程式品質的主題專家的意見與反饋。
- 管理評估數據集，以定義和測量品質。
Agent Framework 使您能夠：
- 將您的生成式 AI 應用程式代碼和組態記錄為 MLflow 模型，然後用單行程式碼部署到生產就緒的服務端點。
MLflow 提供下列功能：
- 設定您的生成式人工智慧應用程式以提供可觀察性和遙測。
- 記錄您的 Gen AI 應用程式的程式代碼和設定，以管理其生命週期。
- 使用langchain、langgraph、crewAI、OpenAI SDK等各種架構撰寫作者代理程式。
啟用數據智慧
Databricks Data Intelligence 平臺 瞭解您的數據，並使用該見解來協助您，同時仍提供強式治理和安全性：
- 向量搜索：自動化大規模建立您的知識庫索引，以進行相似度或混合式搜索。
- Genie：使用自然語言來查詢結構化數據。
- 無伺服器 SQL：將現有的數據源整合到您的 Gen AI 應用程式中，以進行分析或轉換。
- 在線功能存放區：存取 Gen AI 應用程式內的即時功能。
Mosaic AI 如何促進生成式 AI 應用程式開發
馬賽克 AI 可協助您解決 Gen AI 應用程式開發的某些挑戰。
跨數據和 AI 的端對端治理
與 Unity 目錄緊密整合，為數據和 AI 治理提供單一事實來源：
- Unity 目錄函式：代理程序系統的 SQL 和 Python 型工具治理。
- Unity 目錄模型：代理程式系統程式代碼和設定的治理。
- Unity Catalog 連線：用於代理系統的內部與外部 API 的治理管理。
在 Databricks 平台內外部署的所有 Gen AI Apps 統一遙測和可觀測性：
- MLflow 追蹤 可讓您利用 MLflow 追蹤功能設置您的生成式 AI 應用程式，以收集遙測和可觀察性數據，用於稽核及質量評估/監控。
- AI 閘道 讓您能夠追蹤使用量以及紀錄要求、追蹤狀態和使用者回饋。
Lakeguard 提供 沙箱化程式代碼執行環境，讓您的工具遵守 Unity 目錄治理和 ACL。
生產品質的交付成果
容易與主題專家（SMEs）合作收集意見，以利於品質標準的制定。
- 代理程式評估 提供內建的使用者介面，讓主題專家標記評估和訓練數據，並在生成式人工智慧應用程式輸出上提出反饋。
- 監視UI有助於分析SME互動，並將寶貴的意見反應轉換成結構化評估數據，以進行持續改善。
- 無論您在 Databricks 或其他地方部署應用程式，都可以利用馬賽克 AI 的評估和監視功能。
針對部署在 Databricks 內外的生成式 AI 應用程式，在開發和生產環境中進行精確、快速且高品質的測量。
- 透過 代理程式評估：
可縮短開發時間的快速開發工具
- 代理人評估
- 代理程式架構：使用一行代碼，將您的 Gen AI 應用程式的代碼和設定記錄為 MLflow 模型，然後部署到生產就緒的服務 API，並在模型服務上託管。
- AI 遊樂場：沙箱化 UI 來與已部署的應用程式互動。
馬賽克 AI 中的開放原始碼支援
透過馬賽克 AI，不論您開始使用哪一個開放原始碼架構，您都可以調整您的 Gen AI 應用程式以供企業使用。
馬賽克 AI 補充，但不會取代現有的開源生成式 AI 庫和 SDK，例如：
- 開放人工智慧
- LangChain
- LangGraph
- AutoGen
- LlamaIndex
- CrewAI
- 語意核心
- DSPy
如果您想要從頭開始建置您的 Gen AI 應用程式，馬賽克 AI 支援自定義的僅限 Python 解決方案，而不需要任何架構。