馬賽克 AI 閘道
重要
這項功能處於公開預覽狀態。
本文說明馬賽克 AI 閘道、Databricks 解決方案，可用來控管和監視支援之產生 AI 模型及其相關聯模型服務端點的存取。
什麼是馬賽克 AI 閘道？
馬賽克 AI 閘道的設計目的是簡化組織內產生 AI 模型的使用和管理。 它是一項集中式服務，可將治理、監視和生產整備程度帶入服務端點的模型。 它也可讓您執行、保護及控管 AI 流量，以將組織的 AI 採用民主化並加速採用。
所有數據都會記錄到 Unity 目錄中的 Delta 資料表。
若要開始從 AI 閘道數據可視化深入解析，請從 GitHub 下載 範例 AI 閘道儀錶板 。 此儀錶板會利用使用量追蹤和承載記錄推斷數據表中的數據。
下載 JSON 檔案之後，請將儀錶板匯入工作區。 如需匯入儀錶板的指示，請參閱 匯入儀錶板檔案。
AI 閘道支援下列功能：
- 權限和速率限制控制存取權的擁有者和權限大小。
- 使用推斷數據表來監視和稽核要傳送至模型 API 的數據承載記錄。
- 使用狀況追蹤，使用系統數據表監視端點上的作業使用量和相關聯的成本。
- AI 護欄防範要求和回覆出現垃圾資料和不安全的資料。
- 流量路由將部署期間和之後的正式作業中斷情況減到最少。
馬賽克 AI 閘道會根據啟用的功能產生費用。 在預覽期間，這些付費功能包括 AI Guardrails、承載記錄和使用量追蹤。 查詢許可權、速率限制和流量路由等功能是免費的。 任何新功能皆須付費。
下表反映付費 AI 閘道功能的 Databricks 單位 （DBU） 每百萬 （M） 令牌費率。 費用列在 SKU 底下 Serverless Real-time Inference 。
| 功能 | DBU 速率 |
|---|---|
| AI 護欄 | 每個 M 令牌 21.429 DBU |
| 酬載記錄 | 每個 M 令牌 2.857 DBU |
| 使用情況追蹤 | 每個 M 令牌 0.571 DBU |
AI 護欄
AI Guardrails 可讓使用者在服務端點層級的模型中設定及強制執行數據合規性，並減少傳送至基礎模型之任何要求的有害內容。 不正確的要求和回應會遭到封鎖，並傳回預設訊息給使用者。 請參閱 如何在服務端點的模型上設定護欄。
重要
AI 防護欄僅適用於 支持基礎模型 API 按令牌付費的區域。
下表摘要說明可設定的護欄。
| 護欄 | 定義 |
|---|---|
| 安全性篩選 | 安全篩選可防止您的模型與不安全和有害的內容互動，例如暴力犯罪、自我傷害和仇恨言論。 AI 閘道安全篩選器是使用 Meta Llama 3 所建置。 Databricks 使用 Llama Guard 2-8b 作為安全篩選器。 若要深入瞭解 Llama Guard 安全篩選器，以及適用於安全篩選器的主題，請參閱 Meta Llama Guard 2 8B 模型卡片。 Meta Llama 3 已根據 LLAMA 3 社群授權，著作權 © Meta Platform， Inc.保留所有權利。 客戶應負責確保遵循適用的模型授權。 |
| 個人識別資訊 (PII) 偵測 | 客戶可以偵測任何敏感性資訊，例如用戶的名稱、位址、信用卡號碼。 針對這項功能，AI 閘道會使用 Presidio 來偵測下列美國 PII 類別：信用卡號碼、電子郵件地址、電話號碼、銀行帳戶號碼和社保號碼。 PII 分類器可協助識別結構化和非結構化數據中的敏感性資訊或 PII。 不過，由於其使用自動化偵測機制，因此無法保證服務會尋找所有敏感性資訊。 因此，應採用額外的系統和保護。 這些分類方法主要限於美國 PII 類別，例如美國電話號碼和社會保障號碼。 |
| 主題仲裁 | 列出一組允許的主題的功能。 假設有聊天要求，此護欄會標幟其主題不在允許的主題中。 |
| 關鍵詞篩選 | 客戶可以為輸入和輸出指定不同的無效關鍵詞集合。 關鍵詞篩選的其中一個可能使用案例是模型不會談論競爭對手。 此護欄會使用關鍵詞或字串比對來決定關鍵詞是否存在於要求或響應內容中。 |
使用 AI 閘道
您可以使用服務UI，在模型上設定 AI 閘道功能來提供端點。 請參閱在模型服務端點上設定 AI 閘道。
限制
以下是預覽期間的限制：
- 只有服務外部模型的模型服務端點才支援 AI 閘道。
- 使用護欄時，要求批次大小是內嵌批次大小、完成批次大小或
n聊天要求參數，不能超過 16。