Unity Gateway 将注册、发现和访问 AI 模型和工具集中于一处。 控制谁可以使用这些设备,监控使用情况,并管理跨应用和代理的成本。
Unity Gateway 利用这些概念来管理通过 服务策略实现的模型、模型提供者、工具、技能和防护栏:
| 概念 | 它的作用是什么 | Example |
|---|---|---|
| 模型 | 一个大型语言模型(LLM)或嵌入模型。 已注册的模型需要模型服务来处理请求。 |
gpt-astra-6。 |
| 模型服务 | 一个端点,将推理请求转换并路由到一个或多个模型,具有 流量分割和备份功能。 支持 实时请求,以及 批处理推理。 |
frontier-model: GPT Astra 6 在 Azure Databricks 上运行,Claude Opus 5 作为备用。opus-5:Opus 5由Azure Databricks提供,AWS Bedrock作为备用。 |
| 模型提供者 | 通过集中管理的凭据将请求路由到外部模型提供者的连接。 |
anthropic-prod:与Anthropic的联系。 |
| MCP | 一个接口,供代理通过模型上下文协议(MCP)发现和调用工具。 |
support-tools:用于 Slack 和 Jira 的工具。 |
| 技能 | 代理加载的可重复使用的指令和文件,用于指导其工作。 |
customer-support:一本支援剧本。 |
| 服务政策 | 实施保护栏,通过内置、自定义或 外部 策略检查对AI服务的请求和响应。 | 内置 detect_sensitive_data 策略检测模型请求和响应中配置的敏感数据类型,如信用卡号码。 它会阻止或隐去匹配项。 |
各个部分如何协同工作
调用模型服务以访问 Azure Databricks 上的 gpt-astra-6,并可通过 aws-bedrock 使用同一模型作为备用。 你可以更改模型或备份,而无需更改应用程序调用的名称。 将内置的敏感数据检测服务策略附加到模型服务上,以检查配置敏感数据类别的请求和响应。
呼叫模型与工具
将 <workspace-url> 和示例名称替换为你自己的内容。 请参阅快速入门以设置DATABRICKS_TOKEN。
模型服务
模型服务为兼容模型支持统一 API(如 与 OpenAI 兼容的 Chat Completions)以及提供商原生 API(如 Anthropic Messages)。
使用统一的聊天补全 API 调用 frontier-model。 服务选择型号:
curl "https://<workspace-url>/ai-gateway/mlflow/v1/chat/completions" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"model": "production.ai.frontier-model",
"max_tokens": 256,
"messages": [{"role": "user", "content": "Hello!"}]
}'
有关SDK示例及其他API,请参见 查询基础和嵌入模型 。
模型提供者
通过anthropic-prod使用 Anthropic Messages API 调用外部模型。 标头用于选择连接,而 Unity Gateway 提供该连接的凭据:
curl "https://<workspace-url>/ai-gateway/anthropic/v1/messages" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Databricks-Model-Provider-Service: production.ai.anthropic-prod" \
-H "Content-Type: application/json" \
-d '{
"model": "claude-opus-5",
"max_tokens": 256,
"messages": [{"role": "user", "content": "Hello!"}]
}'
请参阅 查询外部模型提供者(模型提供者服务) 以了解支持的提供者API。
MCP
列出通过 support-tools 可用的工具:
curl "https://<workspace-url>/ai-gateway/mcp-services/production.ai.support-tools" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/json" \
-H "Accept: application/json, text/event-stream" \
-d '{
"jsonrpc": "2.0",
"id": 1,
"method": "tools/list",
"params": {}
}'
关于工具调用和代理集成,请参见“从 Python 代理调用 MCP 工具”。
Unity 目录与访问控制
Unity Gateway 与 Unity 目录 集成,以控制谁 创建服务、 接入模型提供商、调用或共享访问权限。 Unity 目录还管理注册模型、技能以及谁可以 附加服务政策。
Unity Catalog 安全对象
模型、模型服务、模型提供者、MCP和技能都是 Unity Catalog的可保护对象:你可以授予权限的对象。 它们的名称紧随 catalog.schema.name,例如 production.ai.frontier-model。 Azure Databricks提供的模型服务注册于system.ai。
模型提供者在 Unity 目录中注册为模型提供者服务。 服务政策是附加于服务的,而不是独立的可担保资产。
在 Unity 目录中,模型是一个静态资产:版本、元数据和工件。 将其注册并不会使其可调用。 对于外部模型,注册的是模型提供者连接,而非模型本身。
密钥权限
授予用户、组或服务主体权限。 对于 模型服务、 模型提供者和 MCP,主要权限将使用与管理分开:
| Privilege | 它允许的内容 |
|---|---|
EXECUTE |
调用模型服务、模型提供方或 MCP。 |
CREATE SERVICE |
在架构中创建服务并接入模型提供程序。 |
READ METADATA |
检查配置。 |
MANAGE |
更改配置并授权其他用户访问。 |
调用方还需要对父目录和架构具有 USE CATALOG 和 USE SCHEMA 权限。 服务政策限制授权通话。 他们不会授予访问权限。 请参阅每个概念的完整权限要求页面。
开始
从一个现成的模型服务 system.ai开始,或者连接你的编码代理:
| Topic | Description |
|---|---|
| 发送你的第一个请求 | 查询一个模型,查看其在网关中的使用情况。 |
| 连接编码代理 | 使用你偏好的编码代理,搭配 Azure Databricks 提供的模型。 |
| 监视使用情况 | 检查模型和工具的活动、性能和成本。 |
| 建立治理 | 配置组织AI使用的访问权限和策略。 |