Aggiungi una risorsa di servizio modello Unity Gateway a un'app Databricks

Importante

Questa funzionalità è in Anteprima Pubblica.

Aggiungi i servizi del modello Unity Gateway come risorse Databricks Apps così la tua app può inviare richieste di inferenza, inclusi chat, completioni e embedding, ai modelli AI governati in Unity Catalog. I servizi modello Unity Gateway includono modelli di fondazione pay-per-token disponibili sotto system.ai, così come i servizi modello che crei.

Note

L'attribuzione dell'uso per i servizi di modello Unity Gateway è accurata solo per le app Databricks standard. Le app che girano in un ambiente micro VM, come le app Genie app builder, non riportano un'attribuzione accurata dell'uso.

Vedi tracciamento dell'utilizzo del Gateway Unity.

Requisiti dei privilegi

Per accedere a un servizio modello Unity Gateway, il service principal dell'app deve avere il USE CATALOG privilegio nel catalogo padre, il USE SCHEMA privilegio nello schema padre e il EXECUTE privilegio nel servizio modello. Quando aggiungi la risorsa del servizio modello, Azure Databricks concede automaticamente questi privilegi all'entità servizio dell'app.

Affinché questa concessione automatica abbia esito positivo, è necessario che uno dei seguenti sia true per ogni privilegio:

• Per USE CATALOG: Tutti gli utenti dell'account hanno il USE CATALOG privilegio sul catalogo, oppure tu hai il MANAGE privilegio sul catalogo.
• Per USE SCHEMA: tutti gli utenti dell'account hanno il USE SCHEMA privilegio per lo schema oppure si dispone del MANAGE privilegio per lo schema.
• Per EXECUTE: O tutti gli utenti dell'account hanno il EXECUTE privilegio sul servizio modello, oppure hai il MANAGE privilegio sul servizio modello.

Vedere Informazioni di riferimento sui privilegi del catalogo Unity.

Aggiungi una risorsa di servizio modello Unity Gateway

Prima di aggiungere un servizio di modello Unity Gateway come risorsa, esamina i prerequisiti delle risorse dell'app.

1. Nella sezione risorse dell'app, quando crei o modifichi un'app, fai clic su + Aggiungi risorsa>Modello.
2. Nel selezionatore di risorse, seleziona un servizio modello dalla sezione Unity Gateway . Il picker elenca anche endpoint di servizio personalizzati sotto una sezione Endpoint di servizio . Per collegare uno di questi endpoint, vedi Aggiungi una risorsa endpoint di serving del modello a un'app Databricks. Per utilizzare un modello fondazionale pay-per-token, seleziona un servizio modello dal catalogo system.ai.
3. Selezionare il livello di autorizzazione per l'app:
   • Può eseguire: Concede al principale del servizio dell'app il EXECUTE privilegio di inviare richieste di inferenza al servizio di modello. Questo è l'unico livello di autorizzazione disponibile per un servizio di modelli.
4. (Opzionale) Specifica una chiave di risorsa personalizzata, che è il modo in cui fai riferimento al servizio modello nella configurazione della tua app. La chiave predefinita è model.

Configura con Databricks Asset Bundles

Se definisci la tua app usando Declarative Automation Bundles, aggiungi il servizio modello come uc_securable risorsa nella configurazione del bundle:

resources:
  apps:
    my_app:
      name: 'my-app'
      source_code_path: ./app
      resources:
        - name: 'model'
          uc_securable:
            securable_full_name: '<catalog>.<schema>.<model_service>'
            securable_type: 'MODEL_SERVICE'
            permission: 'EXECUTE'

Per informazioni sulle risorse dell'app nei Declarative Automation Bundles, consulta app.resources.

Variabili di ambiente

Quando distribuisci un'app con una risorsa del servizio modello Unity Gateway, Azure Databricks espone il nome completo in tre parti del servizio modello in Unity Catalog tramite variabili di ambiente a cui puoi fare riferimento tramite il campo valueFrom.

Configurazione di esempio:

env:
  - name: MODEL_SERVICE_NAME
    valueFrom: model # Use your custom resource key if you set one

Il campo valueFrom si risolve nel nome completo in tre parti di Unity Catalog del servizio modello (ad esempio, system.ai.databricks-dbrx-instruct). Usa questo nome quando chiami il servizio del modello tramite Azure Databricks SDK o l'API REST di Unity Gateway.

Per altre informazioni, vedere Usare le variabili di ambiente per accedere alle risorse.

Rimuovi una risorsa di servizio modello Unity Gateway

Quando rimuovi una risorsa di servizio modello Unity Gateway da un'app, il principale del servizio dell'app perde il EXECUTE privilegio sul servizio modello. Il servizio modello stesso rimane invariato e continua a essere disponibile per altri utenti e applicazioni che hanno i permessi appropriati.

Procedure consigliate

Considera quanto segue quando lavori con le risorse del servizio modello Unity Gateway:

• EXECUTE è l'unico livello di permesso disponibile. Consente all'app l'accesso per inviare richieste di inferenza e non concede privilegi amministrativi sul servizio modello.
• Per utilizzare modelli di fondazione pay-per-token senza configurazioni aggiuntive, seleziona un servizio modello dal system.ai catalogo.
• La variabile ambiente si risolve nel nome completo del Catalogo Unity in tre parti (catalog.schema.model_service). Usa questo valore quando chiami il servizio modello tramite l'Azure Databricks SDK o l'API REST.
• Gestisci errori di inferenza e limiti di velocità nel codice dell'app. Unity Gateway applica i limiti di frequenza e i guardrail configurati su ogni servizio modello.
• Il selezionatore risorse Model elenca anche i classici endpoint di serving del modello, raggruppati sotto una sezione Serving Endpoints. I servizi modello e gli endpoint di servizio possono coesistere nella stessa app.