Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Note
Questa pagina descrive il flusso di lavoro legacy basato su endpoint Model Serveing. Per trovare e interrogare i modelli tramite Unity Gateway, consulta i modelli disponibili e i servizi di query model.
modelli di base di Access ospitati all'esterno di Databricks
I modelli di base creati dai provider LLM, ad esempio OpenAI e Anthropic, sono accessibili anche in Databricks usando modelli esterni. Questi modelli sono ospitati all'esterno di Databricks ed è possibile creare un endpoint per eseguirne query. Questi endpoint possono essere regolati centralmente da Azure Databricks, semplificando l'uso e la gestione di vari provider LLM all'interno dell'organizzazione.
La tabella seguente presenta un elenco non completo dei modelli supportati e dei tipi di endpoint corrispondenti. Puoi utilizzare le associazioni di modelli elencate per aiutarti a configurare un endpoint per qualsiasi tipo di modello appena rilasciato non appena diventano disponibili con un determinato fornitore. I clienti sono tenuti a garantire la conformità con i modelli di licenza applicabili.
Note
Con lo sviluppo rapido di LLMs, non c'è alcuna garanzia che questo elenco sia sempre aggiornato. Le nuove versioni del modello dello stesso provider sono in genere supportate anche se non sono presenti nell'elenco.
| Fornitore di modelli | llm/v1/completions | llm/v1/chat | llm/v1/incorporamenti |
|---|---|---|---|
| OpenAI** |
|
|
|
| Azure OpenAI** |
|
|
|
| Anthropic |
|
|
|
| Cohere** |
|
|
|
| Gestione dei modelli | Databricks che gestisce l'endpoint | Databricks che gestisce l'endpoint | Databricks che gestisce l'endpoint |
| Substrato roccioso amazzonico | Antropico:
Cohere:
Laboratori AI21:
|
Antropico:
Cohere:
Amazon
|
Amazon
Cohere:
|
AI21 Labs† |
|
||
| Google Cloud Vertex AI, piattaforma di machine learning di Google. | text-bison |
|
|
Il provider di modelli ** supporta modelli affinati per il completamento e la chat. Per eseguire query su un modello ottimizzato, popolare il campo name della configurazione external model con il nome del modello ottimizzato.
† Il fornitore del modello supporta i modelli di completamento personalizzati.
Creare endpoint di servizio per il modello di base
Per eseguire query e usare modelli di base nelle applicazioni di intelligenza artificiale, è prima necessario creare un endpoint di gestione del modello. Model Serving usa un'API unificata e un'interfaccia utente per la creazione e l'aggiornamento dei modelli di base che servono gli endpoint.
- Per creare un endpoint che serva varianti ottimizzate dei modelli foundation resi disponibili utilizzando l'allocazione di throughput delle API dei modelli foundation, vedere Creare l'endpoint dell'allocazione di throughput utilizzando l'API REST.
- Per la creazione di endpoint che accedono ai modelli di base resi disponibili tramite l'offerta Modelli esterni, vedere Creare un endpoint di gestione di modelli esterni.
Modello di base di query che gestisce gli endpoint
Dopo aver creato l'endpoint di servizio, è possibile eseguire query sul modello di base. Model Serving usa un'API e un SDK compatibili con OpenAI unificati per l'esecuzione di query sui modelli di base. Questa esperienza unificata semplifica l'esperimento e la personalizzazione dei modelli di base per la produzione in cloud e provider supportati.
Vedere Usare i modelli di base.