Teilen über


serving-endpoints Befehlsgruppe

Note

Diese Informationen gelten für Databricks CLI-Versionen 0.205 und höher. Die Databricks CLI befindet sich in der öffentlichen Vorschau.

Die Verwendung von Databricks CLI unterliegt der Datenbricks-Lizenz - und Databricks-Datenschutzerklärung, einschließlich der Bestimmungen zu Nutzungsdaten.

Mit der serving-endpoints Befehlsgruppe in der Databricks CLI können Sie Modellbereitstellungsendpunkte erstellen, aktualisieren und löschen. Siehe Verwalten des Modells, das Endpunkte bedient.

Databricks-Dienend-Endpunkte Build-Logs

Rufen Sie die Buildprotokolle ab, die dem bereitgestellten Modell zugeordnet sind.

databricks serving-endpoints build-logs NAME SERVED_MODEL_NAME [flags]

Arguments

NAME

    Der Name des bereitstellenden Endpunkts, zu dem das bereitgestellte Modell gehört. Dieses Feld ist erforderlich.

SERVED_MODEL_NAME

    Der Name des relevanten Modells, für das Buildprotokolle abgerufen werden. Dieses Feld ist erforderlich.

Options

Globale Kennzeichnungen

Databricks-Bereitstellungsendpunkte erstellen

Erstellen Sie einen neuen Dienstendpunkt.

databricks serving-endpoints create NAME [flags]

Arguments

NAME

    Der Name des Bereitstellungsendpunkts Dieses Feld ist erforderlich und muss in einem Databricks-Arbeitsbereich eindeutig sein. Ein Endpunktname kann aus alphanumerischen Zeichen, Gedankenstrichen und Unterstrichen bestehen.

Options

--budget-policy-id string

    Die Budgetrichtlinie für den Serving-Endpunkt.

--json JSON

    Die Inline-JSON-Zeichenfolge oder der @path zur JSON-Datei mit dem Anforderungstext.

--no-wait

    Warten Sie nicht, bis der Zustand "NOT_UPDATING" erreicht ist.

--route-optimized

    Aktivieren Sie die Routenoptimierung für den Dienstendpunkt.

--timeout duration

    maximale Zeitspanne, um NOT_UPDATING Zustand zu erreichen (Standard 20m0s)

Globale Kennzeichnungen

databricks serving-endpoints delete

Löschen eines Dienstendpunkts.

databricks serving-endpoints delete NAME [flags]

Arguments

NAME

    Der Name des zu löschenden Dienstendpunkts.

Options

Globale Kennzeichnungen

databricks Serving-Endpunkte Exportmetriken

Rufen Sie die Metriken ab, die dem bereitgestellten Bereitstellungsendpunkt im Prometheus- oder OpenMetrics-Expositionsformat zugeordnet sind.

databricks serving-endpoints export-metrics NAME [flags]

Arguments

NAME

    Der Name des bereitgestellten Endpunkts, für den Metriken abgerufen werden sollen. Dieses Feld ist erforderlich.

Options

Globale Kennzeichnungen

Databricks-Dienste-Endpunkte abrufen

Rufen Sie die Details für einen einzelnen Dienstendpunkt ab.

databricks serving-endpoints get NAME [flags]

Arguments

NAME

    Der Name des Bereitstellungsendpunkts Dieses Feld ist erforderlich.

Options

Globale Kennzeichnungen

databricks serving-endpoints get-open-api

Rufen Sie das Abfrageschema des dienstenden Endpunkts im OpenAPI-Format ab. Das Schema enthält Informationen zu den unterstützten Pfaden, Eingabe- und Ausgabeformaten und Datentypen.

databricks serving-endpoints get-open-api NAME [flags]

Arguments

NAME

    Der Name des bereitstellenden Endpunkts, zu dem das bereitgestellte Modell gehört. Dieses Feld ist erforderlich.

Options

Globale Kennzeichnungen

Databricks-Liste von Dienstendpunkten

Rufen Sie alle bereitstellenden Endpunkte ab.

databricks serving-endpoints list [flags]

Arguments

None

Options

Globale Kennzeichnungen

Protokolle für Databricks Serving-Endpunkte

Rufen Sie die Dienstprotokolle ab, die dem bereitgestellten Modell zugeordnet sind.

databricks serving-endpoints logs NAME SERVED_MODEL_NAME [flags]

Arguments

NAME

    Der Name des bereitstellenden Endpunkts, zu dem das bereitgestellte Modell gehört. Dieses Feld ist erforderlich.

SERVED_MODEL_NAME

    Der Name des bereitgestellten Modells, für das Protokolle abgerufen werden. Dieses Feld ist erforderlich.

Options

Globale Kennzeichnungen

Databricks-Patch für Dienstedpunkte

Hinzufügen und Löschen von Tags eines bereitzustellenden Endpunkts.

databricks serving-endpoints patch NAME [flags]

Arguments

NAME

    Der Name des Serving-Endpunkts, dessen Tags gepatcht werden sollen. Dieses Feld ist erforderlich.

Options

--json JSON

    Die Inline-JSON-Zeichenfolge oder der @path zur JSON-Datei mit dem Anforderungstext.

Globale Kennzeichnungen

databricks serving-endpoints put

Aktualisieren Sie die Ratenbeschränkungen eines Dienstendpunkts.

Note

Veraltet: Verwenden Sie stattdessen AI Gateway, um Rate-Limits zu verwalten.

databricks serving-endpoints put NAME [flags]

Arguments

NAME

    Der Name des Serving-Endpunkts, dessen Ratenlimits aktualisiert werden. Dieses Feld ist erforderlich.

Options

--json JSON

    Die Inline-JSON-Zeichenfolge oder der @path zur JSON-Datei mit dem Anforderungstext.

Globale Kennzeichnungen

databricks serving-endpoints put-ai-gateway

Aktualisieren Sie das AI-Gateway eines bereitgestellten Endpunkts. Externes Modell, bereitgestellter Durchsatz und Pay-per-Token-Endpunkte werden vollständig unterstützt; Agentendpunkte unterstützen derzeit nur Rückschlusstabellen.

databricks serving-endpoints put-ai-gateway NAME [flags]

Arguments

NAME

    Der Name des Endpunkts, dessen AI-Gateway aktualisiert wird. Dieses Feld ist erforderlich.

Options

--json JSON

    Die Inline-JSON-Zeichenfolge oder der @path zur JSON-Datei mit dem Anforderungstext.

Globale Kennzeichnungen

Abfrage von Databricks-Bereitstellungsendpunkten

Einen Serving-Endpoint abfragen.

databricks serving-endpoints query NAME [flags]

Arguments

NAME

    Der Name des Bereitstellungsendpunkts Dieses Feld ist erforderlich.

Options

--json JSON

    Die Inline-JSON-Zeichenfolge oder der @path zur JSON-Datei mit dem Anforderungstext.

--max-tokens int

    Das Feld "Max Token", das nur für Abschlusse und das externe Und Foundation-Modell verwendet wird, das Endpunkte bedient.

--n int

    Das Feld "n" (Anzahl der Kandidaten) wird NUR für Abschlusse und das externe & Foundation-Modell verwendet, das Endpunkte bedient.

--stream

    Das Datenstromfeld, das nur für Vervollständigungen und Chat-Externer & Foundation-Modell verwendet wird, um Endpunkte zu bedienen.

--temperature float

    Das Temperaturfeld, das NUR für Abschlusse und das externe & Foundation-Modell verwendet wird, das Endpunkte bedient.

Globale Kennzeichnungen

databricks-Dienste-Endpunkte Konfiguration aktualisieren

Aktualisieren Sie eine beliebige Kombination der bereitgestellten Entitäten des Endpunkts, die Computerkonfiguration dieser Entitäten und die Datenverkehrskonfiguration des Endpunkts. Ein Endpunkt, bei dem bereits ein Update läuft, kann erst aktualisiert werden, wenn das aktuelle Update abgeschlossen ist oder fehlschlägt.

databricks serving-endpoints update-config NAME [flags]

Arguments

NAME

    Der Name des zu aktualisierenden Serving-Endpunkts. Dieses Feld ist erforderlich.

Options

--json JSON

    Die Inline-JSON-Zeichenfolge oder der @path zur JSON-Datei mit dem Anforderungstext.

--no-wait

    Warten Sie nicht, bis der Zustand "NOT_UPDATING" erreicht ist.

--timeout duration

    maximale Zeitspanne, um NOT_UPDATING Zustand zu erreichen (Standard 20m0s)

Globale Kennzeichnungen

Databricks Serving-Endpunkte Berechtigungsstufen abrufen

Ruft die Berechtigungsebenen für den Serving-Endpunkt ab.

databricks serving-endpoints get-permission-levels SERVING_ENDPOINT_ID [flags]

Arguments

SERVING_ENDPOINT_ID

    Der Dienstendpunkt, für den Berechtigungen abgerufen oder verwaltet werden sollen.

Options

Globale Kennzeichnungen

Berechtigungen für Databricks-Dienstendpunkte abrufen

Abrufen von Berechtigungen für den Serving-Endpunkt.

Ruft die Berechtigungen eines Serving-Endpunkts ab. Die Bedienung von Endpunkten kann Berechtigungen von ihrem Stammobjekt erben.

databricks serving-endpoints get-permissions SERVING_ENDPOINT_ID [flags]

Arguments

SERVING_ENDPOINT_ID

    Der Dienstendpunkt, für den Berechtigungen abgerufen oder verwaltet werden sollen.

Options

Globale Kennzeichnungen

Berechtigungen für Databricks-Servierende-Endpunkte festlegen

Legen Sie die Bereitstellung von Endpunktberechtigungen fest.

databricks serving-endpoints set-permissions SERVING_ENDPOINT_ID [flags]

Arguments

SERVING_ENDPOINT_ID

    Der Dienstendpunkt, für den Berechtigungen abgerufen oder verwaltet werden sollen.

Options

--json JSON

    Die Inline-JSON-Zeichenfolge oder der @path zur JSON-Datei mit dem Anforderungstext.

Globale Kennzeichnungen

Databricks-Dienstendpunkte Updateberechtigungen

Aktualisieren Sie die Berechtigungen für einen Dienstendpunkt. Die Bedienung von Endpunkten kann Berechtigungen von ihrem Stammobjekt erben.

databricks serving-endpoints update-permissions SERVING_ENDPOINT_ID [flags]

Arguments

SERVING_ENDPOINT_ID

    Der Dienstendpunkt, für den Berechtigungen abgerufen oder verwaltet werden sollen.

Options

--json JSON

    Die Inline-JSON-Zeichenfolge oder der @path zur JSON-Datei mit dem Anforderungstext.

Globale Kennzeichnungen

Globale Kennzeichnungen

--debug

  Gibt an, ob die Debugprotokollierung aktiviert werden soll.

-h oder --help

    Hilfe für die Databricks CLI oder die zugehörige Befehlsgruppe oder den zugehörigen Befehl anzeigen.

--log-file Schnur

    Eine Zeichenfolge, die die Datei darstellt, in die Ausgabeprotokolle geschrieben werden sollen. Wenn dieses Flag nicht angegeben ist, werden Ausgabeprotokolle standardmäßig in stderr geschrieben.

--log-format Format

    Der Protokollformattyp text oder json. Der Standardwert ist text.

--log-level Schnur

    Eine Zeichenfolge, die die Protokollformatebene darstellt. Wenn nicht angegeben, ist die Protokollformatebene deaktiviert.

-o, --output Typ

    Der Befehlsausgabetyp text oder json. Der Standardwert ist text.

-p, --profile Schnur

    Der Name des Profils in der ~/.databrickscfg Datei, das zum Ausführen des Befehls verwendet werden soll. Wenn dieses Flag nicht angegeben ist, aber existiert, wird das Profil DEFAULT verwendet.

--progress-format Format

    Das Format zum Anzeigen von Statusprotokollen: default, , append, inplaceoder json

-t, --target Schnur

    Falls zutreffend, das zu verwendende Bündelziel