Configurare i repository di pacchetti Python predefiniti

Importante

La configurazione dei repository di pacchetti Python predefiniti per le pipeline dichiarative di Lakeflow Spark è disponibile in anteprima pubblica. Gli amministratori dell'area di lavoro possono controllare l'accesso a questa funzionalità dalla pagina Anteprime .

Gli amministratori dell'area di lavoro possono configurare repository di pacchetti privati o autenticati all'interno di aree di lavoro come configurazione pip predefinita per notebook, processi e pipeline dichiarative di Lakeflow Spark.

Se un'area di lavoro è configurata con un repository di pacchetti Python predefinito, gli utenti nell'area di lavoro potranno installare pacchetti da repository Python interni senza definire index-url in modo esplicito o extra-index-url valori. Tuttavia, se questi valori vengono specificati nel codice o in un notebook, hanno la precedenza sulle impostazioni predefinite dell'area di lavoro.

Questa configurazione sfrutta segreti di Databricks per archiviare e gestire in modo sicuro GLI URL e le credenziali del repository. Gli amministratori dell'area di lavoro possono configurare la configurazione usando la pagina delle impostazioni di amministrazione dell'area di lavoro o usando un ambito segreto predefinito e i comandi segreti dell'interfaccia della riga di comando di Databricks o l'API REST.

Configurare le dipendenze predefinite per un'area di lavoro

Gli amministratori dell'area di lavoro possono aggiungere o rimuovere i repository predefiniti dei pacchetti Python usando la pagina delle impostazioni di amministrazione dell'area di lavoro.

1. Come amministratore dell'area di lavoro, accedere all'area di lavoro di Databricks.
2. Fare clic sul nome utente nella barra superiore dell'area di lavoro Databricks e selezionare Impostazioni.
3. Fare clic sulla scheda calcolo.
4. Accanto a Repository dei pacchetti predefiniti, fare clic su Gestisci.
5. (Facoltativo) Aggiungere o rimuovere un URL di indice, URL di indice aggiuntivi o un certificato SSL personalizzato.
6. Fare clic su Salva per salvare le modifiche.

Annotazioni

Le modifiche o le eliminazioni ai segreti vengono applicate in modo diverso a seconda del tipo di carico di lavoro. Per i notebook e i processi serverless, le modifiche vengono applicate dopo aver ricollegato la risorsa di calcolo al notebook o rieseguire il processo. Per i notebook e i processi classici, le modifiche vengono applicate dopo il riavvio della risorsa di calcolo. Per le pipeline dichiarative di Lakeflow Spark, le modifiche vengono applicate alle nuove esecuzioni della pipeline.

Configurazione utilizzando la CLI dei segreti o l'API REST

Per configurare i repository di pacchetti Python predefiniti usando l'interfaccia della riga di comando o l'API REST, creare un ambito segreto predefinito e configurare le autorizzazioni di accesso, quindi aggiungere i segreti del repository di pacchetti.

Nome dell'ambito del segreto predefinito

Gli amministratori dell'area di lavoro possono impostare URL di indice PIP predefiniti o URL di indice aggiuntivi insieme ai token di autenticazione e ai segreti in un ambito segreto designato in chiavi predefinite:

• Nome dell'ambito segreto: databricks-package-management
• Chiave segreta per index-url: pip-index-url
• Chiave segreta per URL extra-indice: pip-extra-index-urls
• Chiave privata per il contenuto della certificazione SSL: pip-cert

Creare l'ambito segreto

È possibile creare un ambito di segreti usando i comandi segreti della CLI di Databricks o l'API REST . Dopo aver creato l'ambito riservato, configurare gli elenchi di controllo di accesso per concedere a tutti gli utenti dell'area di lavoro l'accesso in lettura. In questo modo il repository rimane sicuro e non può essere modificato dai singoli utenti. L'ambito segreto deve usare il nome dell'ambito segreto predefinito databricks-package-management.

databricks secrets create-scope databricks-package-management
databricks secrets put-acl databricks-package-management admins MANAGE
databricks secrets put-acl databricks-package-management users READ

Aggiungi i segreti del repository dei pacchetti Python

Aggiungere i dettagli del repository di pacchetti Python usando i nomi di chiave segreta predefiniti, con tutti e tre i campi facoltativi.

# Add index URL.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-index-url", "string_value":"<index-url-value>"}'

# Add extra index URLs. If you have multiple extra index URLs, separate them using white space.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-extra-index-urls", "string_value":"<extra-index-url-1 extra-index-url-2>"}'

# Add cert content. If you want to pip configure a custom SSL certificate, put the cert file content here.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-cert", "string_value":"<cert-content>"}'

Annotazioni

Se il repository richiede un nome utente e una password, usare il formato seguente per index-url: https://<username>:<password>@<index_url>

Modificare o eliminare le credenziali del repository privato PyPI

Per modificare i segreti del repository PyPI, usare il put-secret comando . Per eliminare i segreti del repository PyPI, usare delete-secret come illustrato di seguito:

# delete secret
databricks secrets delete-secret databricks-package-management pip-index-url

databricks secrets delete-secret databricks-package-management pip-extra-index-urls

databricks secrets delete-secret databricks-package-management pip-cert

# delete scope
databricks secrets delete-scope databricks-package-management