Configurer les référentiels de package par défaut

Important

La configuration des référentiels de packages par défaut Python est généralement disponible pour les notebooks et travaux serverless. Pour les pipelines Lakeflow et les ressources de calcul classiques créées via l’interface utilisateur et l’API, le service est en préversion publique. Pour Databricks Apps, il est en version bêta. Les administrateurs d’espace de travail peuvent contrôler l’accès à ces fonctionnalités à partir de la page Aperçus en activant les aperçus suivants :

• Dépôts de paquets Python par défaut dans Spark Declarative Pipelines (préversion publique)
• Référentiels de packages par défaut Python dans les clusters créés via l’API (préversion publique)
• Référentiels de packages Python par défaut dans les clusters créés via l’interface utilisateur (préversion publique)
• Activer la configuration du dépôt de l’espace de travail pour Databricks Apps (Beta)

Les administrateurs d’espace de travail peuvent configurer des référentiels de package privés ou authentifiés dans des espaces de travail en tant que référentiels de package par défaut pour les notebooks, les travaux, les pipelines Lakeflow et Databricks Apps. Les référentiels Python s’appliquent à toutes ces charges de travail, mais les registres npm s’appliquent uniquement à Databricks Apps.

Si un espace de travail est configuré avec un référentiel de packages par défaut, les utilisateurs de cet espace de travail peuvent installer des packages à partir de référentiels internes sans définir explicitement les valeurs index-url ou extra-index-url pour Python, ni un registre npm. Si ces valeurs sont spécifiées dans le code, dans un bloc-notes ou dans le fichier d’une app.yaml application, elles sont prioritaires sur les valeurs par défaut de l’espace de travail. Consultez Utiliser les référentiels de package par défaut au niveau de l’espace de travail pour connaître le fonctionnement de la priorité pour Databricks Apps.

Cette configuration utilise les secrets Databricks pour stocker et gérer en toute sécurité les URLs et les identifiants du référentiel. Les administrateurs d’espace de travail peuvent configurer la configuration à l’aide de la page des paramètres d’administration de l’espace de travail ou à l’aide d’une étendue secrète prédéfinie et des commandes de secrets CLI Databricks ou de l’API REST.

Configurer les dépendances par défaut pour un espace de travail

Les administrateurs d’espace de travail peuvent ajouter ou supprimer les référentiels de package par défaut à l’aide de la page des paramètres d’administration de l’espace de travail.

1. En tant qu’administrateur d’espace de travail, connectez-vous à l’espace de travail Databricks.
2. Cliquez sur votre nom d’utilisateur dans la barre supérieure de l’espace de travail Databricks, puis sélectionnez Paramètres.
3. Cliquez sur l’onglet Calcul.
4. À côté de Dépôts de paquets par défaut, cliquez sur Gérer.
5. (Facultatif) Ajoutez ou supprimez une URL d’index Python, des URL d’index supplémentaires, un certificat SSL personnalisé ou une configuration de registre npm.
6. Cliquez sur Enregistrer pour enregistrer les modifications.

Remarque

Les modifications ou suppressions apportées aux secrets sont appliquées différemment en fonction du type de charge de travail. Pour les blocs-notes « serverless » et les travaux, les modifications sont appliquées après avoir rattaché la ressource de calcul au bloc-notes ou en réexécutant le travail. Pour les blocs-notes et les travaux classiques, les modifications sont appliquées après le redémarrage de la ressource de calcul. Pour les pipelines Lakeflow, les modifications sont appliquées lors des nouvelles exécutions du pipeline. Pour Databricks Apps, les modifications sont appliquées la prochaine fois que l’application est générée et déployée.

Configurer à l’aide de l’interface CLI secrète ou de l’API REST

Pour configurer les référentiels de package par défaut à l’aide de l’interface CLI ou de l’API REST, créez une étendue de secret prédéfinie et configurez les autorisations d’accès, puis ajoutez les secrets du référentiel de package.

Nom de l’étendue du secret prédéfini

Les administrateurs d’espace de travail peuvent définir des URL d’index pip par défaut, des URL d’index supplémentaires, un certificat SSL et une configuration npm, ainsi que des jetons d’authentification et des secrets, dans une étendue secrète désignée sous des clés prédéfinies :

• Nom de l’étendue de secrets : databricks-package-management
• Clé secrète pour index-URL : pip-index-url
• Clé secrète pour les URL extra-index : pip-extra-index-urls
• Clé secrète pour le contenu de certification SSL : pip-cert
• Clé secrète pour la configuration npm : npm-rc (Databricks Apps uniquement)

Créer l’étendue du secret

Une zone secrète peut être créée à l'aide de la CLI Databricks commandes secrets ou de l'API REST . Après avoir créé l’étendue du secret, configurez les listes de contrôle d’accès pour accorder à tous les utilisateurs de l’espace de travail un accès en lecture. Cela garantit que le référentiel reste sécurisé et ne peut pas être modifié par des utilisateurs individuels. L’étendue du secret doit utiliser le nom d’étendue du secret prédéfini databricks-package-management.

databricks secrets create-scope databricks-package-management
databricks secrets put-acl databricks-package-management admins MANAGE
databricks secrets put-acl databricks-package-management users READ

Ajouter des secrets du dépôt de paquets

Ajoutez les détails du référentiel de packages à l’aide des noms de clés secrètes prédéfinis. Les référentiels Python s’appliquent aux notebooks, aux tâches, aux pipelines Lakeflow et aux applications Databricks, mais les registres npm s’appliquent uniquement aux applications Databricks.

Python

Ajoutez les détails du référentiel de package Python à l’aide des noms de clés secrètes prédéfinis, avec les trois champs facultatifs.

# Add index URL.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-index-url", "string_value":"<index-url-value>"}'

# Add extra index URLs. If you have multiple extra index URLs, separate them using white space.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-extra-index-urls", "string_value":"<extra-index-url-1 extra-index-url-2>"}'

# Add cert content. If you want to pip configure a custom SSL certificate, put the cert file content here.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-cert", "string_value":"<cert-content>"}'

Remarque

Si votre référentiel nécessite une authentification, utilisez l’un des formats suivants pour l’URL d’index :

• Nom d’utilisateur et mot de passe : https://<username>:<password>@<index_url>
• Jeton: https://<token>@<index_url>

Node.js

Pour Databricks Apps, vous pouvez également configurer un registre npm par défaut afin que les applications installent des packages Node.js, y compris des packages privés, à partir du registre configuré par l’espace de travail. Stockez le contenu complet .npmrc du fichier, y compris l’URL du Registre et tout jeton d’authentification, sous la npm-rc clé secrète :

databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "npm-rc", "string_value":"registry=https://npm.example.com/\n//npm.example.com/:_authToken=<token>\n"}'

Lorsqu'une application dans l'espace de travail est générée, Azure Databricks écrit ce contenu dans le fichier de .npmrc l'application. Pour savoir comment la priorité fonctionne et comment la remplacer pour une application spécifique, consultez Node.js packages.

Modifier ou supprimer des secrets de dépôt de paquets

Pour modifier les secrets du référentiel de packages, utilisez la put-secret commande. Pour supprimer les secrets du référentiel de packages, utilisez delete-secret comme indiqué ci-dessous :

# delete secret
databricks secrets delete-secret databricks-package-management pip-index-url

databricks secrets delete-secret databricks-package-management pip-extra-index-urls

databricks secrets delete-secret databricks-package-management pip-cert

# delete the npm configuration secret (Databricks Apps only)
databricks secrets delete-secret databricks-package-management npm-rc

# delete scope
databricks secrets delete-scope databricks-package-management