Standaardpakketopslagplaatsen configureren

Important

Het configureren van standaard Python-pakketopslagplaatsen is algemeen beschikbaar voor serverloze notebooks en taken. Voor Lakeflow-pijplijnen en voor klassieke compute die via de UI en API is gemaakt, is dit in Public Preview. Voor Databricks-apps is het in bètaversie. Werkruimtebeheerders kunnen de toegang tot deze functies beheren vanaf de pagina Previews door de volgende previews in te schakelen:

  • Standaard Python pakketopslagplaatsen in Spark-declaratieve pijplijnen (openbare preview)
  • Standaard Python pakketopslagplaatsen in clusters die zijn gemaakt via API (openbare preview)
  • Standaard Python pakketopslagplaatsen in clusters die zijn gemaakt via de gebruikersinterface (openbare preview)
  • Repo-configuratie voor werkruimte inschakelen voor Databricks-apps (bèta)

Werkruimtebeheerders kunnen privé- of geverifieerde pakketopslagplaatsen in werkruimten configureren als de standaardpakketopslagplaatsen voor notebooks, taken, Lakeflow-pijplijnen en Databricks-apps. Python opslagplaatsen zijn alleen van toepassing op al deze workloads, maar npm-registers zijn alleen van toepassing op Databricks-apps.

Als een werkruimte is geconfigureerd met een standaardpakketopslagplaats, kunnen gebruikers in de werkruimte pakketten installeren vanuit interne opslagplaatsen zonder expliciet waarden voor Python of een register voor npm te definiërenindex-url.extra-index-url Als deze waarden zijn opgegeven in code, in een notebook of in het bestand van app.yaml een app, hebben ze voorrang op de standaardwaarden van de werkruimte. Zie Standaardpakketopslagplaatsen op werkruimteniveau gebruiken voor hoe prioriteit werkt voor Databricks-apps.

Deze configuratie maakt gebruik van Databricks-geheimen om url's en referenties van opslagplaatsen veilig op te slaan en te beheren. Werkruimtebeheerders kunnen de installatie configureren met behulp van de pagina met instellingen voor de werkruimtebeheerder of met behulp van een vooraf gedefinieerd geheim bereik en de opdrachten voor Databricks CLI-geheimen of de REST API.

Standaardafhankelijkheden instellen voor een werkruimte

Werkruimtebeheerders kunnen de standaardpakketopslagplaatsen toevoegen of verwijderen met behulp van de pagina met werkruimtebeheerdersinstellingen.

  1. Meld u als werkruimtebeheerder aan bij de Databricks-werkruimte.
  2. Klik op uw gebruikersnaam in de bovenste balk van de Databricks-werkruimte en selecteer Instellingen.
  3. Klik op het tabblad Compute.
  4. Naast Standaardpakketopslagplaatsen, klik op Beheren.
  5. (Optioneel) Een Python index-URL, extra index-URL's, een aangepast SSL-certificaat of een npm-registerconfiguratie toevoegen of verwijderen.
  6. Klik op Opslaan om de wijzigingen op te slaan.

Opmerking

Wijzigingen of verwijderingen in geheimen worden anders toegepast, afhankelijk van het workloadtype. Voor serverloze notebooks en taken worden wijzigingen toegepast na het opnieuw koppelen van de rekenresource aan het notebook of het opnieuw uitvoeren van de taak. Voor klassieke notebooks en taken worden wijzigingen toegepast nadat de rekenresource opnieuw is opgestart. Voor Lakeflow-pijplijnen worden wijzigingen toegepast op nieuwe pijplijnuitvoeringen. Voor Databricks-apps worden wijzigingen toegepast wanneer de app de volgende keer wordt gebouwd en geïmplementeerd.

Instellen met behulp van de geheimen CLI of REST API

Als u standaardpakketopslagplaatsen wilt configureren met behulp van de CLI of REST API, maakt u een vooraf gedefinieerd geheim bereik en configureert u toegangsmachtigingen en voegt u vervolgens de geheimen van de pakketopslagplaats toe.

Vooraf gedefinieerde naam van geheim bereik

Werkruimtebeheerders kunnen standaard-PIP-index-URL's, extra index-URL's, een SSL-certificaat en een NPM-configuratie instellen, samen met verificatietokens en geheimen, in een aangewezen geheimbereik onder vooraf gedefinieerde sleutels:

  • Naam van geheim bereik: databricks-package-management
  • Geheime sleutel voor index-URL: pip-index-url
  • Geheime sleutel voor extra index-URL's: pip-extra-index-urls
  • Geheime sleutel voor SSL-certificeringsinhoud: pip-cert
  • Geheime sleutel voor npm-configuratie: npm-rc (alleen Databricks-apps)

De geheime scope maken

Een geheim bereik kan worden gemaakt met behulp van de Databricks CLI-geheimenopdrachten of de REST API. Nadat u het geheime bereik hebt gemaakt, configureert u toegangsbeheerlijsten om alle werkruimtegebruikers leestoegang te verlenen. Dit zorgt ervoor dat de opslagplaats veilig blijft en niet kan worden gewijzigd door afzonderlijke gebruikers. Het geheime bereik moet de vooraf gedefinieerde naam van het geheime bereik gebruiken databricks-package-management.

databricks secrets create-scope databricks-package-management
databricks secrets put-acl databricks-package-management admins MANAGE
databricks secrets put-acl databricks-package-management users READ

Geheimen van pakketopslagplaats toevoegen

Voeg pakketopslagplaatsgegevens toe met behulp van de vooraf gedefinieerde geheime sleutelnamen. Python-repositories gelden voor notebooks, jobs, Lakeflow-pijplijnen en Databricks-apps, maar npm-registries gelden alleen voor Databricks-apps.

Python

Voeg de details van de Python-pakketopslagplaats toe met behulp van de vooraf gedefinieerde geheime sleutelnamen, waarbij alle drie de velden optioneel zijn.

# Add index URL.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-index-url", "string_value":"<index-url-value>"}'

# Add extra index URLs. If you have multiple extra index URLs, separate them using white space.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-extra-index-urls", "string_value":"<extra-index-url-1 extra-index-url-2>"}'

# Add cert content. If you want to pip configure a custom SSL certificate, put the cert file content here.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-cert", "string_value":"<cert-content>"}'

Opmerking

Als voor uw opslagplaats verificatie is vereist, gebruikt u een van de volgende indelingen voor de index-URL:

  • Gebruikersnaam en wachtwoord: https://<username>:<password>@<index_url>
  • Token: https://<token>@<index_url>

Node.js

Voor Databricks-apps kunt u ook een standaard npm-register configureren, zodat apps Node.js pakketten, inclusief privépakketten, installeren vanuit het door de werkruimte geconfigureerde register. Sla de volledige .npmrc bestandsinhoud, inclusief de register-URL en een verificatietoken, op onder de npm-rc geheime sleutel:

databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "npm-rc", "string_value":"registry=https://npm.example.com/\n//npm.example.com/:_authToken=<token>\n"}'

Wanneer een app in de werkruimte wordt gebouwd, schrijft Azure Databricks deze inhoud naar het .npmrc-bestand van de app. Zie Node.js pakketten voor hoe prioriteit werkt en hoe u deze overschrijft voor een specifieke app.

Geheimen van pakketopslagplaats wijzigen of verwijderen

Gebruik de put-secret opdracht om geheimen van pakketopslagplaats te wijzigen. Als u geheimen van pakketbronnen wilt verwijderen, gebruikt u delete-secret zoals hieronder weergegeven:

# delete secret
databricks secrets delete-secret databricks-package-management pip-index-url

databricks secrets delete-secret databricks-package-management pip-extra-index-urls

databricks secrets delete-secret databricks-package-management pip-cert

# delete the npm configuration secret (Databricks Apps only)
databricks secrets delete-secret databricks-package-management npm-rc

# delete scope
databricks secrets delete-scope databricks-package-management
  • Last updated on