Správa závislostí pro aplikaci Databricks

Každá aplikace Databricks může obsahovat závislosti pro Python, Node.jsnebo obojí. Tyto závislosti definujete v souborech specifických pro jazyk:

• requirements.txt Pomocí souboru můžete zadat další balíčky Pythonu.
• package.json K určení balíčkůNode.js použijte soubor.

Každá aplikace má také předinstalovanou sadu knihoven Pythonu. Viz předinstalované knihovny Pythonu.

Definování závislostí Pythonu

Pro definování dalších knihoven Pythonu použijte soubor requirements.txt. Pokud některé uvedené balíčky odpovídají předinstalovaným, verze ve vašem souboru nahradí výchozí.

Například:

# Override default version of dash
dash==2.10.0

# Add additional libraries not pre-installed
requests==2.31.0
numpy==1.24.3

# Specify a compatible version range
scikit-learn>=1.2.0,<1.3.0

Vyhněte se konfliktům verzí

Při definování závislostí mějte na paměti následující skutečnosti:

• Přepsání předinstalovaných balíčků může způsobit problémy s kompatibilitou, pokud se zadaná verze výrazně liší od předinstalované verze.
• Vždy otestujte aplikaci, abyste měli jistotu, že změny verze balíčku nezavádějí chyby.
• Připnutí explicitních verzí requirements.txt pomáhá udržovat konzistentní chování aplikace napříč nasazeními.

Definování závislostí Node.js

Pokud chcete definovat Node.js knihovny, zahrňte package.json soubor do kořenového adresáře aplikace. Během nasazování Azure Databricks zjistí tento soubor a spustí npm install pro instalaci všech závislostí uvedených v tomto souboru.

Například package.json soubor aplikace React používající Vite může vypadat takto:

{
  "name": "react-fastapi-app",
  "version": "1.0.0",
  "private": true,
  "type": "module",
  "scripts": {
    "build": "npm run build:frontend",
    "build:frontend": "vite build frontend"
  },
  "dependencies": {
    "react": "^18.2.0",
    "react-dom": "^18.2.0",
    "typescript": "^5.0.0",
    "vite": "^5.0.0",
    "@vitejs/plugin-react": "^4.2.0",
    "@types/react": "^18.2.0",
    "@types/react-dom": "^18.2.0"
  }
}

Poznámka:

Uveďte všechny balíčky vyžadované pro npm run build pod dependencies, nikoli pod devDependencies. Pokud nastavíte NODE_ENV=production v proměnných prostředí, proces nasazení přeskočí instalaci devDependencies.

Instalace a správa závislostí

Knihovny definované v requirements.txt a package.json jsou instalovány přímo na kontejner, který běží na vašem vyhrazeném výpočetním prostředí. Zodpovídáte za správu a opravy těchto závislostí.

V souborech závislostí můžete zadat knihovny z více zdrojů:

• Knihovny stažené z veřejných úložišť, jako je PyPI a npm
• Privátní úložiště, která se ověřují pomocí přihlašovacích údajů uložených v tajných klíčích Azure Databricks
• Knihovny uložené v /Volumes/ adresáři (například /Volumes/<catalog>/<schema>/<volume>/<path>)

Instalace z privátních úložišť

Pokud chcete instalovat balíčky z privátního úložiště, nakonfigurujte proměnné prostředí pro ověřování. Například nastavte PIP_INDEX_URL odkaz na privátní úložiště:

env:
  - name: PIP_INDEX_URL
    valueFrom: my-pypi-secret

Konfigurace sítě pracovního prostoru musí umožňovat přístup k privátnímu úložišti. Viz Konfigurace sítí pro Databricks Apps.

Instalace souborů kol ze svazků katalogu Unity

Instalace balíčků Pythonu ze souborů ve formátu Wheel uložených ve svazcích Unity Katalogu:

1. Přidejte do aplikace katalog Unity svazek jako zdroj. Viz svazek katalogu Unity.
2. Odkazujte přímo na plnou cestu k wheel souboru ve vašem requirements.txt:

/Volumes/<catalog>/<schema>/<volume>/my_package-1.0.0-py3-none-any.whl

Poznámka:

Odkazy na proměnné prostředí nejsou podporovány v requirements.txt. Musíte pevně zakódovat úplnou cestu k souboru kolečka.

Pokud chcete zvýšit zabezpečení při přístupu k externím úložištím balíčků, použijte ovládací prvky výchozího přenosu dat bez serveru, abyste omezili přístup k veřejným úložištím a nakonfigurovali privátní sítě. Viz Konfigurace sítí pro Databricks Apps.