Databricks uygulaması için bağımlılıkları yönetme

Her Databricks uygulaması Python, Node.jsveya her ikisi için bağımlılıklar içerebilir. Bu bağımlılıkları dile özgü dosyalarda tanımlarsınız:

• Ek requirements.txt paketleri belirtmek için bir dosya kullanın.
• package.json paketleri belirtmek için bir dosya kullanın.

Her uygulama ayrıca önceden yüklenmiş bir Python kitaplıkları kümesiyle birlikte gelir. Bkz. Önceden yüklenmiş Python kitaplıkları.

Python bağımlılıklarını tanımlama

Ek Python kitaplıkları tanımlamak için bir requirements.txt dosya kullanın. Listelenen paketler önceden yüklenmiş paketlerle eşleşiyorsa, dosyanızdaki sürümler varsayılan değerleri geçersiz kılar.

Örneğin:

# Override default version of dash
dash==2.10.0

# Add additional libraries not pre-installed
requests==2.31.0
numpy==1.24.3

# Specify a compatible version range
scikit-learn>=1.2.0,<1.3.0

Sürüm çakışmalarını önleme

Bağımlılıkları tanımlarken aşağıdakileri göz önünde bulundurun:

• Önceden yüklenmiş paketleri geçersiz kılma, belirtilen sürümünüz önceden yüklenmiş olandan önemli ölçüde farklıysa uyumluluk sorunlarına neden olabilir.
• Paket sürümü değişikliklerinin hatalara neden olmadığından emin olmak için uygulamanızı her zaman test edin.
• requirements.txt içindeki açık sürümleri sabitlemek, dağıtımlar arasında uygulama davranışının tutarlılığını korumaya yardımcı olur.

Node.js bağımlılıkları tanımlama

Node.js kitaplıkları tanımlamak için uygulamanızın köküne bir package.json dosya ekleyin. Dağıtım sırasında Azure Databricks bu dosyayı algılar ve içinde listelenen tüm bağımlılıkları yüklemek için çalışır npm install .

Örneğin, Vite kullanan react uygulamasına yönelik bir package.json dosya aşağıdaki gibi görünebilir:

{
  "name": "react-fastapi-app",
  "version": "1.0.0",
  "private": true,
  "type": "module",
  "scripts": {
    "build": "npm run build:frontend",
    "build:frontend": "vite build frontend"
  },
  "dependencies": {
    "react": "^18.2.0",
    "react-dom": "^18.2.0",
    "typescript": "^5.0.0",
    "vite": "^5.0.0",
    "@vitejs/plugin-react": "^4.2.0",
    "@types/react": "^18.2.0",
    "@types/react-dom": "^18.2.0"
  }
}

Uyarı

npm run build için dependencies altında gereken tüm paketleri listeleyin, devDependencies değil. Ortam değişkenlerinizde ayarlarsanız NODE_ENV=production , dağıtım işlemi yükleme devDependenciesişlemini atlar.

Bağımlılık yükleme ve yönetimi

içinde requirements.txt ve package.json tanımlanan kitaplıklar, doğrudan sizin ayrılmış işlem üzerinde çalışan bir kapsayıcıya kuruludur. Bu bağımlılıkları yönetmek ve düzeltme eki uygulamaktan siz sorumlusunuz.

Bağımlılık dosyalarınızda birden çok kaynaktan kitaplık belirtebilirsiniz:

• PyPI ve npm gibi genel depolardan indirilen kitaplıklar
• Azure Databricks gizli dizilerinde depolanan kimlik bilgilerini kullanarak kimlik doğrulaması sağlayan özel depolar
• Dizininizde /Volumes/ depolanan kitaplıklar (örneğin, /Volumes/<catalog>/<schema>/<volume>/<path>)

Özel depolardan yükleme

Paketleri özel bir depodan yüklemek için ortam değişkenlerini kimlik doğrulaması için yapılandırın. Örneğin, PIP_INDEX_URL özel deponuza işaret edecek şekilde ayarlayın.

env:
  - name: PIP_INDEX_URL
    valueFrom: my-pypi-secret

Çalışma alanı ağ yapılandırmanız özel depoya erişime izin vermelidir. Bkz . Databricks Uygulamaları için ağı yapılandırma.

Unity Kataloğu birimlerinden tekerlek dosyalarını yükleme

Unity Kataloğu birimlerinde depolanan tekerlek dosyalarından Python paketlerini yüklemek için:

1. Unity Kataloğu birimini uygulamanıza kaynak olarak ekleyin. Bkz Unity Kataloğu Birimi.
2. Doğrudan içinde requirements.txttam tekerlek dosyası yoluna başvurun:

/Volumes/<catalog>/<schema>/<volume>/my_package-1.0.0-py3-none-any.whl

Uyarı

Ortam değişkeni başvuruları içinde requirements.txtdesteklenmez. Tam tekerlek dosya yolunu sabit kodlamanız gerekir.

Dış paket depolarına erişirken güvenliği artırmak için, genel depolara erişimi kısıtlamak ve özel ağ yapılandırmak için sunucusuz çıkış denetimlerini kullanın. Bkz . Databricks Uygulamaları için ağı yapılandırma.