SSH tüneli kullanarak Databricks'e bağlanma

Önemli

Bu özellik Beta sürümündedir.

Beta'daki özelliklerin maliyeti ve fiyatları değişebilir.

Azure Databricks SSH (Secure Shell) tüneli, Visual Studio Code, Cursor veya terminalinizi Databricks çalışma alanına ve Azure Databricks'in sunucusuz, sunucusuz GPU veya klasik hesaplamaya bağlar. Çalışma alanı dosyalarını düzenlemek ve Python scriptleri ile notebooklarını çalıştırmak veya hata ayıklamak için kullanın; Python ortamınız ve kod çalıştırma işlemi uzak işlem ortamında gerçekleşir. Doğrudan sunucusuz hesaplamaya bağlanın veya özel klasik bir kümeye yeniden kullanılabilir bir SSH bağlantısı kurun.

Gereksinimler

SSH bağlantısını yerel makinenizden başlatın. Tünel başka bir uzak ortamdan veya bir Docker konteynerinden başlatılamaz.

Sunucusuz veya klasik hesaplamaya bağlanmak için şunlara sahip olmanız gerekir:

  • Databricks CLI sürüm 1.5.0 veya üzeri yerel makinenizde yüklü ve kimlik doğrulaması yapılandırılmış. Yüklü sürümünüzü databricks --version ile kontrol edin. Bkz. Databricks CLI'yı yükleme veya güncelleştirme.
  • Aşağıdakilerden biri:
    • Visual Studio Code sürüm 1.110.0 (Evrensel) veya üzeri ve Remote - SSH uzantısı (1.0.46+) yüklü olmalıdır.
    • Cursor sürüm 2.6.11 (Universal) veya üzeri.

Sunucusuz GPU hesaplamasına bağlanmak için AI Çalışma Zamanı özelliğinin etkinleştirilmesi gerekir. Bkz. AI Runtime.

Klasik hesaplama için ek gereksinimler

Klasik (ayrılmış, tek kullanıcılı) işlemlere bağlanmak için:

SSH bağlantısı seçin

İşlem türünüz için bağlantı yöntemini kullanın:

Compute Bağlantı yöntemi Kurulum gereksinimi
Sunucusuz işlem databricks ssh connect Ayrı bir SSH kurulum adımı yok.
Bir IDE başlatmak için --ide vscode veya --ide cursor ekleyin.
Sunucusuz GPU işlem databricks ssh connect --accelerator <accelerator> Ayrı bir SSH kurulum adımı yok.
Bir IDE başlatmak için --ide vscode veya --ide cursor ekleyin.
Desteklenen hızlandırıcılar için bkz.--accelerator
Klasik atanmış, tek kullanıcılı işlem kaynağı Terminalinizde çalıştırın databricks ssh setup --name <connection-name> .
Sonra SSH oturumunu IDE'den başlatın veya ssh <connection-name> komutunu çalıştırın.
Klasik hesaplama gereksinimlerini karşılayan, özel ve tek kullanıcılı bir küme seçin.
Paylaşılan kümeler desteklenmez.

SSH tüneli ve Databricks IDE uzantısı uyumlu değildir ve birlikte kullanılmamalıdır. Databricks Connect ve diğer geliştirme seçenekleriyle karşılaştırma için IDE'nizden bağlanın bölümüne bakınız.

Sunucusuz hesaplama ile bağlantı kurma

Yukarıdaki gereksinimleri karşıladıktan sonra, terminalinizden veya IDE'den databricks ssh connect çalıştırın.

--ide değeri, komutu hangi düzenleyici veya terminalden çalıştırdığınıza bakılmaksızın başlatılacak düzenleyiciyi seçer.

Visual Studio Code

databricks ssh connect --ide vscode

CLI, uzak işlem ortamına bağlı bir Visual Studio Code penceresi açar.

Cursor

databricks ssh connect --ide cursor

CLI, uzak hesaplama ortamına bağlı bir Cursor penceresi açar.

Terminal

databricks ssh connect

CLI, etkileşimli bir SSH oturumu başlatır.

Komut seçenekleri için, isimlendirilmiş bağlantılar ve kimlik doğrulama profilleri için, databricks ssh connect sayfasına bakınız.

Bağlandıktan sonra çalışma alanı projenizi açın ve Python ortamını seçin. Bağlantı başarısız olursa, SSH tünel bağlantılarında sorun giderme bölümünü inceleyin.

AI Runtime ile sunucusuz GPU hesaplamasına bağlanın

AI Çalışma Zamanı etkinleştirildiğinde, GPU hesaplamasını kullanmak için --accelerator ekleyin:

databricks ssh connect --accelerator GPU_1xA10

databricks ssh connect size tek bir düğümde etkileşimli bir oturum sağlar. Uzun süren eğitim işleri veya çok düğümlü dağıtık eğitim için, iş yükünü bunun yerine databricks air ile gönderin. Bkz. Databricks CLI'yı AI Çalışma Zamanı ile Kullanın.

Klasik bilgi işleme bağlanın

Klasik bir özel kümeye yeniden kullanılabilir bağlantı kurmak için bir SSH ana bilgisayar adı oluşturun, ardından o ana bilgisayarı IDE'nizde seçin veya bir terminalden bağlanın.

SSH bağlantısını ayarlama

Uyarı

SSH bağlantısının ayarlanması yalnızca klasik işlemlere bağlanıyorsanız gereklidir.

Yerel makinenizde databricks ssh kurulumunu çalıştırın. <connection-name> öğesini bu bağlantı için, örneğin my-connection gibi bir adla değiştirin:

databricks ssh setup --name <connection-name>

CLI, bir küme seçmenizi ister ve SSH yapılandırmanıza bir ana bilgisayar girişi ekler. Ayrıca doğrudan bir küme seçebilirsiniz. <cluster-id> öğesini özel kümenizin kimliği ile değiştirin:

databricks ssh setup --name <connection-name> --cluster <cluster-id>

Son istemci bağlantı kesildikten sonra SSH sunucusunun ne kadar beklediğini yapılandırmak için kurulum komutuna --shutdown-delay ekleyin. Varsayılan değer 10 dakikadır. Örneğin, bu SSH ana bilgisayar girdisi üzerinden bağlantılar için 30 dakikalık bir gecikme ayarlamak için:

databricks ssh setup --name <connection-name> --cluster <cluster-id> --shutdown-delay 30m

Uyarı

Databricks, IntelliJ kullanıcıları için kurulum komutuna --auto-start-cluster=false eklemenizi ve bağlanmadan önce kümeyi manuel olarak başlatmanızı önerir. Bunun nedeni JetBrains IDE'lerinin tüm yapılandırılmış kümeleri başlatması ve bu da beklenmeyen işlem ücretlerine neden olabilir.

Visual Studio Code veya İmleç kullanarak bağlanma

  1. Visual Studio Code için Uzak SSH uzantısını yükleyin. İmleç varsayılan olarak bir uzaktan SSH uzantısı içerir.

  2. IDE ana menüsündeKomut Paletini> tıklayın. Uzak-SSH: Ayarlar'ı seçin. Alternatif olarak, Tercihler: Kullanıcı Ayarları'nı (JSON) açın seçeneğini seçerek doğrudan settings.json değiştirebilirsiniz.

  3. Remote.SSH: Varsayılan Uzantılar (veya remote.SSH.defaultExtensions içinde settings.json), ms-Python.Python ve ms-toolsai.jupyter ekleyin.

    Eğer settings.json değiştiriyorsanız:

    "remote.SSH.defaultExtensions": [
        "ms-Python.Python",
        "ms-toolsai.jupyter"
    ]
    

    Uyarı

    İsteğe bağlı olarak, zaman aşımı hatalarının olasılığını daha da azaltmak için Remote.SSH: Connect Timeout (veya remote.SSH.connectTimeout içinde settings.json) değerini artırın. Varsayılan zaman aşımı 360'tır.

  4. Komut Paleti'nde Uzak SSH: Konağa Bağlan'ı seçin.

  5. Açılan menüden, ilk adımda ayarladığınız bağlantıyı seçin. IDE yeni bir pencerede bağlanmaya devam eder.

IntelliJ IDE'lerini kullanarak bağlanma

  1. Ayarlamak için Uzak sunucu kılavuzunu izleyin.
  2. Yeni bağlantı ekranında şunu girin:
    • Kullanıcı adı: root
    • Konak: <connection-name>

Bir terminalden classic compute'e bağlanın

databricks ssh setup ile yapılandırdığınız bağlantı adını kullanın:

ssh <connection-name>

Yeniden kullanılabilir bir SSH ana bilgisayar girdisi olmadan doğrudan bağlantı için CLI'yi de kullanabilirsiniz. Özel küme kimliğinizle değiştirin <cluster-id> :

databricks ssh connect --cluster <cluster-id>

databricks ssh connect komutuna bakın.

Çalışma alanı projelerini SSH aracılığıyla açın

Varsayılan olarak, databricks ssh connect komut kısa ömürlü bir dizine açılır. Çalışma alanı dosyalarına erişmek için IDE veya terminalden çalışma alanı dizininize gidin:

  • Visual Studio Code veya Cursor’da, Komut Paleti’nden (Cmd/Ctrl+Shift+P) Klasör Aç seçeneğini seçin ve /Workspace/Users/<your-username> konumuna gidin.
  • Terminal penceresinde dizininizi değiştirin: cd /Workspace/Users/<your-username>.

Uyarı

/Workspace, /Volumes ve /dbfs içindeki dosyalar, kümede yeniden başlatmalar sırasında kalıcı olur. , /homeve diğer yerel yollardaki /rootdosyalar kısa ömürlü olur ve yeniden başlatmada kaybolur.

SSH oturumunda Python ve notebookları çalıştırın

Kod çalıştırmadan önce SSH oturumunuzun sağladığı Python ortamını seçin. Klasik hesaplama için, bu ortam yerleşik Databricks Runtime kütüphaneleri ve hesaplama kapsamındaki kütüphaneleri içerir.

  1. Komut Paleti'ni (Cmd/Ctrl+Shift+P) açın ve Python: Yorumlayıcı'yı seçin.

  2. Listeden pythonEnv-xxx sanal ortamı seçin. bayrağını kullanarak --base-environment Python bağımlılıkları ayarlarsanız, seçenekler listesinden daha uzun sanal ortam adını seçin. Sanal ortam görünmüyorsa:

    1. IDE içindeki bir terminalden çalıştırın echo $DATABRICKS_VIRTUAL_ENV .

      Örnek çıkış: /local_disk0/.ephemeral_nfs/envs/pythonEnv-xxx/bin/python

    2. Çıktının tamamını, Python: Select Interpreter isteminde yorumlayıcı yolu olarak yapıştırın.

  3. Yeni bir terminal açtığınızda sanal ortam otomatik olarak etkinleştirilmelidir.

  4. Jupyter not defterini çalıştırmak için sanal ortamın çekirdek olarak seçildiğinden emin olun. Not defterinin sağ üst kısmındaki Çekirdek Seç'e tıklayın.

Standart Python ve .ipynb Jupyter uzantılarını kullanarak Python dosyaları ve not defterlerini çalıştırın ve hatalarını ayıklayın.

Spark'ı sunucusuz işlemdeki bir Python dosyasında kullanmak için oturumu açıkça başlatın:

from databricks.connect import DatabricksSession
spark = DatabricksSession.builder.serverless().profile("DEFAULT").getOrCreate()

SSH oturumları için bağımlılıkları yönet

Hesaplama tipiniz için bağımlılık yönetimini seçin:

Python dışı paketler için bkz. Non-Python bağımlılıkları.

Çalışma alanı temel ortamları (sunucusuz ve AI Çalışma Zamanı için önerilir)

Uyarı

Bu özellik , İşler önizlemesinde Sunucusuz çalışma alanı temel ortamı desteğinin etkinleştirilmesini gerektirir. Bkz. Azure Databricks önizlemelerini yönetme.

Python bağımlılıklarını önceden yapılandırmak için sunucusuz ortam sürüm 4 veya altındaki çalışma alanı temel ortamını kullanın. SSH tüneli, sunucusuz ortamın 5 veya üzeri sürümlerinde --base-environment desteği sunmaz. Çalışma alanı kullanıcı arabirimini veya Databricks CLI databricks ortamlarını create-workspace-base-environment komutunu kullanarak bir temel ortam oluşturun.

Bağlanırken seçeneğini --base-environment kullanarak ortamı belirtin:

databricks ssh connect --base-environment my-workspace-env

Bu --base-environment seçenek, bir görüntüleme adı, çalışma alanı YAML yolu veya kaynak kimliği kabul eder. Bununla --clusterbirleştiremezsiniz. Databricks ssh connect'e bakınız.

Küme kitaplıkları (klasik işlem için önerilir)

İşlem > Kitaplıkları altındaki çalışma alanı kullanıcı arabirimini kullanarak bağımlılıkları yükleyin. Bunlar, kümenin yeniden başlatılması sırasında kalıcıdır ve pythonEnv-xxx içinde kullanılabilir. Bkz. Küme kitaplıkları.

Python olmayan bağımlılıklar

Python olmayan bağımlılıkları kalıcı hale getirmek için işlem başladığında paketleri yükleyen bir init betiği kullanın. İsteğe bağlı olarak, paketleri bir Unity Kataloğu biriminde depolayın ve init betiğinden bunlara başvurun. Bkz. Başlatma betikleri nedir?.

Projeye özel not defteri kurulumu

Proje kapsamlı bağımlılıklar için, her oturumun başında %pip install komutlar içeren bir not defteri açın:

# Install from pyproject.toml
%pip install .

# Install from a requirements file
%pip install -r requirements.txt

# Install a wheel from Volumes or Workspace
%pip install /Volumes/catalog/schema/volume/your_library.whl

%pip komutları, Databricks'e özgü korumaları içerir ve bağımlılıkları Spark yürütücü düğümlerine aktarır. Bu, özel bağımlılıklarla kullanıcı tanımlı işlevleri (UDF) etkinleştirir.

Daha fazla örnek için bkz. Kitaplıkları komutlarla %pip yönetme.

SSH sunucusu kapanmadan önce yeniden bağlanırsanız kurulum defterini yeniden çalıştırmanıza gerek yok. Varsayılan olarak, sunucu son istemcinin bağlantısı kesildikten 10 dakika sonra kapanır. Bu gecikmeyi değiştirmek için, bağlantı yönteminizin komutuyla birlikte --shutdown-delay kullanın:

  • Yeniden kullanılabilir klasik hesaplama bağlantısı için gecikmeyi databricks ssh setup ile ayarlayın. Oluşturulan SSH host girişi, IDE'den bağlandığınızda veya ssh <connection-name> çalıştırdığınızda gecikmeyi uygular.
  • Doğrudan bir CLI bağlantısı için, gecikmeyi databricks ssh connect komutuyla ayarlayın.

Uyarı

Aynı kümedeki birden çok SSH oturumu bir sanal ortamı paylaşır.

Bir SSH oturumunda Git'i kullanın

Uyarı

Bu özellik, Git klasörleri önizlemesi için Git CLI desteğinin etkinleştirilmesini gerektirir. Bkz. Azure Databricks önizlemelerini yönetme.

SSH tünelindeki Git CLI'sini yeni oluşturulan Git klasörleri ve Databricks çalışma alanında yapılandırdığınız Git kimlik bilgileriyle kullanabilirsiniz. Bkz. Git CLI komutlarını kullanma.

CLI, kimlik bilgilerini otomatik olarak algılamak yerine sizden isterse Git sağlayıcınızı Databricks'e bağlamanız gerekir. Bkz. Git sağlayıcınızı Databricks'e bağlama.

SSH tünel sınırlamaları

Databricks tarafından sağlanan SSH tüneli aşağıdaki sınırlamalara sahiptir:

  • Paylaşılan kümeler desteklenmez.
  • Databricks IDE uzantısı ve SSH tüneli henüz uyumlu değildir ve birlikte kullanılmamalıdır.
  • /Workspace, /Volumes ve /dbfs dışında düzenlenen dosyalar küme yeniden başlatıldığında kaybolur.
  • Küme başına en fazla 10 SSH bağlantısına izin verilir.
  • Etkin olmayan oturumlar 1 saat sonra sona erebilir.
  • SSH tüneli diğer uzak ortamlardan veya Docker kapsayıcılarından başlatılamaz.
  • Üç veya daha fazla Jupyter not defteri aynı anda açıldığında performans veya bağlantı sorunlarıyla karşılaşabilirsiniz.

SSH oturumlarında Defter davranışı

SSH tüneli kullanılırken not defterlerinde bazı farklılıklar vardır:

  • Python dosyaları herhangi bir Databricks globali (örneğin spark veya dbutils) tanımlamaz. Bunları from databricks.sdk.runtime import spark ile açıkça içeri aktarmanız gerekir.
  • ipynb not defterleri için şu özellikler kullanılabilir:
    • Databricks genel ayarları: display, displayHTML, dbutils, table, sql, udf, getArgument, sc, sqlContext, spark
    • %sql SQL hücrelerini çalıştırmak için sihirli komut

Python kaynağı "not defterleri" ile çalışmak için:

  • Öğesini arayın jupyter.interactiveWindow.cellMarker.codeRegex ve şu şekilde ayarlayın:

    ^# COMMAND ----------|^# Databricks notebook source|^(#\\s*%%|#\\s*\\<codecell\\>|#\\s*In\\[\\d*?\\]|#\\s*In\\[ \\])
    
  • Öğesini arayın jupyter.interactiveWindow.cellMarker.default ve şu şekilde ayarlayın:

    # COMMAND ----------
    

SSH tünel bağlantılarında sorun giderme

Başarısızlıkla eşleşen semptomla başlayın:

Belirti İlk denetim
SSH bağlantısı başarısız olur veya zaman aşımına uğrar. Çalışma alanı HTTPS ve WebSocket erişimini kontrol edin. Klasik bilgi işlem için küme durumu ve IDE zaman aşımına da bak. Bkz. SSH bağlantısı başarısız oluyor veya zaman aşımına uğruyor.
CLI, code öğesini bulamadığını bildiriyor. Visual Studio Code kabuk komutunu yerel PATH ortamınıza yükleyin. Bkz. code komut bulunamadı.
CLI kimlik doğrulaması başarısız olur. CLI profilini ve klasik hesaplama için küme izinlerini kontrol edin. CLI kimlik doğrulama hatalarına bakınız.
CLI, invalid_grant değerini Refresh token is invalid ile bildirir. Aynı CLI profiliyle tekrar çalışma alanına giriş yapın, sonra bağlantıyı tekrar deneyin. Yenileme belirteci geçersiz ifadesine bakın.
Python kodu veya notebooklar bağlandıktan sonra çalışmıyor. Seçilen yorumlayıcıyı veya not defteri kernel’ini kontrol edin. Bkz. SSH oturumunda Python kodunun veya not defterlerinin başarısız olması.
Dosyalar küme yeniden başlatıldığında kayboluyor. Dosyaların geçici yerel bir yolda saklanıp saklanmadığını kontrol edin. Bkz. Küme yeniden başlatıldıktan sonra dosyalar kayboluyor veya ortam sıfırlanıyor.

SSH bağlantısı başarısız oluyor veya zaman aşımına uğruyor

  • Klasik hesaplama için, kümenin çalışma alanı arayüzünde çalıştığını doğrulayın.
  • Ağınızın, VPN'inizin ve güvenlik duvarınızın çalışma alanı alanınıza HTTPS ve WebSocket trafiğine izin verip vermediğini kontrol edin. SSH tüneli port 22'yi kullanmaz. Tüm trafiği diğer Databricks CLI komutlarıyla aynı HTTPS uç noktası üzerinden tüneller. Bkz. Etki alanı adı güvenlik duvarı kurallarını yapılandırma.
  • Bir proxy veya güvenlik duvarı TLS trafiğini inceliyorsa, WebSocket yükseltme talebini kabul edip etmediğini kontrol edin. Yükseltmeyi engelleyen ya da çıkaran aradaki bir bileşen, bağlantının başarısız olmasına veya zaman aşımına uğramasına neden olur. Ağ yöneticinizden, çalışma alanınızın etki alanına yönelik WebSocket yükseltme isteklerine izin vermesini ya da bu etki alanı için TLS denetimini atlamasını isteyin.
  • Kurumsal HTTP proxy üzerinden bağlanıyorsanız, ortam değişkenini HTTPS_PROXY ayarlayın veya NO_PROXY çalışma alanı alanınız için proxy'yi atlayın. SSH tüneli, diğer Databricks CLI komutlarıyla aynı proxy konfigürasyonunu kullanır. Bakın Proxy sunucu yapılandırması.
  • Yerel makinenizin github.com ve release-assets.githubusercontent.com adreslerine HTTPS erişimi olduğunu kontrol edin.
  • SSH zaman aşımını artırın. Bkz. Visual Studio Code veya İmleç kullanarak bağlanma.
  • Anahtar uyuşmazlığı hataları için ~/.databricks/ssh-tunnel-keys silin ve databricks ssh setup tekrar çalıştırın.
  • "Uzak konak belirlemesi değişti" hataları için, kümenizle ilgili dosya ve silme girdilerini denetleyin ~/.ssh/known_hosts .
  • SSH oturumları 1 saat sonra düşebilir ve tek bir kümeye 10'dan fazla SSH bağlantısı yapılamaz. Bkz. SSH tünel sınırlamaları.

code Komut bulunmadı

ifadesini görürseniz Error: exec: "code": executable file not found in $PATHKomut Paleti'ni (Cmd/Ctrl+Shift+P) açın, Kabuk Komutu: PATH'de 'code' komutunu yükle'yi seçin ve IDE veya terminal oturumunuzu yeniden başlatın.

CLI kimlik doğrulama hataları

  • Çalışma alanınıza databricks auth login ile giriş yapın.
  • Klasik hesaplama için, küme üzerinde CAN MANAGE iznine sahip olduğunuzu doğrulayın.

Refresh token geçersiz

Eğer databricks ssh connect, invalid_grant, Refresh token is invalid ve error getting token ile başarısız olursa, yetkilendirme sunucusu CLI'nin kaydedilen OAuth yenileme tokenını reddetti. Yeni bir oturum almak için tekrar giriş yapın:

  1. Bağlanmak istediğiniz çalışma alanı için yapılandırma profilini belirleyin:

    databricks auth profiles --skip-validate
    
  2. O profili kullanarak tekrar giriş yapın. /oidc/v1/token öğesini, <profile-name> yolu olmadan çalışma alanı URL’siyle ve <workspace-url> öğesini eşleşen profil adıyla değiştirin:

    databricks auth login --host <workspace-url> --profile <profile-name>
    

    Tarayıcınızda oturum açma akışını tamamlayın.

  3. Aynı profille bağlantıyı tekrar deneyin:

    databricks ssh connect --ide vscode --profile <profile-name>
    

    Cursor için --ide cursor kullanın ya da terminal oturumu için --ide öğesini atlayın.

Hata devam ederse, başarısız komutun az önce giriş yaptığınız aynı çalışma alanı ve profili hedeflediğini kontrol edin. Bkz. OAuth kullanıcıdan makineye (U2M) kimlik doğrulaması.

Python kodu veya notebook'lar SSH oturumunda çalışmaz

Küme yeniden başlatıldıktan sonra dosyalar kaybolur veya ortam sıfırlanır

  • /Workspace, /Volumes ve /dbfs bağlamalarındaki dosyalar, küme yeniden başlatmaları arasında kalıcılık gösterir. , /homeve diğer yerel yollardaki /rootdosyalar kısa ömürlü olur ve yeniden başlatmada kaybolur.
  • Kalıcı bağımlılıklar için küme kitaplığı yönetimini kullanın. Gerekirse init betiklerini kullanarak yeniden yüklemeleri otomatikleştirin. Bkz. Başlatma betikleri nedir?.

SSH kurulumu Windows (WSL) üzerinde başarısız oluyor

databricks ssh setup WSL içinde değil doğrudan Windows üzerinde çalıştırın. Windows Visual Studio Code örneği, WSL tarafında oluşturulan SSH yapılandırmalarını bulamıyor.

FAQ

Sunucusuz hesaplama SSH kurulumu gerektirir mi?

No. Databricks CLI'yı kurup kimlik doğruladıktan sonra, sunucusuz hesaplama için databricks ssh connect kullanın. databricks ssh setup komutu, klasik özel bilgi işlem için yeniden kullanılabilir SSH ana bilgisayar girişlerini yapılandırır.

Databricks SSH tüneli port 22 gerektiriyor mu?

No. SSH tüneli, HTTPS üzerinden trafiği çalışma alanı etki alanınıza taşır ve WebSocket desteği gerektirir. Ağınız, VPN'niz, güvenlik duvarınız ve proxy'niz bu trafiğe izin vermelidir. SSH bağlantısı başarısız oluyor veya zaman aşımına uğruyor bakın.

SSH tünelinin Databricks Connect'ten farkı nedir?

Databricks Connect, Spark API'lerini kullanarak kod yazmanızı ve bunları yerel Spark oturumu yerine Databricks işlem üzerinde uzaktan çalıştırmanızı sağlar. Databricks Visual Studio Code uzantısı, Databricks'te kullanıcı kodunda yerleşik hata ayıklama sağlamak için Databricks Connect'i kullanır.

SSH tüneli, IDE'den çalışma alanına erişmenizi sağlar ve tüm geliştirme ortamınızı bilgi işlem ortamına taşır. Python, çekirdek ve kod yürütme Azure Databricks üzerinde hesaplama kaynaklarına erişimiyle çalışır.

Kodum ve verilerim nasıl güvenli hale getirildi?

SSH trafiği uçtan uca şifreleniyor ve kod, bağlandığınız Azure Databricks işlem kaynağında çalışıyor. Kimlik doğrulama, Databricks CLI'sını ve yapılandırılmış çalışma alanı profilinizi kullanır. Hangi kimlik doğrulama yöntemleri destekleniyor?'a bakınız.

Hangi IDE'ler desteklenir?

Visual Studio Code ve İmleç resmi olarak desteklenir. SSH özelliklerine sahip tüm IDE'ler uyumludur, ancak yalnızca VS Code ve İmleç test edilir.

Tüm Databricks not defteri özellikleri IDE'den kullanılabilir mi?

, display()ve dbutils gibi %sqlbazı özellikler sınırlamalar veya el ile kurulum ile kullanılabilir. SSH oturumlarında Notebook davranışına bakınız.

SSH tünelini kullanarak bağlandığımda kümem otomatik olarak başlatılacak mı?

Evet, ancak kümenin başlatılması, bağlantı zaman aşımından daha uzun sürerse bağlantı girişimi başarısız olur. Bunu önlemek için, zaman aşımı hatalarının olasılığını daha da azaltmak amacıyla komut paletinden Remote.SSH: Bağlantı Zaman Aşımı değerini arttırın (veya remote.SSH.connectTimeout içinde settings.json).

Kümemin çalışıp çalışmadığını nasıl anlarım?

Databricks çalışma alanı kullanıcı arabiriminde İşlem'e gidin ve kümenin durumunu denetleyin. Kümede SSH bağlantısının çalışması için Çalışıyor gösterilmelidir.

SSH/IDE oturumumu nasıl kesebilirim?

IDE pencerenizi kapatarak, IDE'nizdeki Bağlantıyı Kes seçeneğini kullanarak, SSH terminalinizi kapatarak veya terminalde komutunu çalıştırarak oturumun exit bağlantısını kesebilirsiniz.

Çalışmadığım zamanlarda kümeyi nasıl durdururum ve ücretlerden nasıl kaçınebilirim?

Hemen durdurmak için çalışma alanı kullanıcı arabiriminden kümeyi sonlandırın. Databricks çalışma alanı kullanıcı arabiriminde İşlem'e gidin, kümenizi bulun ve Sonlandır veya Durdur'a tıklayın.

Çalışma alanı kullanıcı arabiriminden kümenizde kısa bir otomatik sonlandırma ilkesi ayarlayın. Bağlantıyı kestikten sonra SSH sunucusu süreyi bekler shutdown-delay (varsayılan: 10 dakika), ardından kümenin boşta kalma zaman aşımı uygulanır.

Kalıcı bağımlılıkları nasıl işlemem gerekir?

Bir oturum sırasında yüklenen bağımlılıklar küme yeniden başlatıldıktan sonra kaybolur. Gereksinimler ve kurulum betikleri için kalıcı depolama (/Workspace/Users/<your-username>) kullanın. Otomasyon için küme kitaplıklarını veya başlatma betiklerini kullanın.

Hangi kimlik doğrulama yöntemleri desteklenir?

Kimlik doğrulaması Databricks CLI'sini ve profil dosyanızı ~/.databrickscfg kullanır. SSH anahtarları SSH tüneli tarafından işlenir.

Kümeden dış veritabanlarına veya hizmetlere bağlanabilir miyim?

Evet, küme ağınız giden bağlantılara izin verdiği ve gerekli kitaplıklara sahip olduğunuz sürece.

Ek IDE uzantıları kullanabilir miyim?

Uzantıların çoğu, IDE'nize ve kümenize bağlı olarak uzak SSH oturumunuz içinde yüklendiğinde çalışır. Visual Studio Code varsayılan olarak uzak konaklara yerel uzantılar yüklemez. Uzantılar panelini açıp uzak konakta yerel uzantılarınızı etkinleştirerek bunları el ile yükleyebilirsiniz. Ayrıca Visual Studio Code'u her zaman belirli uzantıları uzaktan yükleyecek şekilde yapılandırabilirsiniz. Bkz . Databricks'e bağlanma.

Evet, ancak çalışma alanı yöneticilerinin Visual Studio Code ve İmleç uzantısı marketlerinin URL'lerine izin vermesi gerekir. Yerel makinenizin İnternet'e erişebilmesi de gerekir.