Azure Databricks ve web terminalinde komut satırlarını çalıştırma

Azure Databricks web terminali, Databricks CLI komutları dahil olmak üzere bir komut satırı arabiriminde (CLI) kabuk komutlarını çalıştırmak için programlı olarak Databricks nesneleri üzerinde eylem gerçekleştirmenin kullanışlı ve son derece etkileşimli bir yolunu sağlar. Mevcut kullanıcı arabirimlerinin (URI) tam olarak desteklenmeyebileceği birden çok dosyadaki toplu işlem gibi gelişmiş kullanım örnekleri için özellikle yararlıdır.

Web terminalini tek bir işlemde birden çok kullanıcı kullanabilir.

Aşağıdakileri yapmak için web terminalini kullanabilirsiniz:

  • Vim veya Emacs kullanarak hızlı dosya düzenlemeleri yapın.
  • (küme kullanımı) veya htop (GPU kullanımı) gibi nvidia-smi komutlarla kaynak kullanımını izleyin.
  • Spark olmayan Python betiklerini çalıştırın.
  • mv ve mkdir gibi kabuk komutları ile dosya işlemlerini yürütün.
  • Bilgisayar üzerinde kitaplıkları yükleyin ve yönetin.
  • Azure Databricks'in çeşitli yönlerini otomatikleştirmek için Databricks CLI'yi kullanın.

Gereksinimler

Uyarı

Azure Databricks, hesaplama Spark sürücüsündeki 7681 numaralı bağlantı noktasından web terminali hizmetini vekil olarak sunar. Bu web proxy'si yalnızca web terminali ile kullanılmak üzere tasarlanmıştır. İşlem başlatıldığında bağlantı noktası meşgulse veya bir tür çakışma varsa, web terminali beklendiği gibi çalışmayabilir. Diğer web hizmetleri 7681 numaralı bağlantı noktasında başlatılırsa işlem kullanıcıları olası güvenlik açıklarına maruz kalabilir. Bir işlemde desteklenmeyen yazılımların yüklenmesinden kaynaklanan sorunlardan ne Databricks ne de Microsoft sorumludur.

  • Web terminali tüm çalışma alanı kullanıcıları için varsayılan olarak devre dışıdır. Etkinleştirmek için bkz . Web terminalini etkinleştirme.
  • bir işlem üzerinde İZIN'E EKLENEBILIR.
  • Web terminalini standart erişim moduyla (eski adıyla paylaşılan erişim modu) kullanmak için işlem Databricks Runtime 15.1 veya üzerinde olmalıdır.

Web terminalini başlatma

web terminalini işlem ayrıntıları sayfasından veya bir not defterinden başlatabilirsiniz.

Bir defterden

Web terminalini bir not defterinden başlatmak için:

  1. Not defterini işlem için bağlayın.
  2. Web terminalini başlatmak için not defterinin sağ kenar çubuğunun alt kısmındaki terminal simgesine Terminal simgesi tıklayın.
  3. Alternatif olarak, ekli işlem menüsünü açmak için açılır listeye tıklayın, ekli işlemin üzerine gelin ve ardından Web Terminali'ne tıklayın.

Web terminali, ekranın alt kısmındaki bir panelde açılır. Panelin sağ üst kısmındaki düğmeler şunları yapmanızı sağlar:

  • Yeni pencere simgesi. Yeni bir sekmede yeni bir terminal oturumu açın.
  • Eşitle simgesi. Terminal oturumlarını yeniden yükleyin.
  • Kapat simgesi. Alt paneli kapatın. Paneli yeniden açmak için, sağ kenar çubuğunun alt kısmındaki Terminal simgesine tıklayın.

İşlem ayrıntıları sayfasından

İşlem ayrıntıları sayfasından web terminalini başlatmak için:

  1. Çalışma alanının kenar çubuğunda İşlem'e tıklayın.
  2. Çok amaçlı işlem sekmesinde, işlem adına tıklayın.
  3. İşlemi başlatmak için Başlat'a tıklayın.
  4. Uygulamalar sekmesinde Web Terminali'ne tıklayın.

Web terminali kullanıcı arabirimi ve Bash istemiyle yeni bir sekme açılır.

Web terminali kullanma

Web terminalinde, işlem sürücüsü düğümünün kapsayıcısının içindeki root'tan komutlar çalıştırabilirsiniz.

Her bir kullanıcı en fazla 100 adet etkin web terminali oturumu (sekme) açabilir. Boşta kalan web terminal oturumları zaman aşımına uğrayabilir ve web terminal web uygulaması yeniden bağlanarak yeni bir kabuk işlemi başlatabilir. Bash oturumunuzu korumak istiyorsanız, Databricks tmux kullanmanızı önerir.

Databricks CLI komutlarını çalıştırma

Databricks CLI komutlarını çalıştırmak için web terminalini de kullanabilirsiniz. Kullanılabilir CLI her zaman en son sürümdür ve kimlik doğrulaması geçerli kullanıcıyı temel alır.

Uyarı

Web terminalinde CLI komutları çalıştırılırken yapılandırma profili komutları desteklenmez. Web terminalinin CLI'da kimlik doğrulaması yapmak için ortam değişkenlerini kullanması, yapılandırma profillerinden önce gelen kimlik doğrulama değerlendirme sırasına dayanır.

İşlem aşağıdaki gereksinimleri karşılamalıdır:

  • Databricks Runtime 15.0 veya üzeri
  • Çalışma alanı Özel Bağlantı için etkinleştirilmemelidir

Geçerli kullanıcı hakkında bilgi almak için web terminalini başlatın ve aşağıdaki komutu çalıştırın:

   databricks current-user me

Bildirim temelli Otomasyon Paketlerinizi doğrudan Databricks çalışma alanı içindeki web terminalinden oluşturmanıza ve yönetmenize olanak tanıyan paket komutları da mevcuttur. Örneğin, varsayılan şablonu kullanarak basit bir paket oluşturmak, dağıtmak ve çalıştırmak için:

  1. Web terminali kökünden çalışma alanınızın giriş sayfasına gidin ve komutunu çalıştırın bundle init:

    cd /Workspace/Users/someone@example.com
databricks bundle init

  2. Varsayılan şablon istemlerini kabul edin, ardından paket dizinine geçin ve dağıtın:

    cd my_project
databricks bundle deploy

    Dağıtılan my_project paketi Databricks çalışma alanı kullanıcı arabiriminde görüntüleyebilirsiniz.

  3. Son olarak pakette varsayılan işi çalıştırın:

    databricks bundle run my_project_job

    Mevcut işi görmek için İş Çalışmalarına gidin.

Web terminalinizi yapılandırma

.bashrc yapılandırma dosyalarını kullanarak web terminaliniz için kalıcı yapılandırmalar ayarlayabilirsiniz.

Databricks, çalışma alanı dosya sisteminizin giriş klasöründen .bashrc adlı dosyaları otomatik olarak kaynak olarak kullanır. Bu dosyalara ait ayarlar, her yeni terminal oturumu başlattığınızda otomatik olarak etkinleştirilir.

Web terminali deneyiminiz için diğer dosyaları (.zshrc gibi) kaynak olarak almak istiyorsanız, yapılandırmayı kalıcı hale getirmek için bunları .bashrc dosyanızdan alın.

Tüm yapılandırma dosyalarını bir metin düzenleyicisi kullanarak yapılandırabileceğiniz çalışma alanı klasörünüzde kaydedin.

Sınırlamalar

  • Azure Databricks, Spark işlerinin web terminalinden çalıştırılmasını desteklemez.

  • Azure Databricks web terminali aşağıdaki işlem türlerinde kullanılamaz:

    • İşler hesapla
    • İşlem, ortam değişkeni kümesiyle DISABLE_WEB_TERMINAL=true başlatıldı.
    • 15.1'in altındaki Databricks Runtime sürümünde standart işlem.
    • Databricks Runtime'da 16.4'in altındaki ARM örneği türleriyle standart işlem.
    • Sunucusuz ortam sürüm 1'i kullanan sunucusuz işlem.
    • Spark yapılandırması spark.databricks.pyspark.enableProcessIsolation olarak ayarlandı ve true ile başlatıldı.

  • İlk sayfa yüklemesinin üzerinden 12 saat sabit bir sınır vardır ve bundan sonra etkin olsa bile herhangi bir bağlantı sonlandırılır. Yeniden bağlanmak için web terminalini yenileyebilirsiniz. Databricks, kabuk oturumunuzu korumak için tmux kullanmanızı önerir.

  • 16.4'in altındaki Databricks Runtime'daki ARM işlem kaynakları, Git klasörlerindeki dosyalar dahil olmak üzere çalışma alanı dosyalarına erişmek için web terminallerini kullanamaz.

  • Docker Container Services'ın etkinleştirilmesi web terminalini devre dışı bırakır.

  • Last updated on