İşlem

  • Makale

Azure Databricks işlemi, Azure Databricks çalışma alanında kullanılabilen bilgi işlem kaynaklarının seçilmesini ifade eder. Kullanıcıların üretim ETL işlem hatları, akış analizi, geçici analiz ve makine öğrenmesi gibi veri mühendisliği, veri bilimi ve veri analizi iş yüklerini çalıştırmak için işlem erişimine sahip olması gerekir.

Kullanıcılar mevcut işlemle bağlantı kurabilir veya uygun izinlere sahipse yeni işlem oluşturabilir.

Çalışma alanının İşlem bölümünü kullanarak erişiminiz olan işlem görüntülenebilir:

Databricks çalışma alanında çok amaçlı işlem sayfası

İşlem türleri

Azure Databricks'te kullanılabilen işlem türleri şunlardır:

  • Not defterleri için sunucusuz işlem (Genel Önizleme): Not defterlerinde SQL ve Python kodu yürütmek için kullanılan isteğe bağlı, ölçeklenebilir işlem.

  • İş akışları için sunucusuz işlem (Genel Önizleme):Altyapı yapılandırmadan ve dağıtmadan Databricks işlerinizi çalıştırmak için kullanılan isteğe bağlı, ölçeklenebilir işlem.

  • Çok Amaçlı işlem: Not defterlerindeki verileri çözümlemek için kullanılan sağlanan işlem. Kullanıcı arabirimi, CLI veya REST API kullanarak bu işlemi oluşturabilir, sonlandırabilir ve yeniden başlatabilirsiniz.

  • İş işlemi: Otomatik işleri çalıştırmak için kullanılan sağlanan işlem. Azure Databricks iş zamanlayıcı, bir iş yeni işlem üzerinde çalışacak şekilde yapılandırıldığında otomatik olarak bir iş işlemi oluşturur. İş tamamlandığında işlem sonlandırılır. bir iş işlemi yeniden başlatılamaz . Bkz . Azure Databricks işlem'i işlerinizle kullanma.

  • Örnek havuzları: Başlangıç ve otomatik ölçeklendirme sürelerini azaltmak için kullanılan boşta, kullanıma hazır örneklerle işlem. Kullanıcı arabirimi, CLI veya REST API kullanarak bu işlem oluşturabilirsiniz.

  • Sunucusuz SQL ambarları: SQL düzenleyicisindeki veya etkileşimli not defterlerindeki veri nesneleri üzerinde SQL komutlarını çalıştırmak için kullanılan isteğe bağlı esnek işlem. KULLANıCı arabirimini, CLI'yı veya REST API'yi kullanarak SQL ambarları oluşturabilirsiniz.

  • Klasik SQL ambarları: SQL düzenleyicisindeki veya etkileşimli not defterlerindeki veri nesnelerinde SQL komutlarını çalıştırmak için kullanılır. KULLANıCı arabirimini, CLI'yı veya REST API'yi kullanarak SQL ambarları oluşturabilirsiniz.

Bu bölümdeki makalelerde, Azure Databricks kullanıcı arabirimini kullanarak işlem kaynaklarıyla nasıl çalışıldığı açıklanmaktadır. Diğer yöntemler için bkz. Komut satırını ve Databricks REST API başvurusunu kullanma.

Databricks Runtime

Databricks Runtime, işleminizde çalışan temel bileşenler kümesidir. Databricks Runtime, sql ambarlarında otomatik olarak seçilen ancak tüm iş işlemlerinde yapılandırılabilir bir ayardır.

Her Databricks Runtime sürümü, büyük veri analizinin kullanılabilirliğini, performansını ve güvenliğini geliştiren güncelleştirmeler içerir. İşlemlerinizdeki Databricks Runtime aşağıdakiler gibi birçok özellik ekler:

  • Apache Spark üzerinde oluşturulan ve ACID işlemleri, iyileştirilmiş düzenler ve dizinler ve veri işlem hatları oluşturmaya yönelik yürütme altyapısı iyileştirmeleri sağlayan yeni nesil bir depolama katmanı olan Delta Lake. Bkz . Delta Lake nedir?.
  • Yüklü Java, Scala, Python ve R kitaplıkları.
  • Ubuntu ve beraberindeki sistem kitaplıkları.
  • GPU özellikli kümeler için GPU kitaplıkları.
  • Not defterleri, işler ve küme yönetimi gibi platformun diğer bileşenleriyle tümleşen Azure Databricks hizmetleri.

Her çalışma zamanı sürümünün içeriği hakkında bilgi için sürüm notları bölümüne bakın.

Çalışma zamanı sürümü oluşturma

Databricks Runtime sürümleri düzenli aralıklarla yayımlanır:

  • Uzun Süreli Destek sürümleri bir LTS niteleyicisi (örneğin, 3,5 LTS) ile temsil edilir. Her büyük sürüm için, üç yıllık tam destek sağladığımız bir "kurallı" özellik sürümü bildiriyoruz. Daha fazla bilgi için bkz . Databricks çalışma zamanı destek yaşam döngüleri .
  • Ana sürümler ondalık ayırıcıdan önceki sürüm numarasına (örneğin, 3,5'ten 4,0'a atlama) bir artışla temsil edilir. Bunlar, bazıları geriye dönük uyumlu olmayan büyük değişiklikler olduğunda serbest bırakılır.
  • Özellik sürümleri, ondalık ayırıcıyı izleyen sürüm numarasına bir artışla gösterilir (örneğin, 3,4'ten 3,5'e atlama). Her ana sürüm birden çok özellik sürümü içerir. Özellik sürümleri, ana sürümleri içindeki önceki sürümlerle her zaman geriye dönük olarak uyumludur.