Not defteri işlem kaynakları

Bu makalede not defteri işlem kaynaklarına yönelik seçenekler yer alır. Bir defteri çok amaçlı bir işlem kaynağında, sunucusuz işlemde çalıştırabilir veya SQL komutları için SQL analitik işlemleri için optimize edilmiş bir tür olan bir SQL ambarı kullanabilirsiniz. İşlem türleri hakkında daha fazla bilgi için bkz. İşlem.

Not defterleri için sunucusuz işlem

Sunucusuz işlem, not defterinizi hızlı bir şekilde isteğe bağlı bilgi işlem kaynaklarına bağlamanızı sağlar.

Sunucusuz işlem birimine bağlanmak için not defterindeki Bağlan açılır menüsünden Sunucusuzseçeneğini seçin.

Daha fazla bilgi için bkz . Not defterleri için sunucusuz işlem.

Sunucusuz not defterleri için otomatik oturum geri yükleme

Sunucusuz işlemin boşta sonlandırılması, not defterlerinizde Python değişken değerleri gibi devam eden işleri kaybetmenize neden olabilir. Bunu önlemek için sunucusuz not defterleri için otomatik oturum geri yüklemeyi etkinleştirin.

1. Çalışma alanınızın sağ üst kısmındaki kullanıcı adınıza tıklayın ve ardından açılan listeden Ayarlar'a tıklayın.
2. Ayarlar kenar çubuğunda Geliştirici'yi seçin.
3. Deneysel özellikler'in altında Sunucusuz not defterleri için otomatik oturum geri yükleme ayarını açın.

Bu ayarın etkinleştirilmesi, Databricks'in boşta sonlandırmadan önce sunucusuz not defterinin bellek durumunun anlık görüntüsünü oluşturmasına olanak tanır. Boşta bağlantı kesildikten sonra not defterine döndüğünüzde sayfanın üst kısmında bir başlık görünür. Çalışma durumunuzu geri yüklemek için Yeniden Bağlan'a tıklayın.

Yeniden bağlandığınızda Databricks, çalışma ortamınızın tamamını yeniden devreye geçirir; örneğin:

• Python değişkenleri, fonksiyonları ve sınıf tanımları: Not defterinizin Python tarafı korunur, böylece yeniden içeri aktarmanız veya tekrar tanımlamanız gerekmez.
• Spark veri çerçeveleri, önbelleğe alınmış ve geçici görünümler: Yüklediğiniz, dönüştürdüğünüz veya önbelleğe aldığınız veriler (geçici görünümler dahil) korunur, böylece yüksek maliyetli bir şekilde yeniden yükleme veya yeniden derlemeden kaçınırsınız.
• Spark oturum durumu: Tüm Spark düzeyinde yapılandırma ayarlarınız, geçici görünümleriniz, katalog değişiklikleriniz ve kullanıcı tanımlı işlevleriniz (UDF) kaydedilir, bu nedenle bunları sıfırlamanız gerekmez.

Bu özelliğin sınırlamaları vardır ve aşağıdakilerin geri yüklenmesi desteklenmez:

• Spark durumları 4 günden eski
• 50 MB'tan büyük Spark durum verileri
• SQL Betiği ile ilgili veriler
• Dosya tanıtıcıları
• Kilitler ve diğer eşzamanlılık temelleri
• Ağ bağlantıları

Çok amaçlı işlem kaynağına not defteri ekleme

Bir not defterini çok amaçlı işlem kaynağına eklemek için, işlem kaynağında EKLEME iznine sahip olmanız gerekir.

Önemli

Bir not defteri bir işlem kaynağına bağlı olduğu sürece, not defteri üzerinde ÇALıŞTıRıLABILIR iznine sahip tüm kullanıcıların işlem kaynağına erişme izni örtük olarak bulunur.

bir işlem kaynağına not defteri eklemek için, not defteri araç çubuğundaki işlem seçiciye tıklayın ve açılan menüden kaynağı seçin.

Menüde, son zamanlarda kullandığınız veya çalışmakta olduğunuz tüm amaçlı işlem ve SQL ambarları gösterilir.

Kullanılabilir tüm hesaplama seçeneklerinden seçim yapmak için Diğer...öğesine tıklayın. Kullanılabilir genel işlem veya SQL ambarları arasından seçim yapın.

Açılan menüde n Yeni kaynak oluştur... seçerek de yeni bir çok amaçlı işlem kaynağı oluşturabilirsiniz.

Önemli

Ekli not defterinde aşağıdaki Apache Spark değişkenleri tanımlanmıştır.

Sınıf	Değişken Adı
SparkContext	sc
SQLContext/HiveContext	sqlContext
SparkSession (Spark 2.x)	spark

, SparkSessionveya SparkContextoluşturmayınSQLContext. Bunu yapmak tutarsız davranışlara yol açar.

SQL ambarı ile not defteri kullanma

Not defteri bir SQL ambara eklendiğinde, SQL ve Markdown hücrelerini çalıştırabilirsiniz. Başka bir dilde (Python veya R gibi) bir hücre çalıştırmak hataya neden olur. SQL ambarında yürütülen SQL hücreleri, SQL ambarı sorgu geçmişinde görünür. Sorguyu çalıştıran kullanıcı, çıktının en altındaki geçen süreye tıklayarak not defterinden sorgu profilini görüntüleyebilir.

SQL ambarlarına eklenen not defterleri, değişkenleri tanımlamanıza, geçici görünümler oluşturmanıza ve birden çok sorgu çalıştırması arasında durumu kalıcı hale getirmenize olanak tanıyan SQL ambarı oturumlarını destekler. Bu, tüm deyimleri aynı anda çalıştırmanıza gerek kalmadan SQL mantığını yinelemeli olarak oluşturmanıza olanak tanır. Bkz. SQL ambarı oturumları nedir?.

Not defterini çalıştırmak için profesyonel veya sunucusuz bir SQL ambarı gerekir. Çalışma alanına ve SQL ambarı'na erişiminiz olmalıdır.

Sql ambarlarına not defteri eklemek için aşağıdakileri yapın:

1. Not defteri araç çubuğunda işlem seçiciye tıklayın. Açılan menüde çalışmakta olan veya yakın zamanda kullandığınız işlem kaynakları gösterilir. SQL ambarları ile işaretlenir.

2. Menüden bir SQL ambarı seçin.

   Tüm kullanılabilir SQL ambarlarını görmek için açılan menüden Diğer... seçin. Not defteri için kullanılabilir işlem kaynaklarını gösteren bir iletişim kutusu görüntülenir. SQL Ambarıseçin, kullanmak istediğiniz ambarı seçin veEkle tıklayın.

   

Ayrıca iş akışı veya zamanlanmış iş oluşturduğunuzda SQL not defteri için işlem kaynağı olarak bir SQL ambarı seçebilirsiniz.

SQL ambarı sınırlamaları

Daha fazla bilgi için bkz . Bilinen sınırlamalar Databricks not defterleri .