Dizüstü bilgisayar hesaplama kaynakları

Bu sayfada not defteri işlem kaynaklarına yönelik seçenekler yer alır. Bir defteri çok amaçlı bir işlem kaynağında, sunucusuz işlemde çalıştırabilir veya SQL komutları için SQL analitik işlemleri için optimize edilmiş bir tür olan bir SQL ambarı kullanabilirsiniz. İşlem türleri hakkında daha fazla bilgi için bkz. İşlem.

Varsayılan hesaplama

Unity Kataloğu için etkinleştirilen çalışma alanlarında, yeni not defterleri varsayılan olarak sunucusuz hesaplama ortamını kullanır. Bir işlem kaynağını el ile seçip bir hücreyi çalıştırmazsanız, not defteri sunucusuz işleme otomatik olarak bağlanır.

Hesaplamayı otomatik ekleme

Geliştirici ayarlarınızda, not defterlerini bir işlem kaynağına otomatik olarak eklenecek ve düzenleyiciyle etkileşime geçtiğinizde oturum başlatacak şekilde yapılandırabilirsiniz:

1. Sol üstteki kullanıcı simgesine tıklayın.

2. Ayarlar'a tıklayın.

3. Geliştirici ayarlarınıza gitmek için Geliştirici'ye tıklayın.

4. Düzenleyici etkileşiminde işlem oturumunu otomatik başlatmak için Otomatik olarak işlem oturumu oluştur seçeneğini açın. Databricks, tercihlerinize (sunucusuz veya SQL ambarı) ve kullanılan son işlem kaynağına göre varsayılan olarak bir işlem kaynağı olarak kullanılır.

   OR

   Not defterinin bir işlem kaynağına otomatik olarak bağlanmasını ve bir işlem kaynağını başlatmasını istemiyorsanız bu ayarı kapatın.

Otomatik tamamlama, kod biçimlendirme ve hata ayıklayıcı gibi kod yardımı özellikleri, not defterinin etkin bir işlem oturumuna eklenmesini gerektirir. Dizüstü bilgisayar bir hesaplama oturumu başlatmadıysa kod yardımı özellikleri etkin değildir.

Not defterleri için sunucusuz işlem

Sunucusuz işlem, not defterinizi hızlı bir şekilde isteğe bağlı bilgi işlem kaynaklarına bağlamanızı sağlar.

Sunucusuz işleme bağlanmak için, not defterindeki işlem açılır menüsüne tıklayın ve Sunucusuz'u seçin.

Daha fazla bilgi için Not defterleri için sunucusuz işlem'e bakın.

Sunucusuz not defterleri için otomatik oturum geri yükleme

Sunucusuz işlemin boşta sonlandırılması, not defterlerinizde Python değişken değerleri gibi devam eden işleri kaybetmenize neden olabilir. Bunu önlemek için sunucusuz not defterleri için otomatik oturum geri yükleme özelliğini açın.

1. Çalışma alanınızın sağ üst kısmındaki kullanıcı adınıza tıklayın ve ardından açılan listede Ayarlar'a tıklayın.
2. Ayarlar kenar çubuğunda Geliştirici'yi seçin.
3. Deneysel özellikler'in altında Sunucusuz not defterleri için otomatik oturum geri yükleme ayarını açın.

Bu ayarın etkinleştirilmesi, Databricks'in boşta sonlandırmadan önce sunucusuz not defterinin bellek durumunun anlık görüntüsünü oluşturmasına olanak tanır. Boşta bağlantı kesildikten sonra not defterine döndüğünüzde sayfanın üst kısmında bir başlık görünür. Çalışma durumunuzu geri yüklemek için Yeniden Bağlan'a tıklayın.

Yeniden bağlandığınızda Databricks, çalışma ortamınızın tamamını yeniden devreye geçirir; örneğin:

• Python değişkenleri, fonksiyonları ve sınıf tanımları: Python durumu pickle/cloudpickle kullanılarak işlem içinde serileştirilir ve yeni bir REPL'ye geri yüklenir, bu nedenle yeniden içeri aktarmanız veya tekrar tanımlamanız gerekmez.
• Spark Veri Çerçeveleri, önbelleğe alınmış ve geçici görünümler: Yüklediğiniz, dönüştürdüğünüz veya önbelleğe aldığınız veriler (geçici görünümler dahil) korunur, böylece yüksek maliyetli bir şekilde yeniden yükleme veya yeniden derlemeden kaçınırsınız.
• Spark oturum durumu: Spark düzeyinde yapılandırma ayarları, geçici görünümler, katalog değişiklikleri ve kullanıcı tanımlı işlevler (UDF) Spark Connect oturumu geçişi aracılığıyla geri yüklenir, bu nedenle bunları sıfırlamanız gerekmez.

Ortam, örneğin uyumsuz Python veya paket sürümleri gibi seri durumdan çıkarmanın güvenli olmadığı bir şekilde değiştiyse, anlık görüntü geçersiz kılınır ve not defteri yeni bir oturuma geri döner.

Anlık görüntü veri depolama

Anlık görüntü verileri çalışma alanınızın varsayılan depolama alanında depolanır. Not defterinin kendisi yalnızca not defteri kimliği, zaman damgası ve oturum bilgileri içeren bir işaretçi de dahil olmak üzere meta verileri depolar. Veri yükü not defterinde depolanmaz. Blob yolları, not defteri özniteliklerinde depolanmadan önce şifrelenir ve anlık görüntü yolları, durumu farklı bir çalışma alanına geri yüklemeyi önlemek için, not defterinin dışa ve içe aktarımından hariç tutulur.

Anlık görüntüler, bulut depolama TTL varsayılanlarınızı (yaklaşık bir ay) izler ve otomatik olarak sona erer. Not defterinin silinmesi, anlık görüntülerini de siler. Bulut hesabınız, standart çalışma alanı depolama kullanımı kapsamında depolama maliyetlerine neden olur. Bu özellik, anlık görüntülerin oluşturulmasını daha küçük ve daha hızlı tutan kapsayıcı düzeyinde denetim noktası oluşturma yerine Python işlem serileştirmesi kullanır.

Güvenlik ve erişim denetimi

Anlık görüntü geri yükleme, not defteri izinlerine uyar. Durumu geri yüklemek için not defterinde RUN izni gerekir. Şifrelenmiş meta veriler, görüntüleyicilerin anlık görüntü bloblarını doğrudan getirmesini engeller ve geri yüklemede izin denetimleri uygulanır.

Sınırlamalar

Bu özelliğin sınırlamaları vardır ve aşağıdakilerin geri yüklenmesi desteklenmez:

• Spark durumları 4 günden eski
• 50 MB'tan büyük Spark durum verileri
• SQL Betiği ile ilgili veriler
• Dosya tanıtıcıları
• Kilitler ve diğer eşzamanlılık temelleri
• Ağ bağlantıları

Çok amaçlı işlem kaynağına not defteri ekleme

Bir not defterini çok amaçlı işlem kaynağına eklemek için, işlem kaynağında EKLEME iznine sahip olmanız gerekir.

Önemli

Bir not defteri bir işlem kaynağına bağlı olduğu sürece, not defteri üzerinde ÇALıŞTıRıLABILIR iznine sahip tüm kullanıcıların işlem kaynağına erişme izni örtük olarak bulunur.

Bir işlem kaynağına not defteri eklemek için, not defteri araç çubuğunda işlem seçiciye tıklayın ve açılan menüden kaynağı seçin.

Menüde, son zamanlarda kullandığınız veya çalışmakta olduğunuz tüm amaçlı işlem ve SQL ambarları gösterilir.

Kullanılabilir tüm hesaplama seçeneklerinden seçim yapmak için Diğer...öğesine tıklayın. Kullanılabilir genel işlem veya SQL ambarları arasından seçim yapın.

Açılan menüden Yeni kaynak oluştur... öğesini seçerek de yeni bir çok amaçlı işlem kaynağı oluşturabilirsiniz.

Önemli

Ekli not defterinde aşağıdaki Apache Spark değişkenleri tanımlanmıştır.

Sınıf	Değişken Adı
SparkContext	sc
SQLContext/HiveContext	sqlContext
SparkSession (Spark 2.x)	spark

SparkSession, SparkContext veya SQLContext oluşturmayın. Bunu yapmak tutarsız davranışlara yol açar.

SQL ambarı ile not defteri kullanma

Not defteri bir SQL ambara eklendiğinde, SQL ve Markdown hücrelerini çalıştırabilirsiniz. Bir hücrenin başka bir dilde (Python veya R gibi) çalıştırılması hataya neden olur. SQL ambarında yürütülen SQL hücreleri, SQL ambarı sorgu geçmişinde görünür. Sorguyu çalıştıran kullanıcı, çıktının en altındaki geçen süreye tıklayarak not defterinden sorgu profilini görüntüleyebilir.

SQL ambarlarına eklenen not defterleri, değişkenleri tanımlayabileceğiniz, geçici görünümler oluşturabileceğiniz ve birden çok sorgu çalıştırması arasında durumu kalıcı hale getiren SQL ambarı oturumlarını destekler. Tüm deyimleri aynı anda çalıştırmaya gerek kalmadan SQL mantığını yinelemeli olarak oluşturabilirsiniz. Bkz. SQL ambarı oturumları nedir?.

Not defterini çalıştırmak için profesyonel veya sunucusuz bir SQL ambarı gerekir. Çalışma alanına ve SQL ambarı'na erişiminiz olmalıdır.

Sql ambarlarına not defteri eklemek için aşağıdakileri yapın:

1. Tıklayın not defteri araç çubuğundaki hesaplama seçicisine. Açılan menüde çalışmakta olan veya yakın zamanda kullandığınız işlem kaynakları gösterilir. SQL ambarları ile işaretlenir.

2. Menüden bir SQL ambarı seçin.

   Kullanılabilir tüm SQL ambarlarını görmek için açılan menüden Diğer... öğesini seçin. Not defteri için kullanılabilir işlem kaynaklarını gösteren bir iletişim kutusu görüntülenir. SQL Ambarı'nı seçin, kullanmak istediğiniz ambarı seçin ve Ekle'ye tıklayın.

   

Ayrıca iş akışı veya zamanlanmış iş oluşturduğunuzda SQL not defteri için işlem kaynağı olarak bir SQL ambarı seçebilirsiniz.

SQL ambarı sınırlamaları

Daha fazla bilgi için bkz. Databricks not defterlerinin bilinen sınırlamaları .