Üst düzey mimari

Bu makale, Azure ile birlikte kurumsal mimarisi de dahil olmak üzere Azure Databricks mimarisine üst düzey bir genel bakış sağlar.

Databricks nesneleri

Azure Databricks hesabı , kuruluşunuz genelinde Azure Databricks'i yönetmek için kullandığınız en üst düzey yapıdır. Hesap düzeyinde şunları yönetirsiniz:

• Kimlik ve erişim: Kullanıcılar, gruplar, hizmet sorumluları ve kullanıcı sağlama.

• Çalışma alanı yönetimi: Birden çok bölgede çalışma alanları oluşturun, güncelleştirin ve silin.

• Unity Kataloğu meta veri deposu yönetimi: Meta veri deposu oluşturma ve çalışma alanlarına ekleme.

• Kullanım yönetimi: Faturalama, uyumluluk ve ilkeler.

Bir hesap birden çok çalışma alanı ve Unity Kataloğu meta veri depoları içerebilir.

• Çalışma alanları , kullanıcıların alım, etkileşimli araştırma, zamanlanmış işler ve ML eğitimi gibi işlem iş yüklerini çalıştırdığı işbirliği ortamıdır.

• Unity Kataloğu meta veri depoları , tablolar ve ML modelleri gibi veri varlıkları için merkezi idare sistemidir. Meta veri deposundaki verileri üç düzeyli bir ad alanı altında düzenlersiniz:

<catalog-name>.<schema-name>.<object-name>

Meta veri depoları çalışma alanlarına eklenir. Tek bir meta veri depolarını aynı bölgedeki birden çok Azure Databricks çalışma alanına bağlayabileceğiniz gibi, her çalışma alanına aynı veri görünümünü sağlayabilirsiniz. Veri erişim denetimleri tüm bağlı çalışma alanlarında yönetilebilir.

Çalışma alanı mimarisi

Azure Databricks bir denetim düzlemi ve işlem düzlemi dışında çalışır.

• Denetim düzlemi, Azure Databricks hesabınızda Azure Databricks'in yönettiği arka uç hizmetlerini içerir. Denetim düzlemi, bulut hesabınızda değil Azure Databricks hesabında bulunur. Web uygulaması kontrol düzlemindedir.

• işlem düzlemi verilerinizin işlendiği yerdir. Kullandığınız işlem türüne bağlı olarak iki tür işlem düzlemi vardır.

  • Sunucusuz işlem için sunucusuz işlem kaynakları Azure Databricks hesabınızdaki sunucusuz bir işlem düzleminde çalışır.
  • Klasik Azure Databricks işlemi için işlem kaynakları, klasik işlem düzlemi olarak adlandırılan Azure aboneliğinizde yer alır. Bu, Azure aboneliğinizdeki ağı ve kaynaklarını ifade eder.

  Klasik işlem ve sunucusuz işlem hakkında daha fazla bilgi edinmek için bkz. İşlem.

Klasik çalışma alanı mimarisi

Uyarı

Klasik çalışma alanları, Azure portalında Karma çalışma alanları olarak adlandırılır.

Klasik Azure Databricks çalışma alanları, çalışma alanı depolama hesabı olarak bilinen ilişkili bir depolama hesabına sahiptir. Çalışma alanı depolama hesabı Azure aboneliğinizdedir.

Aşağıdaki diyagramda klasik çalışma alanları için genel Azure Databricks mimarisi açıklanmaktadır.

Sunucusuz çalışma alanı mimarisi

Sunucusuz çalışma alanlarındaki çalışma alanı depolama alanı, çalışma alanının varsayılan depolama alanında depolanır. Verilerinize erişmek için bulut depolama hesabınıza da bağlanabilirsiniz. Aşağıdaki diyagramda sunucusuz çalışma alanları için genel mimari açıklanmaktadır.

Sunucusuz işlem düzlemi

Sunucusuz işlem düzleminde Azure Databricks işlem kaynakları, Azure Databricks hesabınızın içindeki bir işlem katmanında çalışır. Azure Databricks, çalışma alanınızın klasik işlem düzlemi ile aynı Azure bölgesinde sunucusuz bir işlem düzlemi oluşturur. Çalışma alanı oluştururken bu bölgeyi seçersiniz.

Sunucusuz işlem düzlemi içindeki müşteri verilerini korumak için sunucusuz işlem, farklı Azure Databricks müşteri çalışma alanlarını ve aynı müşterinin kümeleri arasındaki ek ağ denetimlerini yalıtmak için çeşitli güvenlik katmanlarıyla çalışma alanının ağ sınırı içinde çalışır.

Sunucusuz işlem düzleminde ağ kurma hakkında daha fazla bilgi almak için Sunucusuz işlem düzlemi ağ iletişimi.

Klasik işlem düzlemi

Klasik işlem düzleminde Azure Databricks işlem kaynakları Azure aboneliğinizde çalışır. Müşterinin Azure aboneliğinde her çalışma alanının sanal ağında yeni işlem kaynakları oluşturulur.

Klasik bir işlem düzlemi, her müşterinin kendi Azure aboneliğinde çalıştığından doğal yalıtıma sahiptir. Klasik işlem düzleminde ağ hakkında daha fazla bilgi edinmek için bkz . Klasik işlem düzlemi ağı.

Bölgesel destek için bkz . Azure Databricks bölgeleri.

Çalışma alanı depolama

Çalışma alanı depolama alanı, çalışma alanı türünüze bağlı olarak farklı şekilde işlenir. Çalışma alanı türleri hakkında daha fazla bilgi için bkz. Çalışma alanı oluşturma.

Çalışma alanı depolama alanı iki veri kategorisi içerir: çalışma alanı dosya sistemi verileri ve çalışma alanı sistem verileri. Her ikisi de kendi veri nesnelerinizden (Unity Kataloğu tabloları ve birimleri gibi) ayrıdır.

Çalışma alanı dosya sistemi verileri

Çalışma alanı dosya sistemi, kullanıcıların Azure Databricks kullanıcı arabirimi aracılığıyla oluşturduğu ve yönettiği varlıkları depolar. Bunlar şunları içerir:

• Notebooks
• SQL sorguları ve gösterge panelleri
• Uyarılar
• Depolar (Git depolarına eklenmiş klasörler)
• Kitaplıklar (.whl, .jar)
• Python dosyaları, YAML yapılandırma dosyaları ve diğer küçük dosyalar

Çalışma alanı dosyaları hakkında daha fazla bilgi için bkz. Çalışma alanı dosyaları nedir?. Çalışma alanı varlıklarının tam listesi için bkz. Çalışma alanı nesnelerine giriş.

Çalışma alanı sistem verileri

Her Azure Databricks çalışma alanı, Azure Databricks özellikleri tarafından dahili olarak oluşturulan sistem verilerini de depolar. Bu veriler bellekte veya veritabanlarında depolamayacak kadar büyük veya tek bir işlem kaynağının kullanım ömrü boyunca kalıcı olması gerekiyor. Çalışma alanı sistem verilerine örnek olarak şunlar verilebilir:

• SQL sorgu sonuçları ve önbelleğe alınmış sorgu sonuçları
• Görev çalıştırma sonuçları
• Not defteri düzeltmeleri
• Gözlemlenebilirlik için kullanılan SQL sorgu planları
• Küme günlükleri

Çalışma alanı depolama alanının her çalışma alanı türü için nasıl yapılandırıldığı hakkında ayrıntılı bilgi için aşağıdaki bölümlere bakın.

Sunucusuz çalışma alanları

Sunucusuz çalışma alanları, iç çalışma alanı sistem verileri ve Unity Kataloğu veri varlıkları için tam olarak yönetilen bir depolama konumu olan varsayılan depolamayı kullanır. Sunucusuz çalışma alanları kendi kataloglarınız, tablolarınız ve diğer veri varlıklarınız için bulut depolama konumlarınıza bağlanma özelliğini de destekler. Bkz. Databricks'te varsayılan depolama.

Klasik çalışma alanları

Önemli

Bulut hesabınızdaki çalışma alanı depolama alanını silmeyin veya değiştirmeyin. Azure Databricks çalışma alanı, doğru işlem için hem denetim düzlemi veritabanlarına hem de çalışma alanı depolama alanına bağlıdır. Çalışma alanı depolama alanı silinirse, çalışma alanı kurtarılamaz.

Klasik çalışma alanlarında çalışma alanı sistem verileri DBFS nedir? verilerinden farklıdır. Her ikisi de klasik çalışma alanlarında aynı bulut depolama hesabında bulunsa da farklı amaçlara hizmet eder. DBFS kökü, kullanıcı tarafından erişilebilen bir dosya sistemidir, çalışma alanı sistem verileri ise Azure Databricks özellikleri tarafından dahili olarak kullanılır.

Çalışma alanı depolama hesabı aşağıdakileri içerir:

• Çalışma alanı sistem verileri: Azure Databricks özellikleri tarafından oluşturulan iç veriler
• Unity Kataloğu çalışma alanı kataloğu: Çalışma alanınız Unity Kataloğu için otomatik olarak etkinleştirildiyse, çalışma alanı depolama hesabı varsayılan çalışma alanı kataloğunu içerir. Çalışma alanınızdaki tüm kullanıcılar bu katalogdaki varsayılan şemada varlıklar oluşturabilir. Bkz. Unity Kataloğu'nu kullanmaya başlama.
• DBFS (eski): DBFS kök ve DBFS bağlamaları eskidir ve çalışma alanınızda devre dışı bırakılmış olabilir. DBFS (Databricks Dosya Sistemi), Azure Databricks ortamlarında ad alanı altında dbfs:/ erişilebilen dağıtılmış bir dosya sistemidir. DBFS kökü ve DBFS bağlamaları, her ikisi de dbfs:/ ad alanındadır. DBFS kök veya DBFS bağlamalarını kullanarak verileri depolama ve bunlara erişme, kullanım dışı bırakılmış bir düzendir ve Databricks tarafından önerilmez. Daha fazla bilgi için bkz . DBFS nedir?.

Çalışma alanı depolama hesabınıza erişimi yalnızca yetkili kaynaklardan ve ağlardan sınırlamak için bkz. çalışma alanı depolama hesabınız için güvenlik duvarı desteğini etkinleştirme.