Üst düzey mimari

Bu makale, Azure ile birlikte kurumsal mimarisi de dahil olmak üzere Azure Databricks mimarisine üst düzey bir genel bakış sağlar.

Databricks nesneleri

Azure Databricks hesabı , kuruluşunuz genelinde Azure Databricks'i yönetmek için kullandığınız en üst düzey yapıdır. Hesap düzeyinde şunları yönetirsiniz:

• Kimlik ve erişim: Kullanıcılar, gruplar, hizmet sorumluları ve kullanıcı sağlama.

• Çalışma alanı yönetimi: Birden çok bölgede çalışma alanları oluşturun, güncelleştirin ve silin.

• Unity Kataloğu meta veri deposu yönetimi: Meta veri deposu oluşturma ve çalışma alanlarına ekleme.

• Kullanım yönetimi: Faturalama, uyumluluk ve ilkeler.

Bir hesap birden çok çalışma alanı ve Unity Kataloğu meta veri depoları içerebilir.

• Çalışma alanları , kullanıcıların alım, etkileşimli araştırma, zamanlanmış işler ve ML eğitimi gibi işlem iş yüklerini çalıştırdığı işbirliği ortamıdır.

• Unity Kataloğu meta veri depoları , tablolar ve ML modelleri gibi veri varlıkları için merkezi idare sistemidir. Meta veri deposundaki verileri üç düzeyli bir ad alanı altında düzenlersiniz:

<catalog-name>.<schema-name>.<object-name>

Meta veri depoları çalışma alanlarına eklenir. Tek bir meta veri depolarını aynı bölgedeki birden çok Azure Databricks çalışma alanına bağlayabileceğiniz gibi, her çalışma alanına aynı veri görünümünü sağlayabilirsiniz. Veri erişim denetimleri tüm bağlı çalışma alanlarında yönetilebilir.

Çalışma alanı mimarisi

Azure Databricks bir denetim düzlemi ve işlem düzlemi dışında çalışır.

• Denetim düzlemi, Azure Databricks hesabınızda Azure Databricks'in yönettiği arka uç hizmetlerini içerir. Web uygulaması kontrol düzlemindedir.

• işlem düzlemi verilerinizin işlendiği yerdir. Kullandığınız işlem türüne bağlı olarak iki tür işlem düzlemi vardır.

  • Sunucusuz işlem için sunucusuz işlem kaynakları Azure Databricks hesabınızdaki sunucusuz bir işlem düzleminde çalışır.
  • Klasik Azure Databricks işlemi için işlem kaynakları, klasik işlem düzlemi olarak adlandırılan Azure aboneliğinizde yer alır. Bu, Azure aboneliğinizdeki ağı ve kaynaklarını ifade eder.

  Klasik işlem ve sunucusuz işlem hakkında daha fazla bilgi edinmek için bkz. İşlem.

Azure Databricks çalışma alanları, çalışma alanı depolama hesabı olarak bilinen ilişkili bir depolama hesabına sahiptir. Çalışma alanı depolama hesabı Azure aboneliğinizdedir.

Aşağıdaki diyagramda Azure Databricks çalışma alanları için genel mimari açıklanmaktadır.

Sunucusuz işlem düzlemi

Sunucusuz işlem düzleminde Azure Databricks işlem kaynakları, Azure Databricks hesabınızın içindeki bir işlem katmanında çalışır. Azure Databricks, çalışma alanınızın klasik işlem düzlemi ile aynı Azure bölgesinde sunucusuz bir işlem düzlemi oluşturur. Çalışma alanı oluştururken bu bölgeyi seçersiniz.

Sunucusuz işlem düzlemi içindeki müşteri verilerini korumak için sunucusuz işlem, farklı Azure Databricks müşteri çalışma alanlarını ve aynı müşterinin kümeleri arasındaki ek ağ denetimlerini yalıtmak için çeşitli güvenlik katmanlarıyla çalışma alanının ağ sınırı içinde çalışır.

Sunucusuz işlem düzleminde ağ hakkında daha fazla bilgi edinmek için Sunucusuz işlem düzlemi ağı.

Klasik işlem düzlemi

Klasik işlem düzleminde Azure Databricks işlem kaynakları Azure aboneliğinizde çalışır. Müşterinin Azure aboneliğinde her çalışma alanının sanal ağında yeni işlem kaynakları oluşturulur.

Klasik bir işlem düzlemi, her müşterinin kendi Azure aboneliğinde çalıştığından doğal yalıtıma sahiptir. Klasik işlem düzleminde ağ hakkında daha fazla bilgi edinmek için bkz . Klasik işlem düzlemi ağı.

Bölgesel destek için bkz . Azure Databricks bölgeleri.

Çalışma alanı depolama

Bir çalışma alanı oluşturduğunuzda Azure Databricks, Azure aboneliğinizde çalışma alanı depolama hesabı olarak kullanılacak bir hesap oluşturur.

Çalışma alanı depolama hesabı aşağıdakileri içerir:

• Çalışma alanı sistem verileri: Çalışma alanı sistem verileri, not defterleri oluşturma gibi çeşitli Azure Databricks özelliklerini kullandığınızda oluşturulur. Bu demet not defteri düzeltmelerini, iş çalıştırma ayrıntılarını, komut sonuçlarını ve Spark günlüklerini içerir
• Unity Kataloğu çalışma alanı kataloğu: Çalışma alanınız Unity Kataloğu için otomatik olarak etkinleştirildiyse, çalışma alanı depolama hesabı varsayılan çalışma alanı kataloğunu içerir. Çalışma alanınızdaki tüm kullanıcılar bu katalogdaki varsayılan şemada varlıklar oluşturabilir. Bkz. Unity Kataloğu'nu kullanmaya başlama.
• DBFS (eski): DBFS kök ve DBFS bağlamaları eskidir ve çalışma alanınızda devre dışı bırakılmış olabilir. DBFS (Databricks Dosya Sistemi), Azure Databricks ortamlarında ad alanı altında dbfs:/ erişilebilen dağıtılmış bir dosya sistemidir. DBFS kök ve DBFS bağlamalarının her ikisi de ad alanındadır dbfs:/ . DBFS kök veya DBFS bağlamalarını kullanarak verileri depolama ve bunlara erişme, kullanım dışı bırakılmış bir düzendir ve Databricks tarafından önerilmez. Daha fazla bilgi için bkz . DBFS nedir?.

Çalışma alanı depolama hesabınıza erişimi yalnızca yetkili kaynaklardan ve ağlardan sınırlamak için bkz. çalışma alanı depolama hesabınız için güvenlik duvarı desteğini etkinleştirme.