Veri kılavuzları

Databricks Veri Zekası Platformu, kuruluşunuzdaki veri uygulayıcılarının paylaşılan, güvenli bir şekilde yönetilen veri varlıklarını ve araçlarını kullanarak veri çözümleri üzerinde işbirliği yapmasına ve üretim yapmasına olanak tanır.

Bu sayfa, kullanım örneğiniz için doğru başlangıç noktasını belirlemenize yardımcı olur.

Azure Databricks'te birçok görev için yükseltilmiş izinler gerekir. Birçok kuruluş bu yükseltilmiş izinleri az sayıda kullanıcı veya ekiple kısıtlar. Bu sayfa, çoğu çalışma alanı kullanıcısı tarafından tamamlanabilecek eylemleri, ayrıcalıklı kullanıcılara kısıtlanmış eylemlerden ayırıyor.

Çalışma alanı yöneticileri varlıklara erişim istemeniz mi yoksa yükseltilmiş izinler mi istemeniz gerektiğini belirlemenize yardımcı olabilir.

Veri bulma ve verilere erişme

Bu bölümde, kullanabileceğiniz veri varlıklarını keşfetmenize yardımcı olacak görevlere kısa bir genel bakış sağlanır. Bu görevlerin çoğu, bir yöneticinin veri varlıkları üzerinde izinleri yapılandırdığını varsayar. Bkz . Veri erişimini yapılandırma.

Özellik alanı	Resources
Veri bulma	Veri bulma görevlerine daha ayrıntılı bir genel bakış için bkz. Verileri bulma.
Catalogs	Kataloglar, Unity Kataloğu veri idaresi modelindeki en üst düzey nesnedir. Tablo, görünüm ve diğer veri varlıklarını bulmak için Katalog Gezgini'ni kullanın. bkz. veritabanı nesnelerini keşfetme. Standart kataloglar Unity Kataloğu şemalarını, tabloları, birimleri, modelleri ve diğer veritabanı nesnelerini içerir. Bkz. Kataloglar oluştur. Yabancı kataloglar dış sistemlerden federe tablolar içerir. Bkz. Yabancı katalogları yönetme ve bunlarla çalışma. hive_metastore katalog nesnesi, veri idaresi için Unity Kataloğu yerine yerleşik eski Hive meta veri depolarını kullanan tablolar içerir. Bkz Unity Kataloğu ile birlikte eski Hive meta veri deposunu kullanma.
Bağlı depolama alanı	İşlem kaynaklarına erişiminiz varsa, bağlı depolamadaki dosyaları keşfetmek için yerleşik komutları kullanabilirsiniz. Bkz . Depolamayı keşfetme ve veri dosyalarını bulma.
Yerel dosyaları yükle	Varsayılan olarak, kullanıcılar yerel makinenizden CSV gibi küçük veri dosyalarını karşıya yükleme izinlerine sahiptir. Bkz. Dosya yükleme kullanarak tablo oluşturma veya değiştirme.

Verilerle çalışma

Bu bölümde, yaygın veri görevlerine ve bu görevleri gerçekleştirmek için kullanılan araçlara genel bir bakış sağlanır.

Açıklanan tüm görevler için kullanıcıların araçlar, işlem kaynakları, veriler ve diğer çalışma alanı yapıtları için uygun izinlere sahip olması gerekir. Bkz . Veri erişimini yapılandırma ve Çalışma alanlarını ve altyapıyı yapılandırma.

Özellik alanı	Resources
Veritabanı nesneleri	Tablolara ve görünümlere ek olarak, Azure Databricks verileri güvenli bir şekilde yönetmek için birimler gibi diğer güvenli hale getirilebilir veritabanı nesnelerini kullanır. Bkz. Azure Databricks'te veritabanı nesneleri.
Veri izinleri	Unity Kataloğu, etkin çalışma alanlarındaki tüm okuma ve yazma işlemlerini yönetir. Bu işlemleri tamamlamak için yeterli izinlere sahip olmanız gerekir. Bkz . Unity Kataloğu'nda güvenliği sağlanabilir nesneler.
ETL	Ayıklama, dönüştürme ve yükleme (ETL) iş yükleri Apache Spark ve Azure Databricks için en yaygın kullanım alanlarıdır ve platformun çoğunda ETL için oluşturulmuş ve iyileştirilmiş özellikler bulunur. Bkz. Öğretici: Lakeflow Spark Bildirimli İşlem Hatları ile ETL işlem hattı oluşturma.
Queries	Tüm dönüştürmeler, raporlar, analizler veya model eğitimi çalıştırmaları tablo, görünüm veya veri dosyalarına yönelik bir sorguyla başlar. Toplu işlem veya akış işleme kullanarak verileri sorgulayabilirsiniz. Bkz. Sorgu verileri. Tabloları, görünümleri ve diğer veri varlıklarını sorgulamak için SQL sorgu düzenleyicisini veya not defterlerini kullanarak geçici sorgular gerçekleştirin. Yeni SQL düzenleyicisinde sorgu yazma ve verileri keşfetme ile Databricks not defterleri'ni inceleyin.
Gösterge Tabloları & içgörüler	AI/BI panoları, içgörüleri kullanıcı arabiriminde kolayca ayıklamanıza ve görselleştirmenize olanak tanır. Bkz. Gösterge Tabloları. Genie alanları, sorularınıza yanıt vermek ve verilerinizden elde edilen içgörüleri sağlamak için metin istemlerini kullanır. Bkz. Yapay zeka/BI Genie alanı nedir?
Ingest	Lakeflow Connect popüler dış sistemlerden veri alır. Bkz. Lakeflow Connect'te yönetilen bağlayıcılar. Otomatik Yükleyici, bulut nesne depolama alanından artımlı olarak veri almak için Lakeflow Spark Bildirimli İşlem Hatları veya Yapılandırılmış Akış işleri ile kullanılabilir. Bkz. Otomatik Yükleyici nedir?. Kafka dahil olmak üzere ileti kuyruklarından veri almak için Lakeflow Spark Bildirimli İşlem Hatlarını veya Yapılandırılmış Akış'ı kullanabilirsiniz. Bkz. Sorgu akışı verileri.
Transformations	Azure Databricks, SQL CTAS deyimlerinden neredeyse gerçek zamanlı akış uygulamalarına kadar karmaşıklıkta değişen dönüştürmeler için yaygın söz dizimi ve araçları kullanır. DDL ve DML için SQL sorgularını kullanma hakkında bilgi edinmek için bkz. kaydedilen sorgulara erişme ve yönetme. PySpark'a genel bakış için bkz. Azure Databricks üzerinde PySpark. Yapılandırılmış Akış hakkında ayrıntılı bilgi için bkz. Yapılandırılmış Akış kavramları.
Yapay zeka ve makine öğrenmesi	Databricks Veri Zekası Platformu veri bilimi, makine öğrenmesi ve yapay zeka uygulamaları için bir araç paketi sağlar. Bkz. Databricks'te yapay zeka ve makine öğrenmesi.

Veri erişimini yapılandırma

Azure Databricks çalışma alanlarının çoğu dış veri kaynaklarına bağlantıları yapılandırmak ve ekip üyeliğine, bölgeye veya rollere göre veri varlıklarına ayrıcalık uygulamak için çalışma alanı yöneticisine veya diğer güçlü kullanıcılara güvenir. Bu bölümde, yükseltilmiş izinler gerektiren veri acess'leri yapılandırmaya ve denetlemeye yönelik yaygın görevlere genel bir bakış sağlanır.

Note

Veri kaynağına yeni bir bağlantı yapılandırmak için yükseltilmiş izinler istemeden önce, var olan bir bağlantı, katalog veya tablodaki ayrıcalıkların eksik olup olmadığını onaylayın. Veri kaynağı kullanılamıyorsa, çalışma alanınıza yeni veri ekleme ilkesi için kuruluşunuza başvurun.

Özellik alanı	Resources
Unity Kataloğu	Unity Kataloğu, Databricks Veri Zekası Platformu'na yerleşik olarak bulunan veri idaresi özelliklerini destekler. Bkz. Unity Kataloğu nedir?. Databricks hesap yöneticileri, çalışma alanı yöneticileri ve meta veri deposu yöneticilerinin, kullanıcılar için Unity Kataloğu veri ayrıcalıklarını yönetmek için varsayılan ayrıcalıkları vardır. Bkz. Unity Kataloğu'nda ayrıcalıkları yönetme .
Bağlantılar ve erişim	Bulut nesne depolamasına güvenli bağlantılar yapılandırmak önemli bir etkinliktir ve yönetici ve son kullanıcıyla ilgili neredeyse tüm görevler için bir önkoşuldur. Bkz. Unity Kataloğu'nu kullanarak bulut nesne depolamasına bağlanma. Lakehouse Federasyonu'nu kullanarak dış sistemlere bağlantıları yapılandırın. Bkz. Sorgu federasyonu kurulumuna genel bakış. Unity Kataloğu, açık kaynak API'leri kullanarak dış sistemlerden erişim sağlamak için veri idaresini genişletir. Bkz. Dış sistemleri kullanarak Databricks verilerine erişme. Hizmet kimlik bilgileri yöneticilerin bulut sağlayıcılarında tanımlanan izinleri Unity Kataloğu'na bağlamasına olanak tanıyarak kullanıcıların tümleşik sistemlerle iş yükleri geliştirirken bu kimlik bilgilerinden yararlanmasına olanak tanır. Bkz. Hizmet kimlik bilgileri oluşturma.
Katalogları ve panoları paylaşma	Yöneticiler yeni kataloglar oluşturabilir. Kataloglar, veri yalıtımı için üst düzey bir soyutlama sağlar ve tek tek çalışma alanlarına bağlanabilir veya bir hesaptaki tüm çalışma alanları arasında paylaşılabilir. Bkz. Kataloglar oluştur. AI/BI panoları, izleyicilerin paylaşılan sonuçlardan içgörüler elde etmelerini sağlayarak sahipleri yayımlama sırasında kimlik bilgilerini eklemeye teşvik eder. Ayrıntılar için bkz. Pano paylaşma.

Çalışma alanlarını ve altyapıyı yapılandırma

Bu bölümde, çalışma alanı varlıklarını ve altyapısını yönetmeyle ilişkili genel görevlere genel bir bakış sağlanır. Geniş tanımlı çalışma alanı varlıkları şunları içerir:

• İşlem kaynakları: İşlem kaynakları, genel amaçlı etkileşimli kümeleri, SQL ambarlarını, iş kümelerini ve işlem hatlarını içerir. Bir kullanıcının veya iş yükünün, belirtilen mantığı işlemek için çalışan işlem kaynaklarına bağlanma izinleri olmalıdır.

  Note

  Herhangi bir işlem kaynağına bağlanma erişimi olmayan kullanıcıların Azure Databricks'te çok sınırlı işlevleri vardır.

• Platform araçları: Databricks Veri Zekası Platformu, not defterleri, Databricks SQL ve Mozaik AI gibi farklı kullanım örneklerine ve kişiliklere göre uyarlanmış bir araç paketi sağlar. Yöneticiler bu araçların birçoğu için varsayılan davranışları, isteğe bağlı özellikleri ve kullanıcı erişimini içeren ayarları özelleştirebilir.

• Yapıtlar: Yapıtlar not defterlerini, sorguları, panoları, dosyaları, kitaplıkları, işlem hatlarını ve işleri içerir. Artifaktlar, kullanıcıların verileri üzerinde istenen eylemleri gerçekleştirmek amacıyla yazdıkları kod ve yapılandırmaları içerir.

Important

Çalışma alanı varlığı oluşturan kullanıcıya varsayılan olarak sahip rolü atanır. Çoğu varlık için, sahipler çalışma alanında diğer tüm kullanıcılara veya gruplara izin verebilir.

Veri ve kodun güvenli olduğundan emin olmak için Databricks, üretim çalışma alanına dağıtılan tüm yapıtlar ve işlem kaynakları için sahip rolünü yapılandırmanızı önerir.

Özellik alanı	Resources
Çalışma alanı yetkilendirmeleri	Çalışma alanı yetkilendirmeleri temel çalışma alanı erişimini, Databricks SQL'e erişimi ve kısıtlanmamış küme oluşturmayı içerir. Bkz. Yetkilendirmeleri yönetme.
Hesaplama kaynağı erişimi & ilkeleri	Azure Databricks maliyetlerinin çoğu işlem kaynaklarına yöneliktir. Hangi kullanıcıların çeşitli kaynakları yapılandırma, dağıtma, başlatma ve kullanma yeteneğine sahip olduğunu denetlemek, maliyetleri denetlemek için çok önemlidir. Bkz. Klasik işlem genel bakış. İşlem ilkeleri, yetkili kullanıcıların yalnızca belirtilen yapılandırma kurallarına göre işlem kaynaklarını dağıtmasını sağlamak için çalışma alanı işlem yetkilendirmeleriyle birlikte çalışır. Bkz. İşlem ilkeleri oluşturma ve yönetme. Yöneticiler varsayılan davranışları, veri erişim ilkelerini ve SQL ambarlarına kullanıcı erişimini yapılandırabilir. Bkz . SQL ambarı yönetici ayarları.
Platform araçları	Çalışma alanı görünümünü özelleştirmeden ürün ve özellikleri etkinleştirmeye veya devre dışı bırakmaya kadar değişen davranışları yapılandırmak için yönetici konsolunu kullanın. Bkz. Çalışma alanınızı yönetme.
Çalışma Alanı ACL'leri	Çalışma alanı erişim denetim listeleri (ACL' ler), kullanıcıların ve grupların işlem kaynakları, kod yapıtları ve işler gibi çalışma alanı varlıklarıyla nasıl etkileşim kurabileceğini yönetir. Bkz . Erişim denetim listeleri.

İş yüklerini üretime geçirin

Tüm Azure Databricks ürünleri, geliştirmeden üretime giden yolu hızlandırmak ve ölçek ve kararlılık için tasarlanmıştır. Bu bölüm, iş yüklerini üretime almak için önerilen araç paketine kısa bir giriş sağlar.

Özellik alanı	Resources
ETL işlem hatları	Lakeflow Spark Bildirimli İşlem Hatları, ETL işlem hatlarını oluşturmak ve üretime almak için bildirim temelli bir söz dizimi sağlar. Bkz . Lakeflow Spark Bildirimli İşlem Hatları.
Orchestration	İşler bağımlılıklar, tetikleyiciler ve zamanlamalarla karmaşık iş akışları tanımlamanızı sağlar. Bakınız Lakeflow İşleri.
CI/CD	Databricks Varlık Paketleri, çalışma alanları arasında verileri, varlıkları ve yapıtları yönetmeyi ve dağıtmayı kolaylaştırır. Bkz. Databricks Varlık Paketleri nedir?.