Aracılığıyla paylaş

Azure Databricks ile veri idaresi

Veri idaresi , kuruluşunuzun verilerinin yaşam döngüsü boyunca güvenli, güvenilir ve sorumlu bir şekilde kullanılmasını sağlayan ilkeler, süreçler, roller ve teknik denetimlerden oluşan bir çerçevedir. Etkili veri idaresi, veri kalitesini korumanıza, hassas bilgileri korumanıza, mevzuat gereksinimlerini karşılamanıza ve veri varlıklarınızın değerini en üst düzeye çıkarmanıza olanak tanır.

Veri idaresinin temel bileşenleri şunlardır:

  • Erişim denetimi ve güvenlik: Verileri yetkisiz erişimden korurken uygun kullanımı etkinleştirmek için ayrıntılı izinler ve güvenlik önlemleri uygulama.
  • Veri kökeni ve gözlemlenebilirlik: Veri çıkışlarını, bağımlılıkları ve kullanım desenlerini anlamak için veri akışlarını ve dönüşümlerini izleme.
  • Veri kalitesi yönetimi: Karar alma ve analiz için verilerin doğru, eksiksiz, tutarlı ve güvenilir olmasını sağlama.
  • Meta veri yönetimi: Bulunabilirliği ve anlayışı geliştirmek için veri varlıkları hakkındaki bilgileri yakalama ve koruma.
  • Uyumluluk uygulama: Veri gizliliği, saklama ve kullanım için mevzuat gereksinimlerini ve kuruluş ilkelerini karşılama.

Bu sayfa, Azure Databricks'te Unity Kataloğu kullanılarak verilerin idaresine odaklanır. Kimlik doğrulaması, ağ yapılandırması, veri şifrelemesi ve gizlilik uyumluluğu gibi ilgili güvenlik konuları Güvenlik ve uyumluluk ile Uyumluluğagenel bakış bölümünde ele alınmıştır.

Unity Kataloğu veri idare modeli

Unity Kataloğu , birden çok biçimde hem yapılandırılmış hem de yapılandırılmamış veriler için idare sağlayan merkezi bir veri kataloğudur. Makine öğrenmesi modelleri gibi yapay zeka varlıklarının ayrıntılı erişim denetimi ve idaresini sunar. Unity Kataloğu açık kaynaktır ve birden çok platformu destekler. Azure Databricks ile tümleşiktir.

Unity Kataloğu, aşağıdakileri sağlayan eksiksiz bir veri idare çözümüdür:

  • Veri birleştirme: Tüm verilerin ve yapay zeka varlıklarının platformlar arasında birleşik görünümü, yinelenenleri ve yayılmayı azaltır.
  • Veri erişim denetimi: Verilerin erişilebilir olmasını ancak yalnızca doğru kullanıcılar için erişilebilir olmasını sağlayan araçlar.
  • Veri bulunabilirliği: İhtiyacınız olan verileri bulmayı kolaylaştıran araçlar.
  • Veri kalitesi: Yaşam döngüsü boyunca doğru, eksiksiz, tutarlı ve güvenli verilerin sağlanmasına yönelik araçlar.
  • Veri işbirliği ve paylaşım: Verileri yalnızca kuruluşunuz içinde değil, kuruluş ve platform sınırları arasında güvenli bir şekilde paylaşma araçları.
  • Denetim: Verileri kimlerin ve nasıl kullandığını yakalayan araçlar.

Bu sayfada, kuruluşunuzun Azure Databricks'teki Unity Kataloğu'nu kullanarak bu gereksinimleri nasıl karşılayabildiği açıklanmaktadır.

Veri erişim denetimi

Unity Catalog, kullanıcıların yalnızca yapmaları gereken verilere erişmesini sağlamak için kullanıcılara, gruplara ve hizmet sorumlularına hesap düzeyinden tablo satırlarına ve sütunlarına kadar veri ve yapay zeka varlıklarına erişim vermenizi sağlayan hiyerarşik bir ayrıcalık modeli sağlar. Ayrılmış Unity Kataloğu depolama alanında depolanan veya bulut depolama veya veritabanı sistemleri gibi diğer platformlarda depolanan varlıklara erişimi denetleyebilirsiniz: Önemli olan, Unity Kataloğu'nun kullanıcılarınıza nerede olursa olsun, Azure Databricks'in içinden tüm verilerinize potansiyel erişim vermesi ve Unity Kataloğu'nun erişimlerini denetlemesi ve veri kullanımını izlemesidir.

Görev Açıklama
Ayrıcalıkları yönetme Unity Kataloğu'un yönettiği güvenli hale getirilebilir nesneler ve bunlara erişimi denetleme hakkında bilgi edinin.
Öznitelik tabanlı erişim denetimini (ABAC) yönetme Unity Kataloğu'nda ABAC kullanarak verilere erişimi denetlemeyi öğrenin.
Kimlikleri yönetme Unity Kataloğu bağlamında kimlikleri yönetmeyi öğrenin.
Ayrıntılı erişim denetimi Satır filtrelerini ve sütun maskelerini kullanarak tablo verilerine erişimi denetlemeyi öğrenin.
Dış depolama ve veri platformlarına erişimi yönetme Unity Kataloğu'nu kullanarak bulut depolamaya, dış veri platformlarına ve harici veri olmayan hizmetlere erişimi denetlemeyi öğrenin.
Dış platformlardan erişimi yönetme Unity Kataloğu'un Apache Iceberg veya açık kaynak Unity Kataloğu API'lerini kullanan dış platformlardan verilerinize erişimi nasıl yönetebileceğini öğrenin.

Veri bulunabilirliği

Azure Databricks ve Unity Kataloğu, kullanıcıların ihtiyaç duydukları verileri bulmasına yardımcı olmak için aşağıdaki araçları sağlar:

Özellik Açıklama
Katalog Gezgini Varlık adlarını ve yorumlar ile etiketler gibi meta verileri kullanarak veri ve yapay zeka varlıklarına göz atın ve arayın.
Katalog tarayıcıları Not defteri ve SQL sorgu düzenleyicilerinde yerleşik olarak bulunan tarayıcıları kullanarak verileri ve yapay zeka varlıklarını bulun. Bkz. Databricks not defteri ve dosya düzenleyicisinde gezinme ve Yeni SQL düzenleyicisinde sorgu yazma ve verileri keşfetme.
Yapay zeka tarafından oluşturulan açıklamalar Bulunabilirliğe yardımcı olmak için verilerin ve yapay zeka varlıklarının belgelerini otomatik olarak oluşturun.
Tablo içgörüleri Unity Kataloğu'ndaki herhangi bir tablonun en sık kullanılan kullanıcılarını ve sorgularını görüntülemek için Katalog Gezgini'nde yerleşik bir kullanıcı arabirimi kullanın.
Veri soy ağacı Verilerin kuruluşunuzda nasıl aktığını yakalayın ve görselleştirin.
Özellik ve model kökeni için bkz. Özellik yönetimi ve kökeni.
Varlık ilişkisi diyagramları (ERD) Yabancı anahtar tanımlanmış tablolar için ilişkileri görüntüleyin.

Ayrıca bkz. Verileri bulma.

Veri kalitesi izleme

Veri kalitesini ve veri bütünlüğünü sağlamaya yönelik araçlar Delta Lake, Apache Spark ve Azure Databricks ile derinlemesine tümleşiktir. Azure Databricks belgelerinde bunlar hakkında bilgi edinebilirsiniz.

Unity Kataloğu aşağıdakileri ekler:

Özellik Açıklama
Veri kalitesi izleme Veri kalitesi izleme, Unity Kataloğu'ndaki tüm veri varlıklarınızın kalitesini sağlamanıza yardımcı olur. Tek bir tablonun istatistiksel özelliklerini ve kalitesini izlemek için katalogdaki veya şemadaki tüm tabloların veri kalitesini izlemek için anomali algılama ve veri profili oluşturma içerir.
Sertifikalı ve kullanım dışı sistem etiketleri (Özel Önizleme) Kataloglar, şemalar ve tablolar gibi güvenli hale getirilebilir nesneleri veri kalitesi veya yaşam döngüsü durumu göstergeleriyle etiketle. Bu sistem etiketleri kuruluşların idareyi zorlamalarına, veri bulunabilirliğini geliştirmelerine ve analiz ve yapay zeka uygulamalarına olan güveni artırmalarına yardımcı olur.

Veri işbirliği ve paylaşma

Unity Kataloğu, kullanıcılarınızın aynı bölgedeki tüm hesabınızın çalışma alanlarında aynı veriler üzerinde işbirliği yapmasına olanak tanır. Çalışma alanı bölgeleri, kuruluşlar ve platformlar arasında işbirliğine ihtiyacınız olduğunda, Unity Kataloğu aşağıdaki paylaşım araçlarının temelini sağlar.

Özellik Açıklama
Delta Paylaşımı Azure Databricks'teki verileri ve yapay zeka varlıklarını kuruluşunuzun dışındaki kullanıcılarla (bu kullanıcıların Databricks kullanıp kullanmadığı) paylaşmanızı sağlayan güvenli bir veri paylaşım platformu.
Odaları Temizle Databricks ve Databricks dışı platformlardaki birden çok katılımcının temel alınan verileri birbirleriyle paylaşmadan projeler üzerinde işbirliği yapabilecekleri Databricks tarafından yönetilen bir ortam.
Databricks Pazaryeri Veri alışverişi ve yapay zeka ürünleri için açık bir forum. Ayrıca özel bir veri değişimi de sağlar.

Denetim

Denetim günlükleri , belirli bir veri kümesine erişen kişiler ve gerçekleştirdikleri eylemler hakkında ayrıntılı ayrıntıları yakalar. Unity Kataloğu, hesabınızın denetim günlüklerine erişmenin ve bunları sorgulamanın en kolay yolu olan sistem tablolarını ekler.

Bkz. Tanılama günlüğü referansı ve Sistem tabloları kullanarak hesap etkinliğini izleme.

Eski Azure Databricks veri idare araçları

Azure Databricks bu eski idare özelliklerini de sağlar. Databricks bunun yerine Unity Kataloğu kullanmanızı önerir.

Özellik Açıklama
Tablo erişim denetimi Çalışma alanınızın yerleşik Hive meta veri deposu tarafından yönetilen nesnelere program aracılığıyla erişim vermenizi ve erişimi iptal etmenizi sağlayan eski bir veri idare modeli.
Azure Data Lake Storage kimlik bilgisi aktarımı Azure Databricks'de oturum açmak için kullandığınız Microsoft Entra Id kimliğini kullanarak Azure Databricks kümelerinden Azure Depolama'da otomatik olarak kimlik doğrulaması yapmanıza olanak tanıyan eski bir veri idaresi özelliği.

Sonraki Adımlar

  • Last updated on