Veri Sınıflandırma

Bu sayfada, kataloğunuzdaki hassas verileri otomatik olarak sınıflandırmak ve etiketlemek için Unity Kataloğu'nda Databricks Veri Sınıflandırması'nın nasıl kullanılacağı açıklanır.

Veri kataloglarında, genellikle bilinen ve bilinmeyen hassas veriler içeren çok miktarda veri bulunabilir. Veri ekiplerinin her tabloda ne tür hassas verilerin bulunduğunu anlaması kritik önem taşır; böylece bu verilere erişimi hem idare edebilir hem de demokratikleştirebilirler.

Bu sorunu gidermek için Databricks Veri Sınıflandırması, kataloğunuzdaki tabloları otomatik olarak sınıflandırmak ve etiketlemek için bir aracı kullanır. Bu, Unity Kataloğu'ndaki Öznitelik tabanlı erişim denetimi gibi araçları kullanarak hassas verileri bulmanızı ve sonuçlar üzerinde idare denetimleri uygulamanızı sağlar. Desteklenen etiketlerin listesi için bkz . Desteklenen sınıflandırma etiketleri.

Bu özelliği kullanarak şunları yapabilirsiniz:

• Verileri sınıflandırma: Altyapı, Unity Kataloğu'ndaki tabloları otomatik olarak sınıflandırmak ve etiketlemek için aracı bir yapay zeka sistemi kullanır.
• Akıllı tarama ile maliyeti iyileştirme: Sistem, Unity Kataloğu ve Veri Zekası Altyapısı'nı kullanarak verilerinizin ne zaman tarandığını akıllı bir şekilde belirler. Bu, tüm yeni verilerin el ile yapılandırma olmadan sınıflandırılmasını sağlamak için taramanın artımlı ve iyileştirilmiş olduğu anlamına gelir.
• Hassas verileri gözden geçirme ve koruma: Sonuçlar görüntüsü, sınıflandırma sonuçlarını görüntülemenize ve her sınıf için etiketleyip erişim denetimi ilkeleri oluşturarak hassas verileri korumanıza yardımcı olur.

Hesap ve meta veri deposu yöneticileri, hassas veri algılamaları olan tabloların yüzdesi gibi sınıflandırma kapsamını İdare Merkezi'ndeki Veri sayfasında izleyebilir.

Önemli

Databricks Veri Sınıflandırması, sınıflandırma sonuçlarını depolamak için varsayılan depolamayı kullanır. Depolama için faturalandırılmazsınız.

Databricks Veri Sınıflandırması, sınıflandırmaya yardımcı olmak için büyük bir dil modeli (LLM) kullanır.

Gereksinimler

• Çalışma alanınızda sunucusuz işlem kullanılabilir olmalıdır (Unity Kataloğu içeren çalışma alanlarında varsayılan olarak etkindir).
• Veri sınıflandırmasını etkinleştirmek için kataloğa sahip olmanız veya bu ayrıcalığa sahip MANAGE olmanız gerekir.
• Otomatik etiketlemeyi etkinleştirmek için katalogda USE CATALOG olmalı, katalogda APPLY TAG olmalı ve uygulanan etiket üzerinde ASSIGN olmalıdır.
• Kullanıcı arayüzünde sınıflandırma sonuçlarını görmek için aşağıdaki seçeneklerden birini elde etmeniz gerekir:
  • MANAGE katalogda, ya da
  • READ METADATA katalogda, ya da
  • USE CATALOG, USE SCHEMA, ve SELECT katalogda yer alıyor.
• Algılamalarla ilişkili örnek değerleri görmek için SELECT olması gerekir.

Uyarı

Varsayılan olarak, yalnızca hesap yöneticilerinin veri sınıflandırma sistemi tarafından yönetilen etiketler üzerinde MANAGE ve ASSIGN izinleri vardır. Hesap yöneticileri, diğer kullanıcılara, hizmet sorumlularına veya gruplara, yönetilen etiketler için MANAGE ve ASSIGN yetkisi verebilir. Bkz. yönetilen etiketler üzerindeki izinleri yönetme.

Veri sınıflandırmayı kullanma

Sonuçlar sayfasından birden çok katalog için veri sınıflandırmasını aynı anda etkinleştirebilir veya daha ayrıntılı şema düzeyi denetimiyle tek tek katalogları yapılandırabilirsiniz.

Birden çok kataloğu etkinleştirme

1. Veri Sınıflandırma sonuçları sayfasında Yapılandır'a tıklayın.
2. Etkinleştirmek istediğiniz katalogları seçin veya çalışma alanında kullanılabilir tüm katalogları seçin.
3. Etkinleştir’e tıklayın.

Kullanılabilir tüm katalogların etkinleştirilmesi, gelecekteki katalogları otomatik olarak etkinleştirmez. Yeni bir kataloğu sınıflandırmak için Yapılandır iletişim kutusuna dönün ve etkinleştirin.

Şema seçimiyle tek bir kataloğu etkinleştirme

Katalogdaki hangi şemaların taranacaklarını denetlemek için:

1. Kataloğa gidin ve Ayrıntılar sekmesine tıklayın.

   

2. Veri Sınıflandırma'nın yanındaki Etkinleştir düğmesine tıklayın.

3. Veri Sınıflandırma iletişim kutusu görüntülenir. Hangi şemaların taranacaklarını seçmek için Şema kapsamı açılan menüsünü kullanın:

   • Tüm seçili ve gelecekteki şemalar (varsayılan): Mevcut şemaları ve gelecekte oluşturulan tüm yeni şemaları otomatik olarak tarar. Tarama dışında tutmak istediğiniz mevcut şemaların yanındaki onay kutusunu temizleyin.
   • Yalnızca seçili şemalar: Yalnızca seçtiğiniz şemaları tarar. Yeni şemalar siz listeye ekleyene kadar taranmıyor.

   Kullanım ilkesi de seçebilirsiniz.

   

4. Kaydet'e tıklayın.

Bu, katalogdaki veya seçili şemalardaki tüm tabloları artımlı olarak tarayan bir arka plan işi oluşturur.

Sınıflandırma altyapısı, bir tablonun ne zaman tarandığını belirlemek için akıllı taramaya dayanır. Katalogdaki yeni tablolar ve sütunlar genellikle oluşturulduktan sonraki 24 saat içinde taranır.

Tam taramayı manuel olarak tetikleyin

İlk taramadan sonra, istediğiniz zaman tam taramayı manuel olarak tetikleyebilirsiniz. Tam tarama, veri sınıflandırmasının etkinleştirildiği şema ve kataloglardaki tüm tabloları yeniden değerlendirir. Dışarıda bıraktığınız veya seçmediğiniz şemaları taramaz. Tarama, mevcut ve yeni verilerinize yeni yapılandırılmış sınıfları uygular ve ilk taramaya benzer hesaplama maliyetleri oluşturur.

Bir katalog için tam tarama başlatmak için:

1. Kataloğa gidin ve Ayrıntılar sekmesine tıklayın.

2. Veri Sınıflandırması'nın yanında, Veri Sınıflandırma Arayüzü'nü açmak için Sonuçları Gör seçeneğine tıklayın.

3. Varsayılan olarak, kapsam olarak katalog seçilir. Tam taramayı tetikle.

   

Sınıflandırma sonuçlarını görüntüleme

Sınıflandırma sonuçlarını görüntülemek için Veri Sınıflandırması ayarının yanındaki Sonuçları görüntüle'ye tıklayın.

Bu, kataloğun Veri Sınıflandırma kullanıcı arabirimini açar. Sınıflandırma sonuçlarını görüntülemek için sunucusuz bir SQL ambarı gerekir.

Ayrıca sol üstteki katalog seçiciyi kullanarak meta veri deposundaki tüm sınıflandırılmış kataloglarda toplu sonuçları görüntüleyebilirsiniz. Açılan menüden Tüm kataloglar'ı seçin.

Her sınıflandırma türü için tabloda şu gösterilir:

• Algılanan sütunlar: Sınıflandırmanın algılandığı sütun sayısı.
• Otomatik etiketleme: Bu sınıflandırma için etiketleme durumu : Etkin veya Etkin Değil. Meta veri deposu görünümünde Kısmen Etkin durumu, bazı kataloglarda etiketlemenin etkinleştirildiğini ancak tüm kataloglarda etkinleştirilmediğini gösterir.
• Kullanıcı Erişimi (son 7d): Son 7 gün içinde maskelenmemiş ve bu sınıflandırmanın maskelenmiş verilerine erişen ayrı kullanıcıların sayısı. Kuruluşunuz genelinde hassas verilerin açığa çıkarma durumunu değerlendirmek için bunu kullanın.

Algılamaları gözden geçirme

Belirli bir sınıflandırma türünün sonuçlarını gözden geçirmek için en sağdaki sütunda Gözden Geçir'e tıklayın. İki sekmeli bir panel görüntülenir:

• Algılanan Sütunlar: Sınıflandırma etiketinin algılandığı sütunları en son algılamaya göre sıralanmış olarak yüksek güvenle görüntüler. Ayrıca zaman içindeki algılamalar grafiğini ve örnek değerleri içeren algılanan sütunların listesini içerir. Bu tarihe ilişkin belirli algılamaları görmek için grafikteki herhangi bir çubuğu tıklatın. Örnek değerler yalnızca sınıflandırma sonuçlarını görüntülemek için gerekli izinlere sahipseniz görünür.
• Kullanıcı Erişimi: Bu sınıflandırma etiketine sahip sütunlara erişen tüm kullanıcıları listeler ve e-posta ve kullanıcı adlarının yanı sıra maskeli veya maskesiz erişime sahip olup olmadıklarını gösterir. Ayrıca, bu sınıflandırma etiketine atanan öznitelik tabanlı erişim denetimi (ABAC) ilkelerini de gösterir. Tek bir kataloğun sonuçlarını görüntülerken doğrudan panelden yeni bir ABAC ilkesi oluşturabilirsiniz.

Algılanan sütunlar yanlışsa girdinin sağındaki Dışla simgesine tıklayabilirsiniz. Bkz Tespitleri hariç tut.

Otomatik etiketlemeyi etkinleştirme

Tanımlanan sütunlar beklentilerinize uyuyorsa sınıflandırma etiketi için otomatik etiketlemeyi etkinleştirebilirsiniz. Otomatik etiketleme etkinleştirildiğinde, bu sınıflandırmanın tüm mevcut ve gelecekteki algılamaları etiketlenir.

Otomatik etiketlemeyi iki düzeyde yapılandırabilirsiniz:

• Meta veri deposu düzeyi: Tüm kataloglarda aynı anda etkinleştirin veya devre dışı bırakın. Meta veri deposu yöneticisi olmanız ve ASSIGN etiketin uygulanmış olması gerekir.
• Katalog düzeyi: Yalnızca geçerli katalog için etkinleştirin veya devre dışı bırakın. Katalog düzeyi ayarları meta veri deposu düzeyi ayarından önceliklidir. Katalogda USE CATALOG ve APPLY TAG ve uygulanan etikette ASSIGN olmalıdır.

Katalog düzeyinde otomatik etiketlemenin üç durumu vardır:

• Varsayılan (devralındı): Katalog, etiketleme ayarını meta veri deposu düzeyinden devralır.
• Etkin: Meta veri deposu düzeyi ayarından bağımsız olarak etiketleme bu katalog için açıkça etkinleştirilir.
• Etkin değil: Meta veri deposu düzeyi ayarından bağımsız olarak etiketleme bu katalog için açıkça devre dışı bırakıldı.

Etiketlemeyi devre dışı bırakırsanız, gelecekteki hiçbir etiket uygulanmaz, ancak mevcut etiketler kaldırılmaz.

Uyarı

Otomatik etiketlemeyi etkinleştirdiğinizde etiketler hemen yedeklenmez. Bunlar bir sonraki taramada doldurulacak ve bu da 24 saat içinde geçerli olacaktır. Sonraki sınıflandırmalar hemen etiketlenir.

Algılamaları hariç tut

Önemli

Algılama dışlamaları ve bunların gelecekteki sınıflandırma doğruluğunu artırmak için kullanımları, Beta aşamasındadır.

Gözden geçirme panelinde tek tek sütun algılamalarını dışlayabilirsiniz. Algılama hariç:

• Mevcut sınıflandırma etiketlerini bu sütundan kaldırır.
• Gelecekteki taramaların etiketi bu sütuna yeniden uygulamasını engeller.
• Gelecekteki sınıflandırma sonuçlarının doğruluğunu geliştiren geri bildirim sağlar.

Algılamayı dışlamak için gözden geçirme panelinde ilgili sütunun Dışla simgesine tıklayın. Algılamayı yeniden eklemek için simgeye yeniden tıklayın.

Sonuç sistemi tablosu

Veri sınıflandırması, varsayılan olarak yalnızca hesap yöneticisi tarafından erişilebilen sonuçları depolamak için adlı system.data_classification.results bir sistem tablosu oluşturur. Hesap yöneticisi bu tabloyu paylaşabilir. Tabloya yalnızca sunucusuz işlem kullandığınızda erişilebilir. Bu tablo hakkında ayrıntılı bilgi için bkz. Veri sınıflandırma sistemi tablo başvurusu.

Önemli

Sonuçlar tablosu system.data_classification.results , meta veri deposunun tamamında tüm sınıflandırma sonuçlarını içerir ve her katalogdaki tablolardan örnek değerler içerir. Bu tabloyu yalnızca örnek değerler de dahil olmak üzere meta veri deposu genelindeki sınıflandırma sonuçlarını görme ayrıcalığı olan kullanıcılarla paylaşmalısınız.

Bu tabloya erişimi olan SELECT kullanıcılar, Veri Sınıflandırma sonuçları sayfasında algılamalarla ilişkili örnek değerleri de görebilir.

Veri sınıflandırma sonuçlarına göre idare denetimlerini ayarlama

ABAC ilkesi kullanarak hassas verileri maskele

Databricks, veri sınıflandırma sonuçlarına dayalı idare denetimleri oluşturmak için Unity Kataloğu'nda Öznitelik tabanlı erişim denetiminin kullanılmasını önerir.

Veri Sınıflandırması sonuçları sayfasından bir ilke oluşturmak için Sınıflandırma etiketi için Gözden Geçir'e tıklayın, Kullanıcı Erişimi sekmesini açın ve Yeni ilke'ye tıklayın. İlke formu, sınıflandırma etiketi gözden geçirilmekte olan sütunları maskeleyecek şekilde önceden doldurulur. Verileri maskelemek için Unity Kataloğu'nda kayıtlı herhangi bir maskeleme işlevini belirtin ve Kaydet'e tıklayın.

Birden çok sınıflandırma etiketini kapsayan bir ilke de oluşturabilirsiniz, sütunkoşulu karşılar olarak değiştirip birden fazla etiket belirterek.

Örneğin, herhangi bir adı, e-postayı veya telefon numarasını maskeleyen "Gizli" adlı bir ilke oluşturmak için, koşulu karşılayanhas_tag("class.name") OR has_tag("class.email_address") OR has_tag("class.phone_number") olarak ayarlayın.

GDPR tespit ve silme

Bu örnek not defteri, GDPR uyumluluğu için veri bulma ve silme işlemine yardımcı olması için veri sınıflandırmasını nasıl kullanabileceğinizi gösterir.

Veri sınıflandırma not defterini kullanarak GDPR bulma ve silme

Dizüstü bilgisayar al

Yanlış etiketleri işleme

Sınıflandırma yanlışsa algılamayı gözden geçirme panelinden hariç tutun. Bir algılamayı dışlamak, etiketi kaldırarak yeniden uygulanmasını engeller ve gelecekteki taramaların doğruluk seviyesini artırır. Bkz Tespitleri hariç tut.

Tarama hataları

Tarama sırasında herhangi bir hata oluşursa sonuçlar tablosunun sağ üst kısmında bir Hatalar düğmesi görüntülenir.

Taramada başarısız olan tabloları ve ilişkili hata iletilerini görüntülemek için düğmeye tıklayın.

Varsayılan olarak, tek tek tablolar için oluşan hatalar atlanır ve sonraki gün yeniden denener.

Veri Sınıflandırması giderlerini görüntüleme

Veri Sınıflandırması'nın nasıl faturalandırıldığından anlamak için fiyatlandırma sayfasına bakın. Sorgu çalıştırarak veya kullanım panosunu görüntüleyerek Veri Sınıflandırması ile ilgili giderleri görüntüleyebilirsiniz.

Uyarı

Bu taramalar artımlı olduğundan ve genellikle daha düşük maliyetlere neden olduğundan, ilk tarama aynı katalogdaki sonraki taramalardan daha maliyetlidir.

Sistem tablosundan kullanım görüntüle system.billing.usage

Veri Sınıflandırması giderlerini içinden system.billing.usagesorgulayabilirsiniz. alanlar created_by ve catalog_id isteğe bağlı olarak maliyetleri bölmek için kullanılabilir:

• created_by: Kullanımı tetikleyen kullanıcının maliyetlerini görmek için ekleyin.
• catalog_id: Maliyetleri kataloğa göre görmek için ekleyin. Katalog kimliği tabloda gösterilir system.data_classification.results .

Son 30 gün için örnek sorgu:

SELECT
   usage_date,
   identity_metadata.created_by,
   usage_metadata.catalog_id,
   SUM(usage_quantity) AS dbus
FROM
   system.billing.usage
WHERE
   usage_date >= DATE_SUB(CURRENT_DATE(), 30)
  AND billing_origin_product = 'DATA_CLASSIFICATION'
GROUP BY
   usage_date,
   created_by,
   catalog_id
ORDER BY
   usage_date DESC,
   created_by;

Dolar toplam maliyetini hesaplamak için system.billing.list_prices ile birleştirin. Aşağıdaki örnek sorgu, liste fiyatında çarpan olarak adlandırılmış bir parametre :add_on_rate kullanır. 1 değerine ayarlayın, liste fiyatını doğrudan kullanmak için veya üzerinde anlaşmaya varılan indirimi yansıtmak üzere 1 değerinden daha küçük bir değere ayarlayın (örneğin, %10 indirim için 0.9 değerine).

Son 30 gün içindeki toplam dolar maliyeti için örnek sorgu:

SELECT
  u.usage_date,
  SUM(u.usage_quantity * lp.pricing.effective_list.default) * :add_on_rate
    AS `Data Classification Dollar Cost`
FROM system.billing.usage AS u
JOIN system.billing.list_prices AS lp
  ON lp.sku_name = u.sku_name
WHERE
  u.billing_origin_product = 'DATA_CLASSIFICATION'
  AND u.usage_end_time >= lp.price_start_time
  AND (lp.price_end_time IS NULL OR u.usage_end_time < lp.price_end_time)
  AND u.usage_date >= DATE_ADD(CURRENT_DATE(), -30)
GROUP BY
  u.usage_date
ORDER BY
  u.usage_date DESC;

Kullanım gösterge panelinden kullanımı görüntüle

Çalışma alanınızda zaten yapılandırılmış bir kullanım panonuz varsa, 'Veri Sınıflandırması' etiketli Faturalama Kaynağı Project seçerek kullanımı filtrelemek için bu panoyu kullanabilirsiniz. Yapılandırılmış bir kullanım kontrol paneliniz yoksa, bir tanesini içeri aktarabilir ve aynı filtrelemeyi uygulayabilirsiniz. Ayrıntılar için bkz . Kullanım panoları.

Desteklenen sınıflandırma etiketleri

Genel etiketler, bölgesel etiketler ve uyumluluk çerçeveleri (PII, PCI DSS, GDPR, HIPAA, GLBA, DPDPA ve PIPEDA) tarafından düzenlenen desteklenen etiketlerin tam listesi için bkz . Desteklenen sınıflandırma etiketleri.

Sınırlamalar

• Görünümler ve ölçüm görünümleri desteklenmez. Görünüm mevcut tabloları temel alıyorsa Databricks, hassas veriler içerip içermediklerini görmek için temel tabloları sınıflandırmanızı önerir.