Udostępnij przez

Nadzór nad danymi za pomocą usługi Azure Databricks

Nadzór nad danymi to struktura zasad, procesów, ról i mechanizmów kontroli technicznej, które zapewniają bezpieczeństwo, wiarygodność i odpowiedzialne wykorzystanie danych organizacji w całym cyklu życia. Skuteczny nadzór nad danymi umożliwia utrzymanie jakości danych, ochronę poufnych informacji, spełnianie wymagań prawnych i maksymalizowanie wartości zasobów danych.

Kluczowe składniki zarządzania danymi obejmują:

  • Kontrola dostępu i zabezpieczenia: Implementowanie precyzyjnych uprawnień i środków zabezpieczeń w celu ochrony danych przed nieautoryzowanym dostępem przy jednoczesnym włączeniu odpowiedniego użycia.
  • Pochodzenie danych i możliwość obserwowania: Śledzenie przepływów danych i przekształceń w celu zrozumienia źródeł danych, zależności i wzorców użycia.
  • Zarządzanie jakością danych: zapewnienie, że dane są dokładne, kompletne, spójne i niezawodne na potrzeby podejmowania decyzji i analizy.
  • Zarządzanie metadanymi: przechwytywanie i utrzymywanie informacji o zasobach danych w celu zwiększenia możliwości odnajdywania i zrozumienia.
  • Wymuszanie zgodności: spełnianie wymagań prawnych i zasad organizacyjnych dotyczących prywatności, przechowywania i użycia danych.

Ta strona koncentruje się na zarządzaniu danymi przy użyciu usługi Unity Catalog w usłudze Azure Databricks. Powiązane tematy związane z bezpieczeństwem, takie jak uwierzytelnianie, konfiguracja sieci, szyfrowanie danych i zgodność z przepisami dotyczącymi prywatności, zostały omówione w Zabezpieczenia i zgodność oraz Omówienie zgodności.

Model zarządzania danymi Unity Catalog

Unity Catalog to scentralizowane repozytorium katalogów danych, które zapewnia nadzór zarówno nad danymi strukturalnymi, jak i nieustrukturyzowanymi w wielu formatach. Oferuje szczegółową kontrolę dostępu i nadzór nad zasobami sztucznej inteligencji, takimi jak modele uczenia maszynowego. Unity Catalog jest o otwartym kodzie źródłowym i obsługuje wiele platform. Jest ona głęboko zintegrowana z usługą Azure Databricks.

Unity Catalog to kompleksowe rozwiązanie zarządzania danymi, oferujące następujące elementy:

  • Zjednoczenie danych: ujednolicony widok wszystkich danych i zasobów sztucznej inteligencji na różnych platformach, zmniejszając duplikację i rozrastanie.
  • Kontrola dostępu do danych: narzędzia zapewniające dostępność danych, ale tylko dla odpowiednich użytkowników.
  • Odnajdywanie danych: narzędzia, które ułatwiają znajdowanie potrzebnych danych.
  • Jakość danych: narzędzia zapewniające dokładne, kompletne, spójne i bezpieczne dane w całym cyklu życia.
  • Współpraca i udostępnianie danych: narzędzia do bezpiecznego udostępniania danych nie tylko w organizacji, ale między granicami organizacji i platformy.
  • Inspekcja: narzędzia, które przechwytują, kto używa danych i jak.

Na tej stronie wyjaśniono, jak Twoja organizacja może zaspokoić te potrzeby z wykorzystaniem Unity Catalog w usłudze Azure Databricks.

Kontrola dostępu do danych

Aby upewnić się, że użytkownicy uzyskują dostęp tylko do danych, do których powinni, Unity Catalog udostępnia hierarchiczny model uprawnień, który umożliwia przyznawanie dostępu użytkownikom, grupom i jednostkom zależnym od usługi do danych i zasobów sztucznej inteligencji z poziomu konta aż do poziomu wierszy i kolumn tabel. Możesz kontrolować dostęp do zasobów przechowywanych w dedykowanym magazynie Katalogu Unity lub przechowywanych na innych platformach, takich jak magazyn w chmurze lub systemy baz danych. Kluczem jest to, że Katalog Unity zapewnia użytkownikom potencjalny dostęp do wszystkich Twoich danych, niezależnie od tego, gdzie się znajdują, za pomocą Azure Databricks oraz że Katalog Unity kontroluje ich dostęp i śledzi użycie danych.

Zadanie Opis
Zarządzanie uprawnieniami Dowiedz się o obiektach możliwych do zabezpieczenia zarządzanych przez Unity Catalog i o tym, jak kontrolować dostęp do nich.
Zarządzanie kontrolą dostępu opartą na atrybutach (ABAC) Dowiedz się, jak kontrolować dostęp do danych przy użyciu ABAC w usłudze Unity Catalog.
Zarządzanie tożsamościami Dowiedz się, jak zarządzać tożsamościami w kontekście Unity Catalog.
Szczegółowa kontrola dostępu Dowiedz się, jak kontrolować dostęp do danych tabeli przy użyciu filtrów wierszy i masek kolumn.
Zarządzanie dostępem do zewnętrznego magazynu i platform danych Dowiedz się, jak kontrolować dostęp do magazynu w chmurze, zewnętrznych platform danych i zewnętrznych usług niezwiązanych z danymi przy użyciu Unity Catalog.
Zarządzanie dostępem z platform zewnętrznych Dowiedz się, jak Unity Catalog może zarządzać dostępem do Twoich danych z zewnętrznych platform korzystających z interfejsów API Apache Iceberg lub open-source Unity Catalog.

Odnajdywanie danych

Usługi Azure Databricks i Unity Catalog udostępniają następujące narzędzia ułatwiające użytkownikom znajdowanie danych, których potrzebują:

Funkcja Opis
Eksplorator wykazu Przeglądaj i wyszukuj dane oraz zasoby sztucznej inteligencji przy użyciu nazw zasobów i metadanych, takich jak komentarze i tagi.
Przeglądarki wykazu Znajdowanie danych i zasobów sztucznej inteligencji przy użyciu przeglądarek wbudowanych w notes i edytory zapytań SQL. Zobacz Nawigowanie po notesie usługi Databricks i edytorze plików oraz Pisanie zapytań i eksplorowanie danych w nowym edytorze SQL.
Komentarze generowane przez sztuczną inteligencję Automatyczne generowanie dokumentacji zasobów danych i sztucznej inteligencji w celu ułatwienia odnajdywania.
Analizy tabel Użyj interfejsu użytkownika wbudowanego w Eksploratora Katalogu, aby wyświetlić najczęściej używane zapytania i użytkowników dowolnej tabeli w Unity Catalog.
Pochodzenie danych Przechwytywanie i wizualizowanie sposobu przepływu danych przez organizację.
Aby uzyskać informacje na temat pochodzenia funkcji i modelu, zobacz Zarządzanie funkcjami i pochodzenie.
Diagramy relacji jednostek (ERD) Wyświetlanie relacji dla tabel, które mają zdefiniowane klucze obce.

Zobacz też Odnajdywanie danych.

Monitorowanie jakości danych

Narzędzia zapewniające jakość danych i integralność danych są głęboko zintegrowane z usługami Delta Lake, Apache Spark i Azure Databricks. Informacje o nich można znaleźć w dokumentacji usługi Azure Databricks.

Katalog Unity dodaje następujące elementy:

Funkcja Opis
Monitorowanie jakości danych Monitorowanie jakości danych pomaga zapewnić jakość wszystkich zasobów danych w Unity Catalog. Obejmuje wykrywanie anomalii w celu monitorowania jakości danych wszystkich tabel w wykazie lub schemacie i profilowaniu danych w celu monitorowania właściwości statystycznych i jakości danych poszczególnych tabel.
Certyfikowane i wycofane oznaczenia systemowe (prywatna wersja próbna) Oznacz zabezpieczane obiekty, takie jak wykazy, schematy i tabele, ze wskaźnikami jakości danych lub stanu cyklu życia. Te tagi systemowe ułatwiają organizacjom wymuszanie ładu, zwiększanie możliwości odnajdywania danych i zwiększanie zaufania do aplikacji analitycznych i sztucznej inteligencji.

Współpraca i udostępnianie danych

Unity Catalog umożliwia użytkownikom współpracę nad tymi samymi danymi we wszystkich obszarach roboczych konta w tym samym regionie. Jeśli potrzebujesz współpracy między obszarami roboczymi, organizacjami i platformami, katalog Unity stanowi podstawę dla następujących narzędzi do udostępniania.

Funkcja Opis
Udostępnianie różnicowe Bezpieczna platforma do udostępniania danych, która umożliwia udostępnianie danych i zasobów sztucznej inteligencji w usłudze Azure Databricks użytkownikom spoza organizacji, niezależnie od tego, czy użytkownicy korzystają z usługi Databricks, czy nie.
Czyste pokoje Środowisko zarządzane przez usługę Databricks, w którym wielu uczestników na platformach Databricks i innych niż Databricks może współpracować nad projektami bez udostępniania sobie danych bazowych.
Databricks Marketplace Otwarte forum wymiany danych i produktów sztucznej inteligencji. Zapewnia również prywatną wymianę danych.

Inspekcja

Dzienniki inspekcji przechwytują szczegółowe informacje o tym, kto uzyskał dostęp do danego zestawu danych i wykonane akcje. Unity Catalog dodaje tabele systemowe, co jest najprostszym sposobem na uzyskanie dostępu do dzienników inspekcji konta i wykonywanie na nich zapytań.

Zobacz Dokumentację dziennika diagnostycznego i Monitorowanie aktywności konta przy użyciu tabel systemowych.

Starsze narzędzia do zarządzania danymi w usłudze Azure Databricks

Usługa Azure Databricks udostępnia również te funkcje zarządzania starszego typu. Databricks zaleca, aby korzystać z Unity Catalog.

Funkcja Opis
Kontrola dostępu do tabel Model zarządzania danymi dziedzicznymi, który umożliwia programowe przyznawanie i cofanie dostępu do obiektów zarządzanych przez wbudowany magazyn metadanych Hive obszaru roboczego.
Przekazywanie poświadczeń usługi Azure Data Lake Storage Starsza funkcja zarządzania danymi, która umożliwia automatyczne uwierzytelnianie w usłudze Azure Storage w klastrach Azure Databricks przy użyciu tej samej tożsamości Microsoft Entra ID, używaną do logowania się do usługi Azure Databricks.

Dalsze kroki

  • Last updated on