Klasyfikatory niestandardowe

Ważna

Ta funkcja jest dostępna w wersji beta. Administratorzy obszaru roboczego mogą kontrolować dostęp do tej funkcji ze strony Podglądy . Zobacz Zarządzanie wersjami zapoznawczami usługi Azure Databricks.

Na tej stronie opisano, jak tworzyć niestandardowe klasyfikatory i nimi zarządzać na potrzeby Databricks Data Classification w Unity Catalog. Klasyfikatory niestandardowe rozszerzają wbudowany system klasyfikacji , dzięki czemu można wykrywać poufne dane specyficzne dla organizacji, takie jak wewnętrzne identyfikatory pracowników, zastrzeżone kody produktów, identyfikatory dostawców lub numery kont partnera.

Aby utworzyć klasyfikator niestandardowy, najpierw wybierz tag zarządzany. Następnie opisz dane do wykrycia, podaj przykładowe kolumny zawierające reprezentatywne wartości lub oba te kolumny. Azure Databricks generuje podgląd tego, co wykrywa klasyfikator, aby można było go przejrzeć przed zapisaniem. Następnie funkcja klasyfikacji danych wykrywa ten klasyfikator podczas regularnych skanowań.

Za pomocą niestandardowych klasyfikatorów można wykonywać następujące czynności:

• Oznaczanie danych specyficznych dla organizacji: wykrywanie i konfigurowanie automatycznego tagowania dla typów danych unikatowych dla organizacji, takich jak identyfikatory pracowników, kody partnerów lub wewnętrzne numery kont.
• Rozszerz mechanizmy nadzoru: zastosuj maski ABAC na poziomie kolumn do danych wrażliwych.

Note

Niestandardowa konfiguracja klasyfikatora oraz metadane detekcji, które usługa Azure Databricks generuje na podstawie przykładowych kolumn, są szyfrowane w stanie spoczynku. Aby zarządzać kluczem szyfrowania, możesz użyć klucza zarządzanego przez klienta (CMK) w katalogu systemowym. Skonfigurowanie klucza CMK w katalogu systemowym powoduje zaszyfrowanie wszystkich danych w katalogu systemowym, a nie tylko niestandardowych danych klasyfikatora.

Requirements

• Klasyfikacja danych musi być włączona w co najmniej jednym wykazie w magazynie metadanych. Zobacz Używanie klasyfikacji danych.
• Obszar roboczy musi mieć włączone zasoby obliczeniowe bezserwerowe (domyślnie włączone w obszarach roboczych z Unity Catalog).
• Aby utworzyć, edytować lub usunąć klasyfikator niestandardowy, musisz być administratorem magazynu metadanych.
• Aby utworzyć lub edytować klasyfikator niestandardowy, musisz mieć ASSIGN uprawnienia do zarządzanego tagu używanego przez klasyfikator. Zobacz Zarządzanie uprawnieniami do zarządzanych tagów.
• Aby wybrać przykładową kolumnę dla klasyfikatora, musisz mieć SELECT w tabeli zawierającej ją. Azure Databricks pobiera próbki z kolumny, aby wygenerować podgląd.

Tworzenie niestandardowego klasyfikatora

1. Na stronie Wyniki klasyfikacji danych kliknij pozycję Zarządzaj niestandardowymi klasyfikatorami.

   

2. W panelu bocznym Klasyfikatory niestandardowe kliknij pozycję Dodaj klasyfikator.

3. Wybierz tag. Wybierz istniejącą zarządzaną etykietę lub utwórz nową etykietę, aby zdefiniować ją na miejscu. Jeśli tag ma dozwolone wartości, wybierz określoną wartość, którą chcesz wykryć.

   

4. Zdefiniuj klasyfikator. Podaj opis, przykładowe kolumny lub obie te kolumny, aby Azure Databricks dowiedzieć się, co należy skanować:

   • W temacie Opis sposobu klasyfikowania opisz dane do wykrywania w języku prostym, takim jak Columns that store a person's contact details.
   • W obszarze Wybierz przykładowe kolumny danych przejrzyj drzewo katalogu i wybierz maksymalnie 10 kolumn zawierających reprezentatywne wartości dla klasy.

   Aby dowiedzieć się, jak napisać skuteczny opis i wybrać dobre przykładowe kolumny, zobacz Definiowanie klasyfikatora.

   

5. Wygeneruj klasyfikator. Azure Databricks generuje podgląd tego, co wykrywa klasyfikator. Aby dostosować wynik, edytuj opis lub przykładowe kolumny, a podgląd zostanie wygenerowany ponownie. Zobacz Podgląd klasyfikatora.

   

6. Kliknij pozycję Utwórz. Ten przycisk pozostaje wyłączony do momentu wygenerowania podglądu.

Wykrycia z klasyfikatora niestandardowego są zwykle wyświetlane na stronie wyników w ciągu kilku godzin.

Definiowanie klasyfikatora

Klasyfikator niestandardowy definiuje się za pomocą opisu, przykładowych kolumn lub obu tych elementów.

Opis wyjaśnia, jakie dane reprezentują, i ma bezpośredni wpływ na sposób, w jaki Azure Databricks generuje klasyfikator. Za pomocą opisu można nauczyć usługę Azure Databricks uwzględniania lub wykluczania dopasowań (na przykład „numerów telefonów należących do poszczególnych klientów, a nie publicznych numerów infolinii pomocy technicznej lub sprzedaży”).

Kolumny próbki pomagają usłudze Azure Databricks określić strukturę danych, które mają zostać poddane próbkowaniu. Potrzebujesz uprawnienia SELECT do tabeli, aby używać kolumn tej tabeli jako próbek.

Klasyfikator niestandardowy ma zastosowanie do wszystkich katalogów w magazynie metadanych z włączoną klasyfikacją danych. Określanie zakresu według wykazu lub schematu nie jest obsługiwane.

Podgląd klasyfikatora

Przed zapisaniem klasyfikatora niestandardowego Azure Databricks generuje podgląd, aby można było zweryfikować jego reguły wykrywania. W wersji zapoznawczej opisano, co klasyfikator wykrywa w języku zwykłym i pokazuje przykładowe pasujące nazwy kolumn i wartości.

Kolumny i wartości w wersji zapoznawczej są przykładami generowanymi przez sztuczną inteligencję, a nie rzeczywistymi danymi tabeli. Jeśli podgląd nie jest zgodny z tym, co chcesz wykryć, zmodyfikuj opis lub przykładowe kolumny, aby wygenerować nową wersję zapoznawcza.

Zarządzanie klasyfikatorami niestandardowymi

Panel boczny Klasyfikatory niestandardowe zawiera listę wszystkich niestandardowych klasyfikatorów skonfigurowanych dla magazynu metadanych. Na tym panelu można wyszukiwać według nazwy tagu, edytować istniejący klasyfikator lub usuwać klasyfikator.

Edytowanie klasyfikatora niestandardowego

Aby zaktualizować istniejący klasyfikator niestandardowy:

1. W panelu bocznym Klasyfikatory niestandardowe wybierz klasyfikator niestandardowy, który chcesz edytować. Widok edycji przedstawia zapisany opis klasyfikatora, przykładowe kolumny i podgląd.
2. Edytuj opis lub dodaj lub usuń przykładowe kolumny. Azure Databricks automatycznie ponownie generuje podgląd.
3. Jeśli podgląd jest poprawny, kliknij przycisk Aktualizuj.

Istniejące wykrycia z poprzedniej konfiguracji pozostają w miejscu.

Nie można zmienić zarządzanego tagu i wartości tagu po utworzeniu klasyfikatora niestandardowego. Aby przełączyć się na inny tag, usuń klasyfikator niestandardowy i utwórz nowy.

Usuwanie klasyfikatora niestandardowego

1. W panelu bocznym Klasyfikatory niestandardowe wybierz klasyfikator niestandardowy, który chcesz usunąć.
2. Kliknij przycisk Usuń.
3. Potwierdź usunięcie.

Po usunięciu klasyfikatora niestandardowego:

• Dla tego klasyfikatora nie są tworzone żadne nowe wykrycia.
• Istniejące wykrycia są usuwane ze strony wyników klasyfikacji danych.
• Tagi, które zostały już automatycznie zastosowane do kolumn, nie są usuwane automatycznie.

Wyświetlanie niestandardowych wykryć klasyfikatora

Aby wyświetlić niestandardowe wykrycia klasyfikatora, wykonaj te same kroki co w przypadku wbudowanych klasyfikacji. Zobacz Wyświetlanie wyników klasyfikacji.

Ograniczenia

• Można utworzyć maksymalnie 50 niestandardowych klasyfikatorów dla każdego magazynu metadanych.
• Każdy klasyfikator niestandardowy musi mieć opis, przykładowe kolumny lub oba te elementy. Możesz odwoływać się do maksymalnie 10 przykładowych kolumn.
• Nazewnictwo zarządzanych tagów podlega zasadom Polityki tagów.
• Niestandardowe klasyfikatory mają zastosowanie we wszystkich katalogach z włączoną klasyfikacją danych w magazynie metadanych. Określanie zakresu według wykazu lub schematu nie jest obsługiwane.
• Po utworzeniu nie można zmienić etykiety zarządzanej używanej przez klasyfikator niestandardowy. Aby użyć innego tagu, usuń i ponownie utwórz klasyfikator niestandardowy.
• Nowe i zaktualizowane klasyfikatory niestandardowe mają zastosowanie tylko do kolejnych skanowań klasyfikacji danych. Istniejące wyniki skanowania nie są automatycznie ponownie sklasyfikowane, dlatego wykrycia poprzednio zeskanowanych danych pojawiają się po zakończeniu następnego skanowania.
• Wszystkie ograniczenia klasyfikacji danych dotyczą również niestandardowych klasyfikatorów, w tym obsługiwanych typów tabel. Zobacz Ograniczenia.

Troubleshooting

Poniższe tematy ułatwiają rozwiązywanie typowych problemów z klasyfikatorami niestandardowymi.

Klasfikator niestandardowy jest zawieszony

Jeśli klasyfikator niestandardowy nie może już tworzyć wykryć, Azure Databricks je zawiesza i wyświetla ostrzeżenie na stronie wyników klasyfikacji danych. Ostrzeżenie wskazuje przyczynę. Zawieszony klasyfikator niestandardowy nie generuje nowych wykryć.

Azure Databricks zawiesza klasyfikator niestandardowy z następujących powodów:

• Tag zarządzany nie jest już prawidłowy. Usunięto zarządzany tag lub wartość tagu albo brakuje wymaganej wartości tagu. Przywróć tag lub wartość albo usuń klasyfikator niestandardowy i utwórz nowy z prawidłowym tagiem. Edytowanie opisu lub przykładowych kolumn nie powoduje usunięcia tego zawieszenia.
• Azure Databricks nie może wygenerować reguły wykrywania na podstawie podanego opisu i przykładowych kolumn. Edytuj klasyfikator niestandardowy, aby uściślić opis lub zastąpić przykładowe kolumny, które są niedostępne lub nie są reprezentatywne, a następnie zapisz, aby ponownie wygenerować klasyfikator.

Odmowa uprawnień podczas tworzenia lub wyświetlania listy klasyfikatorów niestandardowych

Musisz być administratorem magazynu metadanych. Tworzenie lub edytowanie klasyfikatora niestandardowego dodatkowo wymaga ASSIGN uprawnień do tagu zarządzanego. Zobacz Wymagania.

Nie można wybrać przykładowej kolumny

Na tabeli zawierającej tę kolumnę musisz mieć SELECT. Jeśli nie masz SELECT w tabeli, poproś właściciela tabeli o jej przyznanie lub wybierz inną kolumnę.

Dodatkowe zasoby

• klasyfikacja danych
• Obsługiwane tagi klasyfikacji
• Tagi zarządzane
• Kontrola dostępu oparta na atrybutach w Unity Catalog
• Dokumentacja tabeli systemu klasyfikacji danych