Co to jest OneLake?

Microsoft OneLake to ujednolicony magazyn danych dla całej organizacji. Każdy tenant Microsoft Fabric automatycznie obejmuje OneLake, które stanowi jedno centralne miejsce na wszystkie Twoje dane analityczne. Jest to centralne repozytorium, w którym można przechowywać i zarządzać wszystkimi danymi na potrzeby analiz i obciążeń sztucznej inteligencji w całej organizacji oraz zarządzać nimi.

OneLake jest oparta na Azure Data Lake Storage i przechowuje tabele w formacie Delta Parquet lub Iceberg, dwa otwarte standardy, które można odczytać za pomocą dowolnego narzędzia. Takie podejście oznacza, że dane nie są zablokowane w zastrzeżonych formatach.

Usługa OneLake zapewnia:

  • Ujednolicony magazyn danych dla całej organizacji z wbudowanym ładem i zabezpieczeniami
  • Jedna kopia danych do użycia z wieloma aparatami analitycznymi bez duplikowania
  • Elastyczna łączność za pośrednictwem eksploratora plików, interfejsów API usługi ADLS Gen2 i integracji usługi Azure
  • Ochrona danych i monitorowanie za pomocą wbudowanej nadmiarowości, odzyskiwania po awarii i diagnostyki dostępu

Ujednolicony magazyn danych

Przed usługą OneLake organizacje często tworzyły wiele jezior dla różnych grup biznesowych, co doprowadziło do dodatkowego obciążenia związanego z zarządzaniem wieloma zasobami. Takie podejście silosowe utrudniało współpracę między zespołami, spowalniało projekty danych i zwiększało ryzyko duplikowania.

Usługa OneLake rozwiązuje te problemy, zapewniając centralny punkt dostępu do danych dla całej organizacji. Każda dzierżawa Fabric zawiera jedno wystąpienie usługi OneLake. Nie można usunąć usługi OneLake ani utworzyć wielu elementów OneLakes i nie ma infrastruktury do aprowizowania ani zarządzania nimi. Działy, zespoły i projekty mogą przechowywać swoje dane lub łączyć się z nimi w tym ujednoliconym jeziorze danych i organizować je przy użyciu domen Fabric, domen podrzędnych i obszarów roboczych — każde z własnym administratorem. Ten model utrzymuje własność danych i umożliwia zarządzanie federacyjne, jednocześnie umożliwiając autoryzowanym użytkownikom odnajdywanie i używanie danych bez problemów.

Centralnie zarządzane z rozproszoną własnością

Dane w usłudze Fabric są zorganizowane w następującej hierarchii na potrzeby organizacji i nadzoru:

  • Dzierżawa: zasady na poziomie dzierżawy automatycznie chronią wszystkie dane, które lądują w usłudze OneLake na potrzeby zabezpieczeń, zgodności i zarządzania danymi.
  • Obszar roboczy: Możesz utworzyć dowolną liczbę obszarów roboczych w dzierżawie, aby uporządkować dane. Obszary robocze umożliwiają różnym częściom organizacji dystrybucję własności i zasad dostępu. Każdy obszar roboczy jest częścią pojemności powiązanej z określonym regionem i rozliczanym oddzielnie.
  • Elementy danych: obszary robocze zawierają elementy danych, takie jak lakehouses, warehouses, eventhouses i KQL database. Każdy typ elementu jest przeznaczony dla określonych obciążeń, takich jak analiza oparta na platformie Spark, zapytania T-SQL, przesyłanie strumieniowe w czasie rzeczywistym i nie tylko.

Diagram przedstawiający funkcję i strukturę elementu OneLake.

Aby uzyskać więcej informacji, zobacz Obszary robocze.

Odkryj i zarządzaj katalogiem OneLake

Katalog OneLake to jedno miejsce dla specjalistów ds. danych i użytkowników biznesowych, które umożliwia odnajdywanie i zarządzanie posiadanych przez siebie danych oraz zarządzanie nimi oraz uzyskiwanie dostępu do nich w usłudze OneLake.

Użytkownicy mogą filtrować według domeny, obszaru roboczego, typu elementu, poręczenia i nie tylko, aby znaleźć dokładnie to, czego potrzebują, z każdym elementem danych wzbogaconym przez metadane, takie jak opisy, właściciele, schemat, pochodzenie i metryki użycia.

Właściciele danych mogą uzyskać wgląd i zalecane działania, które pomogą poprawić jakość danych i zgodność z wymaganiami, w tym wgląd w zakres stosowania etykiet poufności, tagowanie, promowanie i lokalizację danych.

Aby uzyskać więcej informacji, zobacz Katalog OneLake.

Zabezpieczenia

Model zabezpieczeń usługi OneLake umożliwia szeroko udostępniane dane bez ujawniania poufnych informacji. Za pomocą ról zabezpieczeń OneLake można zdefiniować szczegółowe uprawnienia do elementów danych, w dół do określonych folderów, tabel, a nawet wierszy i kolumn. Możesz na przykład udostępnić zestaw danych sprzedaży zespołowi, ale ograniczyć dostęp do Cost kolumny lub zezwolić partnerowi na wyświetlanie tylko wierszy, w których Region = "US". Usługa OneLake przechowuje te role i automatycznie wymusza je we wszystkich środowiskach analitycznych. Jeśli więc użytkownik ma dostęp tylko do części zestawu danych, ta reguła ma zastosowanie do tego, czy wysyła zapytania za pośrednictwem języka SQL, uruchamia notes Spark, czy wyświetla raport Power BI. OneLake zapewnia, że widzą tylko to, co mogą zobaczyć.

To ujednolicone podejście do bezpieczeństwa oznacza, że użytkownicy nie muszą zarządzać oddzielnymi uprawnieniami w różnych silnikach. Oznacza to również, że pierwotni właściciele danych zawsze zachowują kontrolę nad tym, kto może uzyskać dostęp do źródła danych, nawet jeśli dane są przekazywane do magazynu typu lakehouse lub obszaru roboczego należącego do kogoś innego.

Etykiety poufności można stosować do elementów usługi OneLake tak jak w przypadku dokumentu, a etykiety te wymuszają szyfrowanie lub ograniczenia dostępu, nawet jeśli dane są eksportowane do Excel lub innego narzędzia. Podobnie zasady ochrony przed utratą danych (DLP) mogą wykrywać przekazywanie lub pobieranie poufnych danych z usługi OneLake oraz zapobiegać potencjalnym wyciekom danych lub ostrzegać o nich.

Aby uzyskać więcej informacji, zobacz Wprowadzenie do zabezpieczania danych w usłudze OneLake.

Jedna kopia danych

Wszystkie mechanizmy analityczne platformy Fabric pracują bezpośrednio na danych w usłudze OneLake. Nie musisz kopiować danych, aby używać ich w innym silniku ani analizować danych z wielu źródeł.

Skróty klawiszowe

Skrót to odwołanie do danych przechowywanych w innych lokalizacjach plików. Te lokalizacje plików mogą znajdować się w tym samym obszarze roboczym, innym obszarze roboczym w usłudze OneLake lub poza usługą OneLake. Można używać skrótów dla usług OneLake, Azure Data Lake Storage, Azure Blob Storage, źródeł Amazon S3 i zgodnych z S3, źródeł zgodnych z formatem Iceberg, usługi Microsoft Dataverse, źródeł lokalnych i nie tylko. Niezależnie od lokalizacji skróty sprawiają, że pliki i foldery wyglądają tak, jakby były przechowywane lokalnie.

Skróty umożliwiają organizacji ujednolicenie danych w chmurach i domenach bez ich kopiowania. Zespoły mogą pracować niezależnie w osobnych obszarach roboczych i używać skrótów do udostępniania danych zamiast duplikować je. Na przykład jeden zespół może utworzyć skrót do zestawu danych w obszarze roboczym innego zespołu lub zewnętrznego zasobnika S3, a następnie połączyć te dane z własnymi danymi w usłudze OneLake. Skrót wskazuje źródło, więc po zaktualizowaniu danych źródłowych te zmiany są natychmiast widoczne za pośrednictwem usługi OneLake. Dzięki temu można tworzyć produkty wirtualne lub widoki, które łączą dane z wielu grup biznesowych w celu dopasowania ich do określonej potrzeby, bez przenoszenia lub duplikowania danych. Za pomocą przekształceń skrótów można nawet zastosować automatyczne zmiany do danych, takich jak konwertowanie formatu danych lub usuwanie informacji osobowych (PII).

Diagram przedstawiający sposób, w jaki skróty łączą dane między obszarami roboczymi i elementami.

Aby uzyskać więcej informacji na temat używania skrótów, zobacz Skróty OneLake (OneLake shortcuts).

Mirroring

Mirroring w Fabric to ekonomiczne rozwiązanie o niskich opóźnieniach, które umożliwia ciągłą replikację danych z różnych systemów do OneLake. Możesz bezpiecznie nawiązać połączenie z zewnętrznym źródłem danych i automatycznie dublować wybrane bazy danych lub tabele w otwartym formacie usługi OneLake, zachowując ich synchronizację niemal w czasie rzeczywistym. Dane replikowane są przechowywane w formacie Delta Parquet w OneLake, dzięki czemu są od razu gotowe do analizy przez dowolny mechanizm Fabric.

Funkcja dublowania obsługuje źródła, takie jak Azure SQL Database, Azure Cosmos DB, Azure Database for PostgreSQL, Azure Databricks (Unity Catalog), Snowflake i inne. Zmiany w źródle są na bieżąco propagowane, więc kopia w usłudze OneLake pozostaje aktualna bez konieczności uruchamiania ręcznych zadań ETL. Możesz uruchamiać analizy, modele AI lub raporty Power BI na świeżych danych bez bezpośredniego odpytywania źródła produkcyjnego.

Aby uzyskać więcej informacji, zobacz Czym jest mirroring w usłudze Fabric?

Współpracuj w wielu silnikach analitycznych

Silniki analityczne Fabric (T-SQL, Apache Spark, Analysis Services i inne) przechowują dane w OneLake w otwartym formacie plików Delta Parquet. Ta standaryzacja pozwala używać tych samych danych w wielu silnikach. Nie musisz kopiować danych tylko po to, aby używać ich z innym silnikiem lub czuć się zmuszonym do korzystania z określonego silnika, ponieważ tam znajdują się dane.

Na przykład zespół inżynierów SQL tworzy w pełni transakcyjny magazyn danych. Używają aparatu T-SQL do tworzenia tabel, przekształcania danych i ładowania danych do tabel. Jeśli data scientist chce skorzystać z tych danych, może podłączyć notes Spark do OneLake i bezpośrednio odczytywać te tabele. Ponieważ usługa OneLake przechowuje tabele w formacie delta, platforma Spark może ładować je bez żadnych specjalnych łączników ani eksportów danych. Zarówno zapytania SQL, jak i zadania platformy Spark działają na jednej kopii danych w usłudze OneLake.

Ponadto użytkownicy biznesowi mogą tworzyć raporty Power BI w oparciu o usługę OneLake za pomocą trybu Direct Lake w silniku Analysis Services. Tryb Direct Lake to tryb dostępu do danych, który ładuje i odświeża duże ilości danych szybko bez konieczności tworzenia kopii. Aby uzyskać więcej informacji, zobacz Omówienie usługi Direct Lake.

Przykładowy diagram przedstawiający ładowanie danych przy użyciu platformy Spark, wykonywanie zapytań przy użyciu języka T-SQL i wyświetlanie danych w raporcie usługi Power BI.

Interoperacyjność otwartego formatu tabel

Usługa OneLake obsługuje zarówno formaty tabel Delta Lake, jak i Apache Iceberg za pośrednictwem wirtualizacji metadanych. Ta funkcja automatycznie generuje wirtualne metadane, dzięki czemu tabele Iceberg mogą być odczytywane jako tabele Delta Lake w różnych obciążeniach platformy Fabric, a tabele Delta Lake mogą być odczytywane przez zewnętrzne czytniki Iceberg. Możesz zapisywać tabele Iceberg bezpośrednio do usługi OneLake lub tworzyć skróty do tabel Iceberg przechowywanych poza nią, a OneLake udostępnia je wszystkim mechanizmom platformy Fabric bez potrzeby ręcznej konwersji. Podobnie każda tabela Delta Lake w usłudze OneLake może być dostępna dla usług zgodnych z Iceberg, takich jak Snowflake.

Aby uzyskać więcej informacji, zobacz Używanie tabel Iceberg z OneLake.

Nawiązywanie połączenia z usługą OneLake

Dostęp do danych usługi OneLake można uzyskać z portalu Fabric, Windows, istniejących narzędzi Azure lub dowolnej aplikacji obsługującej interfejsy API usługi ADLS Gen2.

Eksplorator plików oneLake dla systemu Windows

Dane usługi OneLake można eksplorować z Windows przy użyciu Eksploratora plików OneLake dla Windows. Możesz nawigować po wszystkich obszarach roboczych i elementach danych, łatwo przekazywać, pobierać lub modyfikować pliki tak jak w pakiecie Office. Eksplorator plików OneLake upraszcza pracę z jeziorami danych, dzięki czemu mogą z nich korzystać nawet użytkownicy biznesowi bez przygotowania technicznego.

Aby uzyskać więcej informacji, zobacz Eksplorator plików OneLake.

Interfejsy API i zestawy SDK dla ADLS Gen2

Usługa OneLake obsługuje interfejsy API i zestawy SDK usługi Azure Data Lake Storage (ADLS) Gen2, dzięki czemu można używać istniejących aplikacji usługi ADLS Gen2. Każdy obszar roboczy jest wyświetlany jako kontener, a elementy danych są wyświetlane jako foldery w tych kontenerach. Aby uzyskać więcej informacji, zobacz OneLake access and APIs (Dostęp do usługi OneLake i interfejsy API).

Diagram przedstawiający sposób uzyskiwania dostępu do danych usługi OneLake za pomocą interfejsów API i zestawów SDK.

Ponieważ usługa OneLake jest zgodna z aplikacjami usługi ADLS Gen2, możesz łączyć się z usługą OneLake z usług platformy Azure. Przykład:

Ochrona i monitorowanie danych

Usługa OneLake oferuje wbudowane funkcje, które zapewniają bezpieczeństwo danych i zapewniają wgląd w sposób ich użycia.

Odzyskiwanie po awarii i ochrona danych

OneLake automatycznie chroni dane dzięki wbudowanej nadmiarowości. W regionach obsługujących strefy dostępności usługa OneLake używa magazynu strefowo nadmiarowego (ZRS) do replikowania danych w wielu centrach danych. W innych regionach jest używany magazyn lokalnie nadmiarowy (LRS). Aby zapewnić dodatkową ochronę przed awariami obejmującymi cały region, możesz włączyć ciągłość działania i odzyskiwanie po awarii (BCDR) dla pojemności, aby georeplikować dane do sparowanego regionu platformy Azure. Usługa OneLake obsługuje również usuwanie nietrwałe, które zachowuje usunięte pliki przez siedem dni, dzięki czemu można odzyskać dane po przypadkowym usunięciu.

Aby uzyskać więcej informacji, zobacz Odzyskiwanie po awarii i ochrona danych w usłudze OneLake.

Diagnostics

Diagnostyka oneLake zapewnia wgląd w sposób uzyskiwania dostępu do danych i ich użycia w środowisku Fabric. Po włączeniu diagnostyki na poziomie obszaru roboczego zdarzenia dostępu do danych są przesyłane strumieniowo do lakehouse w postaci dzienników. Możesz śledzić, kto uzyskiwał dostęp do danych, kiedy i jak. To rejestrowanie obejmuje działania użytkowników w interfejsie użytkownika Fabric, dostęp programowy za pośrednictwem interfejsów API i silników analitycznych oraz dostęp między obszarami roboczymi za pomocą skrótów.

Aby uzyskać więcej informacji, zobacz Diagnostyka OneLake.

Powiązana zawartość

  • Last updated on