Koncepcje strefy korzystania z analiz

Usługa Analytics Consumption Zone (ACZ) eksportuje wybrane dane jednostek z usługi Azure Data Manager for Energy do konta Azure Data Lake Storage Gen2. Usługa ACZ zapisuje dane z usługi Azure Data Manager for Energy w otwartym formacie Delta Parquet. Usługi takie jak Microsoft Fabric i Azure Databricks mogą odczytywać ten format bezpośrednio.

Important

Strefa Analytics Consumption jest obecnie dostępna w wersji zapoznawczej. Aby uzyskać postanowienia prawne dotyczące funkcji Azure dostępnych w wersji beta, wersji zapoznawczej lub w inny sposób, które nie zostały jeszcze wydane w wersji ogólnodostępnej, zobacz Dodatkowe warunki użytkowania dla wersji zapoznawczych Microsoft Azure.

W ramach wersji zapoznawczej usługa ACZ jest dostępna tylko w instancjach warstwy Deweloper i wymaga użycia list dozwolonych. Postępuj zgodnie ze wskazówkami zawartymi w Włącz strefę użycia usługi Analytics, i skontaktuj się z przedstawicielem Microsoft.

Co to jest ACZ?

ACZ to zarządzana warstwa synchronizacji. Eksportuje dane jednostki z wystąpienia usługi Data Manager for Energy Azure do konta magazynu Azure Data Lake Storage Gen2, którego jesteś właścicielem. Następnie możesz połączyć te dane z narzędziami do analizy, raportowania i uczenia maszynowego.

Kluczowe cechy ACZ:

• Magazyn należący do klienta: Tworzysz konto magazynu Data Lake Storage Gen2, na którym są używane dane i zarządzasz nim. Jeśli masz wymagania dotyczące rezydencji danych, odpowiadasz za wybranie konta magazynu docelowego w lokalizacji geograficznej.
• Format otwarty: Eksporty danych w formacie Delta Parquet. Aparaty analityczne obsługują ten format.
• Synchronizacja selektywna: Wybierasz, które typy encji synchronizować. Opcje obejmują typy katalogów i typy usługi Wellbore Domain Zarządzanie danymi Service (DDMS).
• Synchronizacja historyczna i przyrostowa: uzyskujesz początkową migawkę istniejących danych z usługi ACZ. Następnie usługa ACZ synchronizuje zmiany w miarę ich występowania.
• Oparte na interfejsie API: konfigurujesz usługę ACZ i zarządzasz nią w całości za pośrednictwem interfejsów API REST.

Architecture

Na poniższym diagramie przedstawiono przepływ danych ACZ.

Jak działa usługa ACZ

Obsługiwane typy jednostek

ACZ synchronizuje dwie kategorie typów encji w usłudze Azure Data Manager for Energy.

Kategoria	Description	Przykładowe rodzaje
Rodzaje katalogów	Podstawowe dane i dane referencyjne z usługi magazynu	osdu:wks:master-data--Well:*, osdu:wks:reference-data--UnitOfMeasure:*
Typy DDMS otworu wiertniczego	Jednostki z systemu Wellbore DDMS	osdu:wks:work-product-component--WellLog:*

Podczas tworzenia wystąpienia usługi ACZ należy określić typy jednostek do synchronizacji, podając następujące elementy:

• catalogKinds: lista wzorców typów wykazu (na przykład osdu:wks:master-data--Well:*).
• wellboreDDMSKinds: To lista wzorców typów Wellbore DDMS (na przykład osdu:wks:work-product-component--WellLog:*).

Takie wzorce pełnią funkcję filtrów, które określają, które rekordy usługi Azure Data Manager for Energy są eksportowane przez ACZ i utrzymywane w synchronizacji.

Użyj flagi allCatalogSync

Flaga allCatalogSync jest opcjonalnym parametrem logicznym, który można określić podczas tworzenia wystąpienia ACZ. Gdy jest ustawiona wartość true, synchronizuje wszystkie rodzaje katalogów z partycji danych.

Kluczowe zachowania:

• allCatalogSync parametr jest określony poza sekcją configuration w treści żądania.
• Gdy allCatalogSync: true, ACZ automatycznie eksportuje wszystkie typy katalogów.
• Tablice catalogKinds i wellboreDDMSKinds w konfiguracji są ignorowane w przypadku danych katalogu.
• Ta flaga nie ma wpływu na pobieranie zbiorczych plików programu Wellbore DDMS. Pliki są pobierane tylko dla rodzajów jawnie wymienionych w pliku wellboreDDMSKinds.

Przykładowe konfiguracje:

// Selective catalog sync - only Wells and Fields
{
  "allCatalogSync": false,
  "configuration": {
    "catalogKinds": [
      "osdu:wks:master-data--Well:*",
      "osdu:wks:master-data--Field:*"
    ]
  }
}

// Sync all catalog kinds using allCatalogSync flag
{
  "allCatalogSync": true,
  "configuration": {
    // catalogKinds is ignored when allCatalogSync is true
  }
}

// Sync all catalog kinds, but Wellbore DDMS files only for specified kinds
{
  "allCatalogSync": true,
  "configuration": {
    "wellboreDDMSKinds": [
      "osdu:wks:work-product-component--WellLog:*"
    ]
  }
}

Typy wersji

Podczas tworzenia wystąpienia usługi ACZ wybierasz sposób obsługi wersji jednostek.

Typ	Description
LATEST_VERSION	Eksportuje tylko najnowszą wersję każdej jednostki. Ustawienie domyślne i zalecane.
ALL_VERSIONS	Eksportuje wszystkie wersje każdej jednostki. Przechowuje pełną historię wersji.

Stany cyklu życia

Każdy ACZ przechodzi przez następujące stany:

Status	Description
AKTYWNE	Działa. ACZ synchronizuje zmiany przyrostowo.
NIEPOWODZENIE	Błąd zatrzymał instalację lub synchronizację.
ACCESS_DENIED	ACZ nie może połączyć się z docelowym kontem magazynu Data Lake Storage Gen2.

Migawka historyczna

Po utworzeniu nowej instancji ACZ usługa tworzy historyczną migawkę. Ta migawka eksportuje wszystkie istniejące rekordy zgodne ze skonfigurowanymi typami jednostek (catalogKinds i wellboreDDMSKinds). Migawka przechodzi przez następujące stany:

Status	Description
PRZETWARZANIE	Aktywnie eksportuj dane.
ZAKOŃCZONE	Wszystkie wyeksportowane dane historyczne.
NIEPOWODZENIE	Wystąpił błąd.

Po zakończeniu tworzenia migawki usługa ACZ przełącza się do trybu przyrostowego. Przechwytuje nowe i zaktualizowane rekordy niemal w czasie rzeczywistym.

Jak usługa ACZ obsługuje zmiany danych

Usługa ACZ propaguje utworzone, zaktualizowane i usunięte rekordy z Azure Data Manager for Energy do tabel Delta.

• Tworzenie i aktualizacje: Podczas tworzenia rekordu lub zmieniania bloku danych Azure Data Manager for Energy tworzy nową wersję. Usługa ACZ wykrywa zmianę i zapisuje nowy wiersz w tabeli delty.
• Aktualizacje wyłącznie metadanych: Gdy operacja PATCH zmienia listę kontroli dostępu, informacje prawne lub tagi bez tworzenia nowej wersji, usługa ACZ wykrywa tę zmianę i wykonuje scalający upsert dla istniejącego wiersza.
• Usuwanie miękkie: Po miękkim usunięciu rekordu w usłudze Azure Data Manager for Energy usługa ACZ ustawia pole isActive na False w wierszu zamiast go usuwać. Miękkie usuwanie pozwala zachować historię na potrzeby audytu oraz zapytań typu time travel.
• Purges: Podczas przeczyszczania rekordu w usłudze Azure Data Manager for Energy usługa ACZ trwale usuwa rekord z tabeli delta. Wiersz zostaje usunięty i nie można go odzyskać z danych ACZ.

Warning

ACZ to jednokierunkowa synchronizacja w trybie tylko do odczytu z Azure Data Manager for Energy do Data Lake Storage Gen2:

• Dane przepływa tylko z Azure Data Manager for Energy do Data Lake Storage Gen2.
• Nie należy modyfikować, usuwać ani dodawać plików bezpośrednio w folderach ACZ w Data Lake Storage Gen2.
• Ręczne zmiany danych ACZ uszkodzą synchronizację i powodują niespójności danych.
• ACZ zarządza wszystkimi operacjami Delta Lake (dziennikami transakcji, punktami kontrolnymi i kompaktowaniem).

W przypadku analizy i raportowania należy traktować wyeksportowane dane jako tylko do odczytu. Wszystkie modyfikacje danych muszą wystąpić w Azure Data Manager for Energy.

Format danych wyjściowych

Usługa ACZ zapisuje dane w formacie Delta Lake w plikach kodowanych w formacie Parquet (DELTA_PARQUET). Delta Lake obsługuje transakcje o właściwościach atomowości, spójności, izolacji i trwałości. Obsługuje również podróże w czasie oraz wydajny odczyt przyrostowy.

struktura folderów Data Lake Storage Gen2

ACZ organizuje dane na koncie usługi Data Lake Storage Gen2 w folderach. Każde wystąpienie ACZ ma własny folder w kontenerze lub w ścieżce bazowej, jeśli ją określono. ACZ dzieli tabele Delta Lake na partycje według rodzaju. Jeden folder na typ jednostki DDMS i identyfikator rekordu.

Układ folderu

Kluczowe szczegóły

Element	Description
Folder najwyższego poziomu	Nazwana <acz-id> w kontenerze lub w obszarze <base-path> , jeśli zostanie określona. Jeden folder dla każdej instancji ACZ.
osducatalog/	Jedna tabela Delta dla wszystkich typów katalogów. Partycjonowane według rodzaju (na przykład kind=osdu:wks:master-data--Well:1.0.0).
_delta_log/	Dziennik transakcji usługi Delta Lake. Śledzi wszystkie zmiany w tabelach na potrzeby transakcji ACID i funkcji time travel.
Foldery jednostek DDMS	Jeden folder na typ jednostki DDMS (na przykład work-product-component--WellLog). Przechowuje pliki Parquet specyficzne dla systemu DDMS według typu encji i identyfikatora rekordu.
Pliki Parquet	Pliki danych skompresowane algorytmem Snappy. Aktualizacje tworzą nowe pliki. ACZ uruchamia VACUUM i OPTIMIZE, aby scalać małe pliki i usuwać stare.

Schemat tabeli Delta

Tabela delty zawiera następujące pola:

Pole	Typ	Description
id	String	Identyfikator rekordu OSDU®.
version	String	Numer wersji.
kind	String	W pełni kwalifikowany identyfikator typu OSDU®.
data	String	Blok danych (JSON).
meta	String	Metadane (JSON).
acl	String	Lista kontroli dostępu.
legal	String	Tagi prawne.
tags	String	Tagi zdefiniowane przez użytkownika.
createUser	String	Użytkownik, który utworzył rekord.
createTime	Timestamp	Data utworzenia rekordu.
ingestTime	Timestamp	Gdy ACZ pozyskał rekord.
isActive	logiczny	True jeśli jest aktywny. False w przypadku usunięcia nietrwałego.

Note

Jednostki wellbore DDMS mają fileDownloadTimerównież pola , fileDownloadStatei fileDownloadFolder do śledzenia plików.

Limity i dostęp

Limity wersji zapoznawczej

Ograniczenie	Limit
Maksymalna liczba wystąpień ACZ na partycję danych	Three
Unikatowość nazw ACZ	Musi być unikatowa w ramach partycji danych
Format docelowy	Tylko Delta Parquet
Typ magazynu	Data Lake Storage Gen2 tylko
Obsługa poziomu instancji	Poziom deweloperski tylko w wersji zapoznawczej

Uwierzytelnianie i autoryzacja

Usługa ACZ wymaga:

• Dostęp do interfejsu API: aby wywoływać interfejsy API ACZ, musisz należeć do grup users@{data-partition-id}.dataservices.energy i users.datalake.ops@{data-partition-id}.dataservices.energy.
• Dostęp do usługi Storage: tożsamość zarządzana wymaga przypisanej roli Współautor danych obiektów blob usługi Storage (lub równoważnej) dla kontenera Data Lake Storage Gen2. W wersji zapoznawczej udostępnij firmie Microsoft dane tożsamości, aby dodać tę tożsamość do listy dozwolonych.
• Azure Data Manager for Energy — dostęp: Tożsamość zarządzaną należy przypisać do zasobu Azure Data Manager for Energy.

Treści powiązane

• Włącz strefę korzystania z analityki
• Samouczek: korzystanie z interfejsów API ACZ
• Łączenie danych ACZ z Fabric
• Połącz dane ACZ do Azure Databricks