Bezserwerowa pula SQL w usłudze Azure Synapse Analytics

  • Artykuł

Każdy obszar roboczy usługi Azure Synapse Analytics zawiera bezserwerowe punkty końcowe puli SQL, których można użyć do wykonywania zapytań dotyczących danych w usłudze Azure Data Lake (Parquet, Delta Lake, formatach tekstu rozdzielonych), usłudze Azure Cosmos DB lub usłudze Dataverse.

Bezserwerowa pula SQL to usługa zapytań o dane w usłudze Data Lake. Umożliwia ona uzyskiwanie dostępu do danych przy użyciu następujących funkcji:

Bezserwerowa pula SQL to rozproszony system przetwarzania danych, utworzony na potrzeby funkcji obliczeniowych i danych na dużą skalę. Bezserwerowa pula SQL umożliwia analizowanie danych big data w ciągu kilku minut w zależności od obciążenia. Dzięki wbudowanej odporności na uszkodzenia wykonywania zapytań system zapewnia wysoką niezawodność i współczynniki powodzenia nawet w przypadku długotrwałych zapytań obejmujących duże zestawy danych.

Bezserwerowa pula SQL jest bezserwerowa, dlatego nie ma infrastruktury do skonfigurowania ani obsługi klastrów. Domyślny punkt końcowy dla tej usługi jest udostępniany w każdym obszarze roboczym usługi Azure Synapse, dzięki czemu można rozpocząć wykonywanie zapytań o dane zaraz po utworzeniu obszaru roboczego.

Za zarezerwowane zasoby nie są naliczane opłaty. Opłaty są naliczane tylko za dane przetwarzane przez uruchomione zapytania, dlatego ten model jest prawdziwym modelem płatności za użycie.

Jeśli używasz platformy Apache Spark dla usługi Azure Synapse w potoku danych, na potrzeby przygotowywania danych, czyszczenia lub wzbogacania, możesz wykonywać zapytania względem zewnętrznych tabel platformy Spark utworzonych w tym procesie bezpośrednio z bezserwerowej puli SQL. Użyj usługi Private Link , aby przenieść punkt końcowy bezserwerowej puli SQL do zarządzanej sieci wirtualnej obszaru roboczego.

Korzyści z bezserwerowej puli SQL

Jeśli musisz eksplorować dane w usłudze Data Lake, uzyskać z niego szczegółowe informacje lub zoptymalizować istniejący potok przekształcania danych, możesz skorzystać z bezserwerowej puli SQL. Jest odpowiedni dla następujących scenariuszy:

  • Podstawowe odnajdywanie i eksplorowanie — szybkie wnioskowanie o danych w różnych formatach (Parquet, CSV, JSON) w usłudze Data Lake, dzięki czemu możesz zaplanować wyodrębnianie z niego szczegółowych informacji.
  • Logiczny magazyn danych — zapewnia abstrakcję relacyjną na podstawie nieprzetworzonych lub różnych danych bez przenoszenia i przekształcania danych, umożliwiając zawsze aktualny widok danych. Dowiedz się więcej o tworzeniu logicznego magazynu danych.
  • Przekształcanie danych — prosty, skalowalny i wydajny sposób przekształcania danych w jeziorze przy użyciu języka T-SQL, dzięki czemu może być podawany do analizy biznesowej i innych narzędzi lub ładowany do relacyjnego magazynu danych (bazy danych Synapse SQL, usługa Azure SQL Database itp.).

Różne role zawodowe mogą korzystać z bezserwerowej puli SQL:

  • inżynierowie danych mogą eksplorować jezioro, przekształcać i przygotowywać dane przy użyciu tej usługi oraz uprościć potoki przekształcania danych. Aby uzyskać więcej informacji, zapoznaj się z tym samouczkiem.
  • badacze dancyh s mogą szybko wnioskować o zawartości i strukturze danych w jeziorze, dzięki funkcjom takim jak OPENROWSET i automatyczne wnioskowanie schematu.
  • analitycy danych mogą eksplorować dane i tabele zewnętrzne platformy Spark utworzone przez badacze dancyh lub inżynierowie danych za pomocą znanego języka T-SQL lub ich ulubionych narzędzi, które mogą łączyć się z bezserwerową pulą SQL.
  • Specjaliści ds. analizy biznesowej mogą szybko tworzyć raporty usługi Power BI na podstawie danych w tabelach typu lake i Spark.

Jak rozpocząć korzystanie z bezserwerowej puli SQL

Punkt końcowy bezserwerowej puli SQL jest udostępniany w każdym obszarze roboczym usługi Azure Synapse. Obszar roboczy można utworzyć i natychmiast rozpocząć wykonywanie zapytań o dane przy użyciu narzędzi, które znasz.

Upewnij się, że stosujesz najlepsze rozwiązania , aby uzyskać najlepszą wydajność.

Narzędzia klienckie

Bezserwerowa pula SQL umożliwia korzystanie z usługi Data Lake istniejących narzędzi do wykonywania zapytań ad hoc sql i analizy biznesowej. Ponieważ zapewnia znajomą składnię języka T-SQL, każde narzędzie, które może nawiązać połączenie TDS z ofertami SQL, może nawiązać połączenie z usługą Synapse SQL i wysyłać do niego zapytania. Możesz nawiązać połączenie z narzędziem Azure Data Studio i uruchamiać zapytania ad hoc lub łączyć się z usługą Power BI, aby uzyskać szczegółowe informacje w ciągu kilku minut.

Obsługa języka T-SQL

Bezserwerowa pula SQL oferuje obszar powierzchni zapytań T-SQL, który jest nieco rozszerzony/rozszerzony w niektórych aspektach, aby pomieścić środowiska związane z wykonywaniem zapytań dotyczących częściowo ustrukturyzowanych i nieustrukturyzowanych danych. Ponadto niektóre aspekty języka T-SQL nie są obsługiwane z powodu projektowania bezserwerowej puli SQL, ponieważ na przykład funkcje DML nie są obecnie obsługiwane.

  • Obciążenie można organizować przy użyciu znanych pojęć:
  • Bazy danych — bezserwerowy punkt końcowy puli SQL może mieć wiele baz danych.
  • Schematy — w bazie danych może istnieć jedna lub wiele grup własności obiektów nazywanych schematami.
  • Widoki, procedury składowane, funkcje wartości tabeli wbudowanej
  • Zasoby zewnętrzne — źródła danych, formaty plików i tabele

Zabezpieczenia można wymusić przy użyciu:

  • Nazwy logowania i użytkownicy
  • Poświadczenia do kontrolowania dostępu do kont magazynu
  • Udzielanie, odrzucanie i odwoływanie uprawnień na poziomie obiektu
  • Integracja z usługą Microsoft Entra

Obsługiwany język T-SQL:

  • Pełny obszar powierzchni SELECT jest obsługiwany, w tym większość funkcji SQL
  • CETAS — TWORZENIE TABELI ZEWNĘTRZNEJ PODCZAS WYBIERANIA
  • Instrukcje DDL związane tylko z widokami i zabezpieczeniami

Bezserwerowa pula SQL nie ma magazynu lokalnego, tylko obiekty metadanych są przechowywane w bazach danych. W związku z tym język T-SQL związany z następującymi pojęciami nie jest obsługiwany:

  • Tabele
  • Wyzwalacze
  • Zmaterializowane widoki
  • Instrukcje DDL inne niż te związane z widokami i zabezpieczeniami
  • Instrukcje języka DML

Uwaga

Zapytania bezserwerowej puli SQL mają limit czasu. Aby uzyskać więcej informacji na temat limitu czasu zapytania, które mogą mieć wpływ na obciążenie, zobacz ograniczenia systemowe bezserwerowej puli SQL. Obecnie nie można zmienić limitu czasu.

Rozszerzenia

Aby umożliwić bezproblemowe wykonywanie zapytań dotyczących danych znajdujących się w plikach w usłudze Data Lake, bezserwerowa pula SQL rozszerza istniejącą funkcję OPENROWSET , dodając następujące możliwości:

Wykonywanie zapytań dotyczących wielu plików lub folderów

Format pliku PARQUET kwerendy

Format funkcji DELTA kwerendy

Różne formaty tekstu rozdzielanego (z niestandardowym terminatorem pól, terminatorem wierszy, znakiem ucieczki)

Magazyn analityczny usługi Azure Cosmos DB

Odczytywanie wybranego podzestawu kolumn

Wnioskowanie schematu

nazwa pliku, funkcja

filepath, funkcja

Praca ze złożonymi typami i zagnieżdżonym lub powtarzającymi się strukturami danych

Zabezpieczenia

Bezserwerowa pula SQL oferuje mechanizmy zabezpieczania dostępu do danych.

Integracja z firmą Microsoft i uwierzytelnianie wieloskładnikowe

Bezserwerowa pula SQL umożliwia centralne zarządzanie tożsamościami użytkowników bazy danych i innymi usługi firmy Microsoft za pomocą integracji firmy Microsoft Entra. Ta funkcja upraszcza zarządzanie uprawnieniami i zwiększa bezpieczeństwo. Usługa Microsoft Entra ID obsługuje uwierzytelnianie wieloskładnikowe (MFA) w celu zwiększenia bezpieczeństwa danych i aplikacji przy jednoczesnym obsłudze procesu logowania jednokrotnego.

Uwierzytelnianie

Uwierzytelnianie bezserwerowej puli SQL odnosi się do sposobu, w jaki użytkownicy udowadniają swoją tożsamość podczas nawiązywania połączenia z punktem końcowym. Obsługiwane są dwa typy uwierzytelniania:

  • Uwierzytelnianie SQL

    Ta metoda uwierzytelniania używa nazwy użytkownika i hasła.

  • Uwierzytelnianie entra firmy Microsoft:

    Ta metoda uwierzytelniania używa tożsamości zarządzanych przez identyfikator entra firmy Microsoft. W przypadku użytkowników firmy Microsoft Entra można włączyć uwierzytelnianie wieloskładnikowe. Używaj uwierzytelniania usługi Active Directory (zabezpieczeń zintegrowanych), gdy tylko jest to możliwe.

Autoryzacja

Autoryzacja odnosi się do tego, co użytkownik może zrobić w bezserwerowej bazie danych puli SQL i jest kontrolowany przez członkostwo w roli bazy danych konta użytkownika i uprawnienia na poziomie obiektu.

Jeśli jest używane uwierzytelnianie SQL, użytkownik SQL istnieje tylko w bezserwerowej puli SQL i uprawnienia są ograniczone do obiektów w bezserwerowej puli SQL. Nie można udzielić dostępu do zabezpieczanych obiektów w innych usługach (takich jak Azure Storage) bezpośrednio dla użytkownika SQL, ponieważ istnieje tylko w zakresie bezserwerowej puli SQL. Aby uzyskać dostęp do plików, użytkownik SQL musi użyć jednego z obsługiwanych typów autoryzacji.

Jeśli jest używane uwierzytelnianie Microsoft Entra, użytkownik może zalogować się do bezserwerowej puli SQL i innych usług, takich jak Azure Storage, i może udzielić uprawnień użytkownikowi Microsoft Entra.

Dostęp do kont magazynu

Użytkownik zalogowany do bezserwerowej usługi puli SQL musi mieć uprawnienia dostępu do plików i wykonywania zapytań względem plików w usłudze Azure Storage. Bezserwerowa pula SQL obsługuje następujące typy autoryzacji:

  • Sygnatura dostępu współdzielonego (SAS) zapewnia delegowany dostęp do zasobów na koncie magazynu. Za pomocą sygnatury dostępu współdzielonego można udzielić klientom dostępu do zasobów na koncie magazynu bez udostępniania kluczy konta. Sygnatura dostępu współdzielonego zapewnia szczegółową kontrolę nad typem dostępu udzielanego klientom, którzy mają sygnaturę dostępu współdzielonego: interwał ważności, przyznane uprawnienia, akceptowalny zakres adresów IP, akceptowalny protokół (https/http).

  • Tożsamość użytkownika (znana również jako "przekazywanie") to typ autoryzacji, w którym tożsamość użytkownika Firmy Microsoft Entra zalogowanego do bezserwerowej puli SQL jest używana do autoryzowania dostępu do danych. Przed uzyskaniem dostępu do danych administrator usługi Azure Storage musi przyznać użytkownikowi usługi Microsoft Entra uprawnienia dostępu do danych. Ten typ autoryzacji używa użytkownika Microsoft Entra, który zalogował się do bezserwerowej puli SQL, dlatego nie jest obsługiwany dla typów użytkowników SQL.

  • Tożsamość obszaru roboczego to typ autoryzacji, w którym tożsamość obszaru roboczego usługi Synapse jest używana do autoryzowania dostępu do danych. Przed uzyskaniem dostępu do danych administrator usługi Azure Storage musi udzielić uprawnień do tożsamości obszaru roboczego w celu uzyskania dostępu do danych.

Dostęp do usługi Azure Cosmos DB

Aby uzyskać dostęp do magazynu analitycznego usługi Azure Cosmos DB, musisz utworzyć poświadczenia na poziomie serwera lub w zakresie bazy danych przy użyciu klucza tylko do odczytu konta usługi Azure Cosmos DB.

Następne kroki

Dodatkowe informacje o połączeniu punktu końcowego i plikach zapytań można znaleźć w następujących artykułach: