W tym przewodniku znajdziesz najczęściej zadawane pytania dotyczące usługi Azure Synapse Analytics.
Ogólne
Jak zabezpieczyć obszar roboczy przy użyciu ról RBAC?
Usługa Azure Synapse wprowadza szereg ról i zakresów ich przypisywania, co ułatwia zabezpieczanie obszaru roboczego.
Role RBAC usługi Synapse:
- Administrator usługi Synapse
- Administrator SQL usługi Synapse
- Administrator Synapse Spark
- Współautor rozwiązania Synapse
- Wydawca artefaktów Synapse
- Użytkownik artefaktu Synapse
- Operator Obliczeń Synapse
- Użytkownik poświadczenia usługi Synapse
- Synapse Linked Data Manager
- Użytkownik Synapse
Aby zabezpieczyć obszar roboczy usługi Synapse, przypisz role RBAC do tych zakresów RBAC:
- Przestrzenie robocze
- Pule platformy Spark
- środowiska uruchomieniowe Integration Runtime
- Połączone usługi
- Dane logowania
Ponadto w przypadku dedykowanych pul SQL masz wszystkie te same funkcje zabezpieczeń, które znasz i kochasz.
Jak mogę kontrolować dedykowane pule SQL, bezserwerowe pule SQL i bezserwerowe pule platformy Spark?
Jako punkt wyjścia usługa Azure Synapse współpracuje z wbudowaną analizą kosztów i alertami kosztów dostępnymi na poziomie subskrypcji platformy Azure.
Dedykowane pule SQL — masz bezpośredni wgląd w koszt i kontrolę nad kosztami, ponieważ tworzysz i określasz rozmiary dedykowanych pul SQL. Możesz dodatkowo kontrolować, którzy użytkownicy mogą tworzyć lub skalować dedykowane pule SQL przy użyciu ról RBAC platformy Azure.
Bezserwerowe pule SQL — masz mechanizmy monitorowania i zarządzania kosztami, które umożliwiają ograniczenie wydatków na poziomie dziennym, tygodniowym i miesięcznym. Aby uzyskać więcej informacji, zobacz Zarządzanie kosztami dla bezserwerowej puli SQL.
Bezserwerowe pule platformy Spark — możesz ograniczyć możliwość tworzenia pul platformy Spark za pomocą ról RBAC usługi Synapse.
Czy obszar roboczy usługi Synapse będzie obsługiwać organizację obiektów w folderach i poziom szczegółowości w momencie ogólnej dostępności (GA)?
Obszary robocze usługi Synapse obsługują foldery zdefiniowane przez użytkownika.
Czy mogę połączyć więcej niż jeden obszar roboczy usługi Power BI z jednym obszarem roboczym usługi Azure Synapse?
Tak, od 10 czerwca 2021 r. program Synapse Studio umożliwia teraz dodawanie więcej niż jednego obszaru roboczego usługi Power BI do jednego obszaru roboczego usługi Azure Synapse.
Czy usługa Azure Synapse Link do usługi Azure Cosmos DB jest ogólnie dostępna?
Ważne
Usługa Synapse Link dla usługi Cosmos DB nie jest już obsługiwana w przypadku nowych projektów. Nie używaj tej funkcji.
Użyj funkcji mirroringu Azure Cosmos DB dla Microsoft Fabric, która jest teraz ogólnie dostępna. Mirroring zapewnia takie same korzyści płynące z braku konieczności ETL i jest w pełni zintegrowane z Microsoft Fabric. Dowiedz się więcej na stronie Omówienie dublowania usługi Cosmos DB.
Czy usługa Azure Synapse Link dla usługi SQL jest ogólnie dostępna?
Azure Synapse Link for SQL jest ogólnie dostępny zarówno dla SQL Server 2022, jak i Azure SQL Database. Aby uzyskać więcej informacji, zobacz Co to jest usługa Azure Synapse Link dla języka SQL?.
Czy obszar roboczy usługi Azure Synapse obsługuje CI/CD?
Tak! Wszystkie artefakty potoku, notesy, skrypty SQL i definicje zadań platformy Spark będą znajdować się w usłudze Git. Wszystkie definicje puli będą przechowywane w usłudze Git jako szablony usługi Azure Resource Manager (ARM). Dedykowane obiekty puli SQL (schematy, tabele, widoki itp.) będą zarządzane przy użyciu projektów baz danych z obsługą ciągłej integracji/ciągłego wdrażania. Aby uzyskać więcej informacji, zapoznaj się z tym przewodnikiem ciągłej integracji i ciągłego wdrażania.
Jakie są różnice funkcjonalne między dedykowanymi pulami SQL i pulami bezserwerowymi?
Możliwości i wymagania różnią się między dwoma typami pul. Różnice obejmują obiekty bazy danych, możliwości języka zapytań, zabezpieczenia, narzędzia, dostęp do danych i format danych. Aby uzyskać szczegółowe porównanie pul SQL i pul bezserwerowych, odwiedź stronę Porównanie pul. Aby poznać najlepsze praktyki dotyczące korzystania z dowolnego typu puli, zobacz Najlepsze praktyki dotyczące dedykowanej puli SQL i Najlepsze praktyki dotyczące bezserwerowej puli SQL.
Co to są tabele Delta i dlaczego należy ich używać?
Usługa Lakehouse jest oparta na otwartych formatach danych z bezpośrednim dostępem, takich jak Apache Parquet. Zapewnia najwyższej klasy obsługę uczenia maszynowego i nauki o danych. Tabela Delta to widok danych zawartych w usłudze Delta Lake, które obsługuje większość opcji zapewnianych przez interfejsy API odczytu i zapisu ramki danych platformy Apache Spark. Lakehouse’y mogą pomóc w rozwiązywaniu poważnych problemów związanych z magazynami danych, takich jak nieaktualność danych, problemy z niezawodnością, całkowity koszt posiadania i blokada danych. W tabelach delta dostępne są optymalizacje, takie jak automatyczne kompaktowanie i adaptacyjne plany zapytań. Aby uzyskać szczegółowy przewodnik po usłudze Delta Lake, odwiedź stronę Delta Lake Guide.
Co to jest Automatyczna kompakcja?
Automatyczne kompaktowanie jest jedną z dwóch uzupełniających funkcji Auto Optimize dla tabel Delta. Po pomyślnym zapisie w tabeli automatyczne kompaktowanie może dodatkowo kompaktować pliki dla partycji, które mają największą liczbę małych plików. Włączenie automatycznego kompaktowania jest zalecane w przypadku zastosowań przesyłania strumieniowego, w których dopuszczalne jest dodanie kilku minut opóźnienia, i gdy nie wykonujesz regularnie polecenia OPTIMIZE dla tej tabeli. Aby uzyskać więcej informacji na temat Auto Optimize i Auto Compaction, zapoznaj się z tym przewodnikiem Auto Optimize.
Pipelines
Jak mogę upewnić się, że wiem, jakie poświadczenia są używane do uruchamiania potoku?
Każde działanie w potoku usługi Synapse jest wykonywane przy użyciu poświadczenia określonego w połączonej usłudze.
Czy środowiska Integration Runtime (IR) usługi SSIS są obsługiwane w Synapse Integrate?
Nie w tej chwili.
Czym różnią się potoki usługi Azure Data Factory i potoki usługi Azure Synapse?
Niektóre przykłady różnic to obsługa parametrów globalnych, monitorowanie zadań platformy Spark dla Przepływ danych i udostępnianie środowiska Integration Runtime. Aby uzyskać więcej informacji, zapoznaj się z tym dokumentem dotyczącym Integracja danych — Synapse vs ADF.
Jak mogę przeprowadzić migrację istniejących potoków z usługi Azure Data Factory do obszaru roboczego usługi Azure Synapse?
W tej chwili należy ręcznie ponownie utworzyć potoki usługi Azure Data Factory i powiązane artefakty, eksportując kod JSON z oryginalnego potoku i importując go do obszaru roboczego usługi Synapse.
Jak mogę użyć definicji zadania platformy Apache Spark?
Zapoznaj się z tym przewodnikiem Szybki start.
Czy można wywoływać notesy z potoków usługi ADF?
Istnieją dwie opcje dla tego przypadku użycia. Jedną z opcji jest zachowanie potoków w usłudze ADF i konieczne będzie opakowanie ich w działanie Web Activity. Aby uzyskać więcej informacji na temat tej opcji, zapoznaj się z tym przewodnikiem po działaniach internetowych. Drugą opcją jest migracja potoków do usługi Synapse. Aby uzyskać więcej informacji na temat drugiej opcji, zapoznaj się z tym przykładem kodu migracji.
Apache Spark
Jaka jest różnica między platformą Apache Spark dla usługi Synapse i platformą Apache Spark?
Platforma Apache Spark dla usługi Synapse to Apache Spark z dodatkową obsługą integracji z innymi usługami (Microsoft Entra ID, AzureML itp.) i dodatkowymi bibliotekami (mssparkutils, Hummingbird) i wstępnie dostosowanymi konfiguracjami wydajności.
Każde obciążenie, które jest obecnie uruchomione na platformie Apache Spark, zostanie uruchomione na platformie Apache Spark dla usługi Azure Synapse bez zmian.
Jakie wersje platformy Spark są dostępne?
Od września 2023 r. usługa Azure Synapse Apache Spark w pełni obsługuje platformę Spark 3.3. Aby uzyskać pełną listę podstawowych składników i obecnie obsługiwanych wersji, zobacz Obsługa wersji Apache Spark.
Czy w usłudze Azure Synapse Spark istnieje odpowiednik narzędzi DButils?
Tak, usługa Azure Synapse Apache Spark udostępnia bibliotekę mssparkutils . Aby uzyskać pełną dokumentację narzędzia, zobacz Wprowadzenie do narzędzi Microsoft Spark.
Jak mogę ustawić parametry sesji na platformie Apache Spark?
Aby ustawić parametry sesji, użyj dostępnej komendy magicznej %%configure. Aby parametry zaczęły obowiązywać, wymagane jest ponowne uruchomienie sesji.
Jak mogę ustawić parametry poziomu klastra w bezserwerowej puli Spark?
Aby ustawić parametry poziomu klastra, możesz podać plik spark.conf dla puli Spark. Ta pula będzie następnie honorować parametry przekazane w pliku konfiguracji.
Czy mogę uruchomić wieloużytkowy klaster Spark w usłudze Azure Synapse Analytics?
Usługa Azure Synapse udostępnia specjalnie utworzone mechanizmy dla określonych przypadków użycia. Platforma Apache Spark dla usługi Synapse jest zaprojektowana jako usługa uruchamiania zadań, a nie model klastrowy. Istnieją dwa scenariusze, w których użytkownicy pytają o model klastra z wieloma użytkownikami.
Scenariusz nr 1: Wielu użytkowników, którzy uzyskują dostęp do klastra w celu udostępniania danych do celów analizy biznesowej.
Najprostszym sposobem wykonania tego zadania jest przetwarzanie danych za pomocą platformy Spark, a następnie korzystanie z możliwości udostępniania danych w usłudze Synapse SQL, aby połączyć usługę Power BI z tymi zestawami danych.
Scenariusz nr 2: Posiadanie wielu deweloperów w jednym klastrze w celu zaoszczędzenia pieniędzy.
Aby spełnić ten scenariusz, należy przydzielić każdemu deweloperowi bezserwerową pulę platformy Spark, która ma używać niewielkiej liczby zasobów platformy Spark. Ponieważ bezserwerowe pule platformy Spark nic nie kosztują, dopóki nie są aktywnie używane, utrzymywanie ich w stanie nieaktywnym do momentu użycia minimalizuje koszty, gdy jest wielu deweloperów. Pule zasobów współdzielą metadane (tabele platformy Spark), dzięki czemu mogą łatwo współpracować ze sobą.
Jak mogę dołączać biblioteki, zarządzać nimi i instalować je?
Pakiety zewnętrzne można instalować za pośrednictwem pliku requirements.txt podczas tworzenia puli Spark, z obszaru roboczego usługi Synapse lub witryny Azure Portal. Zobacz Zarządzanie bibliotekami dla platformy Apache Spark w usłudze Azure Synapse Analytics.
Jakie narzędzia są dostępne dla mnie na platformie Synapse Spark?
Narzędzie MSSparkUtils na platformie Synapse Spark oferuje różne narzędzia, które poprawiają komfort pracy i ułatwiają integrację z innymi narzędziami i usługami. Pracuj z systemami plików, uzyskuj zmienne środowiskowe, łącz notesy i pracuj z wpisami tajnymi przy minimalnej liczbie ręcznych czynności. Aby uzyskać pełną dokumentację, odwiedź stronę Microsoft Spark Utilities.
Dedykowane pule SQL
Jaka jest różnica między dedykowanymi pulami SQL (SQL DW) i dedykowanymi pulami SQL w obszarach roboczych usługi Azure Synapse?
Dedykowane pule SQL (dawniej SQL DW) to platforma magazynowania danych przedsiębiorstwa Azure typu „platforma jako usługa” (PaaS). Możesz wykonywać zapytania dotyczące istniejących dedykowanych pul SQL (dawniej SQL DW), a także tworzyć nowe dedykowane pule SQL w obszarze roboczym usługi Azure Synapse. Nie wszystkie funkcje dedykowanej puli SQL w obszarach roboczych usługi Azure Synapse mają zastosowanie do autonomicznej dedykowanej puli SQL (dawniej SQL DW) i na odwrót. Aby uzyskać więcej informacji, zobacz Jaka jest różnica między dedykowanymi pulami SQL usługi Azure Synapse (dawniej SQL DW) i dedykowanymi pulami SQL w obszarze roboczym usługi Azure Synapse Analytics?. Aby włączyć funkcje obszaru roboczego usługi Azure Synapse dla istniejącej dedykowanej puli SQL (dawniej SQL DW), zobacz Jak włączyć funkcje obszaru roboczego dla dedykowanej puli SQL (dawniej SQL DW).
Jakie są różnice funkcjonalne między dedykowanymi pulami SQL i pulami bezserwerowymi?
Pełną listę różnic w funkcjach języka T-SQL można znaleźć w Różnice w funkcjach języka T-SQL w Synapse SQL.
Teraz, gdy usługa Azure Synapse jest ogólnie dostępna, jak przenieść dedykowane pule SQL, które były wcześniej samodzielne, do usługi Azure Synapse?
Nie jest konieczne "przenoszenie" ani "migracja". Możesz włączyć nowe funkcje obszarów roboczych w istniejących pulach. Jeśli tak, nie ma żadnych zmian powodujących niezgodność, zamiast tego będzie można używać nowych funkcji, takich jak Synapse Studio, Spark i bezserwerowe pule SQL. Nie wszystkie funkcje dedykowanej puli SQL w obszarach roboczych usługi Azure Synapse mają zastosowanie do dedykowanej puli SQL (dawniej SQL DW) i na odwrót. Aby włączyć funkcje obszaru roboczego dla istniejącej dedykowanej puli SQL (dawniej SQL DW), zobacz Jak włączyć funkcje obszaru roboczego dla dedykowanej puli SQL (dawniej SQL DW).
Jaki jest teraz domyślny sposób wdrażania dedykowanych pul SQL?
Domyślnie wszystkie nowe dedykowane pule SQL zostaną wdrożone w obszarze roboczym; jeśli jednak nadal chcesz, możesz utworzyć dedykowaną pulę SQL (dawniej SQL DW) w formie autonomicznej.
Bezpieczeństwo sieci
Jak mogę zabezpieczyć dostęp do obszaru roboczego usługi Azure Synapse?
Z zarządzaną siecią wirtualną lub bez niej można nawiązać połączenie z obszarem roboczym z sieci publicznych. Aby uzyskać więcej informacji, zobacz Ustawienia łączności. Dostęp z sieci publicznych można kontrolować przez włączenie funkcji dostępu do sieci publicznej lub zapory obszaru roboczego. Alternatywnie możesz nawiązać połączenie z obszarem roboczym przy użyciu zarządzanego prywatnego punktu końcowego i usługi Private Link. Obszary robocze usługi Synapse bez funkcji Azure Synapse Analytics Managed Virtual Network nie mają możliwości łączenia się za pośrednictwem zarządzanych prywatnych punktów końcowych.