Udostępnij za pośrednictwem

Używanie usługi Azure SQL Managed Instance z usługami SQL Server Integration Services (SSIS) w usłudze Azure Data Factory lub Azure Synapse Analytics

  • Artykuł

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Teraz można przenosić projekty, pakiety i obciążenia usług SQL Server Integration Services (SSIS) do chmury platformy Azure. Wdrażanie, uruchamianie i zarządzanie projektami i pakietami usług SSIS w usłudze Azure SQL Database lub sql Managed Instance za pomocą znanych narzędzi, takich jak SQL Server Management Studio (SSMS). W tym artykule przedstawiono następujące konkretne obszary korzystania z usługi Azure SQL Managed Instance z środowiskiem Azure-SSIS Integration Runtime (IR):

Aprowizuj środowisko Azure-SSIS IR przy użyciu bazy danych SSISDB hostowanej przez usługę Azure SQL Managed Instance

Wymagania wstępne

  1. Włącz identyfikator Entra firmy Microsoft w usłudze Azure SQL Managed Instance podczas wybierania uwierzytelniania firmy Microsoft Entra.

  2. Wybierz sposób nawiązywania połączenia z usługą SQL Managed Instance za pośrednictwem prywatnego punktu końcowego lub publicznego punktu końcowego:

    • Za pośrednictwem prywatnego punktu końcowego (preferowane)

      1. Wybierz sieć wirtualną dla środowiska Azure-SSIS IR do dołączenia:

        • Wewnątrz tej samej sieci wirtualnej co wystąpienie zarządzane z inną podsiecią.
        • Wewnątrz innej sieci wirtualnej niż wystąpienie zarządzane za pośrednictwem komunikacji równorzędnej sieci wirtualnych (która jest ograniczona do tego samego regionu z powodu globalnych ograniczeń komunikacji równorzędnej sieci wirtualnych) lub połączenia z sieci wirtualnej do sieci wirtualnej.

        Aby uzyskać więcej informacji na temat łączności z usługą SQL Managed Instance, zobacz Łączenie aplikacji z usługą Azure SQL Managed Instance.

      2. Konfigurowanie sieci wirtualnej.

    • Za pośrednictwem publicznego punktu końcowego

      Usługa Azure SQL Managed Instances może zapewnić łączność za pośrednictwem publicznych punktów końcowych. Wymagania dotyczące ruchu przychodzącego i wychodzącego muszą być spełnione, aby zezwolić na ruch między usługą SQL Managed Instance i środowiskiem Azure-SSIS IR:

      • gdy środowisko Azure-SSIS IR nie znajduje się w sieci wirtualnej (preferowane)

        Wymaganie ruchu przychodzącego usługi SQL Managed Instance w celu zezwolenia na ruch przychodzący z środowiska Azure-SSIS IR.

        Protokół transportowy Źródło Zakres portów źródłowych Element docelowy Zakres portów docelowych
        TCP Tag usługi w chmurze platformy Azure * VirtualNetwork 3342

        Aby uzyskać więcej informacji, zobacz Zezwalanie na ruch publicznego punktu końcowego w sieciowej grupie zabezpieczeń.

      • gdy środowisko Azure-SSIS IR wewnątrz sieci wirtualnej

        Istnieje specjalny scenariusz, w którym wystąpienie zarządzane SQL znajduje się w regionie, w którym środowisko Azure-SSIS IR nie obsługuje, środowisko Azure-SSIS IR znajduje się w sieci wirtualnej bez komunikacji równorzędnej sieci wirtualnych z powodu ograniczenia globalnej komunikacji równorzędnej sieci wirtualnych. W tym scenariuszu środowisko Azure-SSIS IR wewnątrz sieci wirtualnej łączy wystąpienie zarządzane SQL za pośrednictwem publicznego punktu końcowego. Użyj poniższych reguł sieciowej grupy zabezpieczeń, aby zezwolić na ruch między usługą SQL Managed Instance i środowiskiem Azure-SSIS IR:

        1. Wymaganie ruchu przychodzącego usługi SQL Managed Instance w celu zezwolenia na ruch przychodzący z środowiska Azure-SSIS IR.

          Protokół transportowy Źródło Zakres portów źródłowych Element docelowy Zakres portów docelowych
          TCP Statyczny adres IP środowiska Azure-SSIS IR
          Aby uzyskać szczegółowe informacje, zobacz Bring Your Own Public IP for Azure-SSIS IR (Używanie własnego publicznego adresu IP dla środowiska Azure-SSIS IR).          		 * VirtualNetwork 3342

        2. Wymaganie ruchu wychodzącego środowiska Azure-SSIS IR w celu zezwolenia na ruch wychodzący do usługi SQL Managed Instance.

          Protokół transportowy Źródło Zakres portów źródłowych Element docelowy Zakres portów docelowych
          TCP VirtualNetwork * Publiczny adres IP publicznego punktu końcowego usługi SQL Managed Instance 3342

Konfigurowanie sieci wirtualnej

  1. Uprawnienie użytkownika. Użytkownik tworzący środowisko Azure-SSIS IR musi mieć przypisanie roli co najmniej w zasobie usługi Azure Data Factory z jedną z poniższych opcji:

    • Użyj wbudowanej roli Współautor sieci. Ta rola jest dostarczana z uprawnieniem Microsoft.Network/* , które ma znacznie większy zakres niż jest to konieczne.
    • Utwórz rolę niestandardową zawierającą tylko niezbędne uprawnienie Microsoft.Network/virtualNetworks/*/join/action . Jeśli chcesz również przenieść własne publiczne adresy IP dla środowiska Azure-SSIS IR podczas dołączania go do sieci wirtualnej usługi Azure Resource Manager, dołącz również uprawnienie Microsoft.Network/publicIPAddresses/*/join/action w roli.

  2. Sieć wirtualna.

    1. Upewnij się, że grupa zasobów sieci wirtualnej może tworzyć i usuwać niektóre zasoby sieciowe platformy Azure.

      Środowisko Azure-SSIS IR musi utworzyć pewne zasoby sieciowe w tej samej grupie zasobów co sieć wirtualna. Te zasoby obejmują:

      • Moduł równoważenia obciążenia platformy Azure o nazwie <Guid-azurebatch-cloudserviceloadbalancer>
      • Sieciowa grupa zabezpieczeń o nazwie *<Guid-azurebatch-cloudservicenetworksecuritygroup>
      • Publiczny adres IP platformy Azure o nazwie -azurebatch-cloudservicepublicip

      Te zasoby zostaną utworzone podczas uruchamiania środowiska Azure-SSIS IR. Zostaną one usunięte po zatrzymaniu środowiska Azure-SSIS IR. Aby uniknąć blokowania środowiska Azure-SSIS IR przed zatrzymywaniem, nie używaj ponownie tych zasobów sieciowych w innych zasobach.

    2. Upewnij się, że nie masz blokady zasobów w grupie zasobów/subskrypcji, do której należy sieć wirtualna. Jeśli skonfigurujesz blokadę tylko do odczytu/usuń, uruchomienie i zatrzymanie środowiska Azure-SSIS IR zakończy się niepowodzeniem lub przestanie odpowiadać.

    3. Upewnij się, że nie masz definicji usługi Azure Policy, która uniemożliwia utworzenie następujących zasobów w ramach grupy zasobów/subskrypcji, do której należy sieć wirtualna:

      • Microsoft.Network/LoadBalancers
      • Microsoft.Network/NetworkSecurityGroups

    4. Zezwalaj na ruch w regule sieciowej grupy zabezpieczeń, aby zezwolić na ruch między usługą SQL Managed Instance i środowiskiem Azure-SSIS IR oraz ruchem wymaganym przez środowisko Azure-SSIS IR.

      1. Wymaganie ruchu przychodzącego usługi SQL Managed Instance w celu zezwolenia na ruch przychodzący z środowiska Azure-SSIS IR.

        Protokół transportowy Źródło Zakres portów źródłowych Element docelowy Zakres portów docelowych Komentarze
        TCP VirtualNetwork * VirtualNetwork 1433, 11000-11999 Jeśli zasady połączenia serwera usługi SQL Database są ustawione na serwer proxy zamiast przekierowania, wymagany jest tylko port 1433.

      2. Wymaganie ruchu wychodzącego środowiska Azure-SSIS IR, aby zezwolić na ruch wychodzący do usługi SQL Managed Instance i inny ruch wymagany przez środowisko Azure-SSIS IR.

        Protokół transportowy Źródło Zakres portów źródłowych Element docelowy Zakres portów docelowych Komentarze
        TCP VirtualNetwork * VirtualNetwork 1433, 11000-11999 Zezwalaj na ruch wychodzący do usługi SQL Managed Instance. Jeśli zasady połączenia są ustawione na serwer proxy zamiast przekierowania, wymagany jest tylko port 1433.
        TCP VirtualNetwork * AzureCloud 443 Węzły środowiska Azure-SSIS IR w sieci wirtualnej używają tego portu do uzyskiwania dostępu do usług platformy Azure, takich jak Azure Storage i Azure Event Hubs.
        TCP VirtualNetwork * Internet 80 (Opcjonalnie) Węzły środowiska Azure-SSIS IR w sieci wirtualnej używają tego portu do pobrania listy odwołania certyfikatów z Internetu. Jeśli zablokujesz ten ruch, może wystąpić obniżenie wydajności podczas uruchamiania środowiska IR i utrata możliwości sprawdzania listy odwołania certyfikatów na potrzeby użycia certyfikatów. Jeśli chcesz dokładniej zawęzić miejsce docelowe do niektórych nazw FQDN, zapoznaj się z tematem Konfigurowanie tras zdefiniowanych przez użytkownika (UDR).
        TCP VirtualNetwork * Storage 445 (Opcjonalnie) Ta reguła jest wymagana tylko wtedy, gdy chcesz wykonać pakiet SSIS przechowywany w usłudze Azure Files.

      3. Wymaganie ruchu przychodzącego środowiska Azure-SSIS IR w celu zezwolenia na ruch wymagany przez środowisko Azure-SSIS IR.

        Protokół transportowy Źródło Zakres portów źródłowych Element docelowy Zakres portów docelowych Komentarze
        TCP BatchNodeManagement * VirtualNetwork 29876, 29877 (jeśli przyłączysz środowisko IR do sieci wirtualnej usługi Resource Manager)

        10100, 20100, 30100 (jeśli przyłączysz środowisko IR do klasycznej sieci wirtualnej)        		 Usługa Data Factory używa tych portów do komunikowania się z węzłami środowiska Azure-SSIS IR w sieci wirtualnej.

        Niezależnie od tego, czy tworzysz sieciową grupę zabezpieczeń na poziomie podsieci, usługa Data Factory zawsze konfiguruje sieciową grupę zabezpieczeń na poziomie kart interfejsu sieciowego dołączonego do maszyn wirtualnych hostujących środowisko Azure-SSIS IR. Tylko ruch przychodzący z adresów IP usługi Data Factory na określonych portach jest dozwolony przez sieciową grupę zabezpieczeń na poziomie karty sieciowej. Nawet jeśli otworzysz te porty do ruchu internetowego na poziomie podsieci, ruch z adresów IP, które nie są adresami IP usługi Data Factory, zostanie zablokowany na poziomie karty sieciowej.
        TCP CorpNetSaw * VirtualNetwork 3389 (Opcjonalnie) Ta reguła jest wymagana tylko wtedy, gdy pomocnik firmy Microsoft prosi klienta o otwarcie zaawansowanego rozwiązywania problemów i może zostać zamknięty bezpośrednio po rozwiązaniu problemów. Tag usługi CorpNetSaw zezwala na używanie pulpitu zdalnego tylko stacji roboczych bezpiecznego dostępu w sieci firmowej firmy Microsoft. Nie można wybrać tego tagu usługi w portalu i jest dostępny tylko za pośrednictwem programu Azure PowerShell lub interfejsu wiersza polecenia platformy Azure.

        W sieciowej grupie zabezpieczeń na poziomie karty sieciowej port 3389 jest domyślnie otwarty i pozwalamy kontrolować port 3389 na poziomie podsieci sieciowej grupy zabezpieczeń, w międzyczasie środowisko Azure-SSIS IR domyślnie niedozwolone port 3389 ruchu wychodzącego w regule zapory systemu Windows w każdym węźle IR na potrzeby ochrony.

    5. Aby uzyskać więcej informacji, zobacz Konfiguracja sieci wirtualnej:

      • W przypadku korzystania z własnych publicznych adresów IP dla środowiska Azure-SSIS IR
      • Jeśli używasz własnego serwera systemu nazw domen (DNS)
      • Jeśli używasz usługi Azure ExpressRoute lub trasy zdefiniowanej przez użytkownika (UDR)
      • Jeśli używasz dostosowanego środowiska Azure-SSIS IR

Aprowizuj środowisko Azure-SSIS Integration Runtime

  1. Wybierz prywatny punkt końcowy usługi SQL Managed Instance lub publiczny punkt końcowy.

    Podczas aprowizowania środowiska Azure-SSIS IR w witrynie Azure Portal/aplikacji ADF na stronie Ustawienia SQL użyj prywatnego punktu końcowego usługi SQL Managed Instance lub publicznego punktu końcowego podczas tworzenia katalogu usług SSIS (SSISDB).

    Nazwa hosta publicznego punktu końcowego ma format <mi_name.public>.<>dns_zone.database.windows.net i że port używany do połączenia to 3342.

    Zrzut ekranu przedstawiający konfigurację środowiska Integration Runtime z wybraną pozycją Utwórz wykaz S I S i wprowadzonym punktem końcowym serwera bazy danych wykazu.

  2. Wybierz pozycję Uwierzytelnianie entra firmy Microsoft, jeśli ma zastosowanie.

    catalog-public-endpoint

    Aby uzyskać więcej informacji na temat włączania uwierzytelniania entra firmy Microsoft, zobacz Włączanie identyfikatora entra firmy Microsoft w usłudze Azure SQL Managed Instance.

  3. Dołącz środowisko Azure-SSIS IR do sieci wirtualnej, jeśli ma zastosowanie.

    Na stronie ustawienia zaawansowanego wybierz sieć wirtualną i podsieć do dołączenia.

    W tej samej sieci wirtualnej co usługa SQL Managed Instance wybierz inną podsieć niż SQL Managed Instance.

    Aby uzyskać więcej informacji na temat dołączania środowiska Azure-SSIS IR do sieci wirtualnej, zobacz Dołączanie środowiska Azure-SSIS Integration Runtime do sieci wirtualnej.

    Zrzut ekranu przedstawiający ustawienia zaawansowane konfiguracji środowiska Integration Runtime, w którym można wybrać sieć wirtualną, do której chcesz dołączyć środowisko uruchomieniowe.

Aby uzyskać więcej informacji na temat tworzenia środowiska Azure-SSIS IR, zobacz Tworzenie środowiska Azure-SSIS Integration Runtime w usłudze Azure Data Factory.

Czyszczenie dzienników bazy danych SSISDB

Zasady przechowywania dzienników SSISDB są definiowane przez poniższe właściwości w catalog.catalog_properties:

  • OPERATION_CLEANUP_ENABLED

    Jeśli wartość ma wartość TRUE, szczegóły operacji i komunikaty operacji starsze niż RETENTION_WINDOW (dni) są usuwane z wykazu. Gdy wartość ma wartość FALSE, wszystkie szczegóły operacji i komunikaty operacji są przechowywane w wykazie. Uwaga: zadanie programu SQL Server wykonuje oczyszczanie operacji.

  • RETENTION_WINDOW

    Liczba dni przechowywania szczegółów operacji i komunikatów dotyczących operacji w wykazie. Gdy wartość to -1, okno przechowywania jest nieskończone. Uwaga: jeśli nie jest wymagane czyszczenie, ustaw OPERATION_CLEANUP_ENABLED wartość FALSE.

Aby usunąć dzienniki bazy danych SSISDB, które znajdują się poza oknem przechowywania ustawionym przez administratora, możesz wyzwolić procedurę [internal].[cleanup_server_retention_window_exclusive]składowaną . Opcjonalnie możesz zaplanować wykonywanie zadania agenta usługi SQL Managed Instance w celu wyzwolenia procedury składowanej.

Powiązana zawartość