Wdrażanie usługi SAS Grid 9.4 w Azure NetApp Files

Azure NetApp Files
Azure Virtual Machines

Oprogramowanie do analizy sygnatur dostępu współdzielonego udostępnia zestaw usług i narzędzi do rysowania szczegółowych informacji z danych i podejmowania inteligentnych decyzji. Rozwiązania SAS zapewniają analizę, sztuczną inteligencję, analizę biznesową, analizę klienta, zarządzanie danymi oraz oszustwa i analizę zabezpieczeń.

Jeśli wdrażasz usługę SAS Grid na platformie Azure, Azure NetApp Files jest opłacalną opcją magazynu podstawowego. W przypadku korzystania ze skalowalnych usług Azure NetApp Files można skalować alokacje magazynu w górę lub w dół w dowolnym momencie bez przerw w działaniu usług. Możesz również dynamicznie dostosować poziom usługi magazynu do wymagań dotyczących wydajności.

Sygnatura dostępu współdzielonego oferuje następujące platformy podstawowe, które firma Microsoft zweryfikowała:

  • Siatka sygnatury dostępu współdzielonego 9.4
  • SAS Viya

Program SAS Grid 9.4 został zweryfikowany w systemie Linux.

Ten artykuł zawiera ogólne informacje dotyczące uruchamiania usługi SAS Grid 9.4 na platformie Azure przy użyciu Azure NetApp Files dla magazynu SASDATA. Zawiera również wskazówki dotyczące opcji magazynowania dla sygnatury dostępu współdzielonego. Te wytyczne są oparte na założeniu, że hostujesz własne rozwiązanie SAS na platformie Azure we własnej dzierżawie. Sygnatura dostępu współdzielonego nie zapewnia hostingu dla usługi SAS Grid na platformie Azure.

Architektura

Diagram przedstawiający architekturę uruchamiania usługi SAS Grid na platformie Azure.

Pobierz plik programu PowerPoint ze wszystkich diagramów w tym artykule.

Przepływ danych

Warstwa obliczeniowa używa woluminów SASDATA (i opcjonalnie SASWORK) do udostępniania danych w siatce. SASDATA to wolumin połączony z systemem plików NFS na Azure NetApp Files.

  • Węzeł obliczeniowy odczytuje dane wejściowe z sygnatury dostępu współdzielonego i zapisuje wyniki z powrotem do pliku SASDATA.
  • Kolejna część zadania analizy może być uruchamiana przez inny węzeł w warstwie obliczeniowej. Używa tej samej procedury, aby uzyskać i przechowywać informacje potrzebne do przetworzenia.

Potencjalne przypadki użycia

Skalowalne wdrożenie usługi SAS Grid korzystające z Azure NetApp Files ma zastosowanie do następujących przypadków użycia:

  • Analiza finansowa
  • Wykrywanie oszustw
  • Śledzenie i ochrona zagrożonych gatunków
  • Nauka i medycyna
  • Analiza i sztuczna inteligencja

Wymagania dotyczące wydajności magazynu

W przypadku wdrożeń sas 9.4 (SAS Grid lub SAS Analytics Pro) na platformie Azure Azure NetApp Files jest opłacalną opcją magazynu podstawowego dla klastrów usługi SAS Grid o ograniczonym rozmiarze. Sygnatura dostępu współdzielonego zaleca 100 przepływności MiB/s na rdzeń fizyczny. Biorąc pod uwagę to zalecenie, klastry usługi SAS Grid korzystające z woluminu Azure NetApp Files dla sygnatury dostępu współdzielonego (trwałe pliki danych SAS) są skalowalne do 32 do 48 rdzeni fizycznych na co najmniej dwóch maszynach wirtualnych platformy Azure. Rozmiary klastra SYGNATUR DOSTĘPU współdzielonego są oparte na ograniczeniu architektury pojedynczej przestrzeni nazw SASDATA na klaster SAS i dostępnej przepustowości pojedynczej Azure NetApp Files woluminu. Podstawowe wskazówki dotyczące liczby będą ponownie dostępne w miarę zwiększania się infrastruktury platformy Azure (zasobów obliczeniowych, sieci i przepustowości magazynu systemu plików).

Azure NetApp Files oczekiwania dotyczące wydajności woluminu

Pojedynczy wolumin Azure NetApp Files może obsługiwać do 4500 MiB/s odczytów i 1500 MiB/s zapisów. Biorąc pod uwagę typ wystąpienia platformy Azure z wystarczającą przepustowością ruchu wychodzącego, pojedyncza maszyna wirtualna może zużywać całą przepustowość zapisu pojedynczego woluminu Azure NetApp Files. Jednak tylko największa pojedyncza maszyna wirtualna może zużywać całą przepustowość odczytu pojedynczego woluminu.

SASDATA, główne udostępnione obciążenie sygnatury dostępu współdzielonego SAS 9.4, ma współczynnik odczytu/zapisu 80:20. Ważne liczby woluminów dla obciążenia 80:20 z 64KiB odczytu/zapisu są następujące:

  • 2400 MiB/s przepływności odczytu i 600 MiB/s przepływności zapisu działającej współbieżnie (łącznie ok. 3000 MiB/s).

Aby uzyskać więcej informacji, zobacz Azure NetApp Files testów porównawczych wydajności dla systemu Linux.

Uwaga

Azure NetApp Files funkcja dużych woluminów jest teraz dostępna. Ta funkcja zapewnia większą przepływność na wolumin niż zwykle Azure NetApp Files woluminów. Tę funkcję można rozważyć w przypadku, gdy dla woluminów SASDATA (lub SASWORK) jest wymagana większa wydajność. Aby uzyskać szczegółowe informacje, zobacz tę dokumentację .

Zalecenia dotyczące pojemności

Kalkulator wydajności Azure NetApp Files może dostarczyć wskazówek dotyczących określania rozmiaru woluminów SASDATA.

Ważne jest, aby wybrać odpowiedni poziom usług, ponieważ:

  • Przepustowość woluminu jest oparta na pojemności woluminu.
  • Koszt pojemności zależy od poziomu usługi.
  • Wybór poziomu usługi zależy od pojemności i potrzeb dotyczących przepustowości.

W kalkulatorze wybierz pozycję Zaawansowane, wybierz region i wprowadź następujące wartości.

  • Rozmiar woluminu: żądana pojemność
  • Przepływność: żądana przepływność, biorąc pod uwagę 100 mil/s na rdzeń
  • Procent odczytu: 80%
  • Operacje we/wy na sekundę: 0
  • Rozmiar we/wy: sekwencyjny 64KiB

Dane wyjściowe w dolnej części ekranu zapewniają zalecane wymagania dotyczące pojemności na każdym poziomie usług i kosztach miesięcznie na podstawie ceny dla wybranego regionu:

  • Przepływność. Przepustowość woluminu na podstawie kombinacji obciążenia. W przypadku obciążenia odczytu sekwencyjnego 80% 64-KiB 3096 MiB/s jest oczekiwaną maksymalną wartością.
  • Operacje we/wy na sekundę. Liczba operacji we/wy na sekundę woluminu zapewnia określoną przepływność.
  • Rozmiar woluminu. Ilość pojemności wymaganej przez wolumin na podanych poziomach usług w celu osiągnięcia wymaganej przepływności. Pojemność woluminu (zgłoszona w gibs) może być równa lub mniejsza niż rozmiar puli pojemności. To zalecenie jest oparte na założeniu, że używasz automatycznych typów puli pojemności QoS. Aby dodatkowo zoptymalizować dystrybucję pojemności i przepływności między woluminami w puli pojemności, rozważ ręczne typy puli pojemności QoS.
  • Rozmiar puli pojemności. Rozmiar puli. Pojemność woluminu jest wyrzeźbiona z puli pojemności. Pule pojemności mają rozmiar 1-TiB.
  • Koszt puli pojemności (USD/miesiąc). Koszt w miesiącu puli pojemności na danym poziomie usługi i rozmiarze.
  • Wolumin Pokaż wstecz (USD/miesiąc). Koszt za miesiąc pojemności dla woluminu w określonej pojemności. Opłaty są oparte na przydzielonych rozmiarach puli pojemności. Wolumin pokaż wstecz wskazuje ilość woluminu.

Uwaga

Środowisko użytkownika jest takie samo niezależnie od poziomu usługi, o ile jest aprowizowana wystarczająca przepustowość.

Kontrolowanie kosztów zgodnie z potrzebami przy użyciu kształtowania woluminu w Azure NetApp Files. Dostępne są dwie opcje dynamiczne wpływające na wydajność i koszt:

Dowiedz się więcej o modelu kosztów Azure NetApp Files.

Ochrona danych

Azure NetApp Files używa migawek, aby ułatwić ochronę danych. Migawki zapewniają wydajne, spójne na poziomie przestrzeni, niemal natychmiastowe obrazy woluminów Azure NetApp Files. Migawki można tworzyć ręcznie w dowolnym momencie lub zaplanować przy użyciu zasad migawek na woluminie.

Użyj zasad migawek, aby dodać automatyczną ochronę danych do woluminów. Migawki można szybko przywrócić, przywracając migawki. Możesz też przywrócić migawkę do nowego woluminu w celu szybkiego odzyskiwania danych. Możesz również użyć funkcji przywracania do nowych funkcji woluminu, aby zapewnić środowiska testowe/deweloperskie z bieżącymi danymi.

W przypadku dodatkowych poziomów ochrony danych można użyć rozwiązań do ochrony danych, które korzystają z Azure NetApp Files kopii zapasowych lub oprogramowania do tworzenia kopii zapasowych partnerów.

Składniki

  • Azure Virtual Machines: usługa SAS Grid wymaga dużej ilości pamięci, magazynu i przepustowości we/wy w odpowiednim stosunku do liczby rdzeni. Platforma Azure oferuje wstępnie zdefiniowane rozmiary maszyn wirtualnych o niższych liczbach procesorów wirtualnych, które mogą pomóc w zrównoważeniu liczby rdzeni wymaganych przez przepustowość pamięci, magazynu i operacji we/wy.

    Aby uzyskać więcej informacji, zobacz Ograniczone rozmiary maszyn wirtualnych obsługujących procesor wirtualny. Ważne jest, aby dokładnie zrozumieć, jakie zasoby obliczeniowe są dostępne w każdym wystąpieniu. Aby uruchomić usługę SAS Grid na platformie Azure za pomocą Azure NetApp Files, zalecamy następujące typy wystąpień:

    • Standard_E64-16ds_v4 lub Standard_E64-16ds_v5
    • 32ds_v4 Standard_E64 lub Standard_E64-32ds_v5

    Zapoznaj się z najlepszymi rozwiązaniami dotyczącymi używania sygnatury dostępu współdzielonego na platformie Azure, w tym aktualizacjami w komentarzach.

  • Azure NetApp Files: dane SASDATA można przechowywać na woluminie Azure NetApp Files udostępnionym w klastrze obliczeniowym.

    Opcjonalnie można również użyć Azure NetApp Files woluminów NFS dla sygnatury dostępu współdzielonego.

    Azure NetApp Files jest dostępna na trzech poziomach usług wydajności:

    • Standardowa (Standard)
    • Premium
    • Ultra

    Wydajność woluminu jest definiowana głównie przez poziom usługi. Rozmiar woluminu jest również czynnikiem, ponieważ możliwa do uzyskania przepływność jest określana przez poziom usługi i rozmiar woluminu.

Opcje magazynowania dla sygnatury dostępu współdzielonego

Ponieważ Azure NetApp Files może zapewnić wysoką przepływność i małe opóźnienia dostępu do magazynu, jest to opłacalne i szybsze, alternatywne rozwiązanie dla dysku Premium Disk. Magazyn dołączony do sieci nie jest ograniczany na poziomie maszyny wirtualnej, podobnie jak w przypadku dysków zarządzanych, dzięki czemu uzyskujesz większą przepływność do magazynu.

Aby oszacować wymaganą warstwę dla pojemności SASDATA, użyj kalkulatora wydajności Azure NetApp Files. (Pamiętaj, aby wybrać pozycję Zaawansowane).

Ponieważ woluminy systemu plików NFS Azure NetApp Files są współużytkowane, są dobrym kandydatem do hostowania sygnatury dostępu współdzielonego, gdy są używane z prawidłowymi typami wystąpień maszyn wirtualnych i dystrybucją systemu Red Hat Enterprise Linux (RHEL), omówioną w dalszej części tego artykułu.

Opcje magazynowania dla sygnatury dostępu współdzielonego

W poniższej tabeli przedstawiono najbardziej typowe opcje magazynowania dotyczące wdrażania sygnatury dostępu współdzielonego na platformie Azure. W zależności od wymagań dotyczących rozmiaru (pojemności) i szybkości (przepustowości) dostępne są trzy opcje: magazyn tymczasowy, dysk zarządzany i Azure NetApp Files.

Magazyn tymczasowy Dysk zarządzany Azure NetApp Files
Rozmiar Mały Duża Bardzo duża
Szybkość Bardzo duża Mały Śred.

Podczas wybierania opcji należy wziąć pod uwagę następujące kwestie:

  • Magazyn tymczasowy (lub magazyn efemeryczny) zapewnia najwyższą przepustowość, ale jest dostępny tylko w mniejszych rozmiarach. (Rozmiar zależy od jednostki SKU maszyny wirtualnej). W zależności od dostępnych i wymaganych pojemności ta opcja może być najlepsza.
  • Jeśli wymagana pojemność SASWORK przekracza rozmiar magazynu tymczasowego wybranej jednostki SKU maszyny wirtualnej, rozważ użycie dysku zarządzanego platformy Azure do hostowania sygnatury dostępu współdzielonego platformy Azure. Należy jednak pamiętać, że przepływność do dysku zarządzanego jest ograniczona przez architekturę maszyny wirtualnej zgodnie z projektem i że różni się w zależności od jednostki SKU maszyny wirtualnej. W związku z tym ta opcja magazynu jest opłacalna tylko dla środowisk, które mają niższe wymagania dotyczące wydajności sygnatury dostępu współdzielonego.
  • Aby uzyskać najwyższe wymagania dotyczące pojemności SASWORK i średnie wymaganie wydajności wykraczające poza to, co mogą zapewnić dyski zarządzane platformy Azure, rozważ Azure NetApp Files dla sygnatury dostępu współdzielonego. Zapewnia duży rozmiar wraz z szybką przepływnością.

Ważne

W każdym scenariuszu należy pamiętać, że usługa SASWORK nie może być współużytkowana między węzłami obliczeniowymi maszyny wirtualnej, dlatego należy utworzyć oddzielne woluminy SASWORK dla każdego węzła obliczeniowego. Woluminy muszą być zainstalowane w systemie plików NFS tylko w jednym węźle obliczeniowym.

W przypadku korzystania z powyższej tabeli, aby zdecydować, czy twoje potrzeby są małe, duże, średnie lub dodatkowe, uwzględniają skalę wdrożenia, liczbę maszyn wirtualnych i rdzeni oraz powiązane wymagania dotyczące wydajności i wydajności. Należy dokonać tych ocen dla każdego wdrożenia.

Opcje w tabeli odpowiadają wdrożeń opisanym w poniższych architekturach. We wszystkich scenariuszach usługa SASDATA jest hostowana na woluminie systemu plików NFS Azure NetApp Files i współużytkowana w węzłach obliczeniowych. W przypadku niektórych dystrybucji RHEL zalecamy użycie opcji nconnect systemu plików NFS w celu utworzenia wielu przepływów sieciowych do woluminu. Aby uzyskać więcej informacji, zobacz sekcję opcje instalacji systemu plików NFS w tym artykule.

Architektura magazynu tymczasowego

Diagram przedstawiający tymczasową architekturę magazynu.

W przypadku mniejszych wymagań dotyczących pojemności SASWORK magazyn tymczasowy maszyny wirtualnej platformy Azure to szybkie i ekonomiczne rozwiązanie. W tej architekturze każda maszyna wirtualna w warstwie obliczeniowej jest wyposażona w magazyn tymczasowy. Aby określić rozmiary magazynu tymczasowego dla używanych maszyn wirtualnych, zobacz dokumentację maszyny wirtualnej platformy Azure.

Przepływ danych

  • Węzeł obliczeniowy odczytuje dane wejściowe z sygnatury dostępu współdzielonego i zapisuje wyniki z powrotem do pliku SASDATA.
  • Kolejna część zadania analizy może być uruchamiana przez inny węzeł w warstwie obliczeniowej. Używa tej samej procedury, aby uzyskać i przechowywać informacje potrzebne do przetworzenia.
  • Tymczasowy katalog służbowy SASWORK nie jest udostępniony. Jest on przechowywany w magazynie tymczasowym w każdym węźle obliczeniowym.

Architektura dysku zarządzanego

Diagram przedstawiający architekturę dysku zarządzanego.

Jeśli wymagania dotyczące pojemności sygnatury dostępu współdzielonego przekraczają pojemności dostępne w magazynie tymczasowym, dyski zarządzane platformy Azure są dobrym rozwiązaniem. Dyski zarządzane są dostępne w różnych rozmiarach i poziomach wydajności. Aby uzyskać więcej informacji, zobacz Cele dotyczące skalowalności i wydajności dysków maszyn wirtualnych.

Przepływ danych

  • Węzeł obliczeniowy odczytuje dane wejściowe z sygnatury dostępu współdzielonego i zapisuje wyniki z powrotem do pliku SASDATA.
  • Kolejna część zadania analizy może być uruchamiana przez inny węzeł w warstwie obliczeniowej. Używa tej samej procedury, aby uzyskać i przechowywać informacje potrzebne do przetworzenia.
  • Tymczasowy katalog służbowy SASWORK nie jest udostępniony. Jest on przechowywany na dyskach zarządzanych dołączonych do każdego węzła obliczeniowego.

architektura Azure NetApp Files

Diagram przedstawiający architekturę Azure NetApp Files.

W przypadku wyższych wymagań dotyczących wydajności sygnatury dostępu współdzielonego i/lub średniej wydajności rozważ użycie Azure NetApp Files. Azure NetApp Files zapewnia pojemności woluminu nawet 100 TiB. Każdy węzeł w warstwie obliczeniowej powinien mieć własny wolumin SASWORK. Woluminy nie powinny być udostępniane.

Przepływ danych

  • Węzeł obliczeniowy odczytuje dane wejściowe z sygnatury dostępu współdzielonego i zapisuje wyniki z powrotem do pliku SASDATA.
  • Kolejna część zadania analizy może być uruchamiana przez inny węzeł w warstwie obliczeniowej. Używa tej samej procedury, aby uzyskać i przechowywać informacje potrzebne do przetworzenia.
  • Tymczasowy katalog służbowy SASWORK nie jest udostępniony. Jest on przechowywany na poszczególnych woluminach Azure NetApp Files dołączonych do każdego węzła obliczeniowego.

Zalecenia dotyczące skalowania i konfiguracji

Dystrybucje RHEL i ustawienia systemu plików NFS

Dystrybucje RHEL

RHEL jest zalecaną dystrybucją dla uruchamiania sygnatury dostępu współdzielonego 9 w systemie Linux. Każde jądro obsługiwane przez firmę Red Hat ma własne ograniczenia przepustowości systemu plików NFS.

Aby uzyskać szczegółowe informacje na temat uruchamiania sygnatury dostępu współdzielonego na platformie Azure, zobacz Najlepsze rozwiązania dotyczące używania sygnatury dostępu współdzielonego na platformie Azure.

Zalecane są maszyny wirtualne platformy Azure 16ds_v4 Standard_E64 Standard_E64 i Standard_E64 32ds_v4 lub ich odpowiedniki w wersji 5. Biorąc pod uwagę te zalecenia, ta sekcja zawiera pewne wskazówki dotyczące używania sygnatury dostępu współdzielonego z Azure NetApp Files.

  • Jeśli używasz protokołu RHEL 7, Standard_E64-16ds_v4 lub Standard_E64-16ds_v5 jest najlepszym wyborem w oparciu o 100-MiB/s dla docelowego rdzenia fizycznego dla sygnatury dostępu współdzielonego.

    • Standard_E64-16ds_v4: 90–100 MiB/s na rdzeń
    • Standard_E64-32ds_v4: 45–50 MiB/s na rdzeń
  • Jeśli używasz systemu RHEL 8.2, możliwe są opcje Standard_E64-16ds_v4 lub Standard_E64-32ds_v4 albo ich odpowiedniki w wersji 5. Standard_E64-16ds_v4 jest preferowane, biorąc pod uwagę 100-MiB/s na rdzeń docelowy dla sasDATA.

    • Standard_E64-16ds_v4: 150–160 MiB/s na rdzeń
    • Standard_E64-32ds_v4: 75–80 MiB/s na rdzeń
  • Jeśli używasz systemu RHEL 8.3, zarówno Standard_E64-16ds_v4, jak i Standard_E64-32ds_v4 lub ich odpowiedniki w wersji 5, są w pełni akceptowalne, biorąc pod uwagę cel przepływności na rdzeń:

    • Walidacja wskazuje 3200 MiB/s odczytów.
    • Te wyniki są osiągane przy użyciu opcji instalacji systemu plików NFS nconnect .

Testowanie pokazuje, że pojedyncze wystąpienie systemu RHEL 7 osiąga nie więcej niż 750–800 MiB/s przepływności odczytu dla pojedynczego punktu końcowego magazynu Azure NetApp Files (czyli względem gniazda sieciowego). 1500 MiB/s zapisów jest osiągalnych względem tego samego punktu końcowego, jeśli używasz opcji instalacji 64-KiB rsize i wsize NFS. Niektóre dowody sugerują, że wcześniej zanotowany limit przepływności odczytu jest artefaktem jądra 3.10. Aby uzyskać więcej informacji, zobacz RHEL CVE-2019-11477.

Testowanie pokazuje, że pojedyncze wystąpienie systemu RHEL 8.2 z jądrem 4.18 jest wolne od ograniczeń odnotowanych w jądrze 3.10. Tak więc 1,200-1300 MiB/s ruchu odczytu jest osiągalny, jeśli używasz opcji instalacji 64-KiB rsize i wsize NFS. W przypadku dużych zapisów sekwencyjnych można oczekiwać tych samych 1500 MiB/s osiągalnej przepływności, którą można uzyskać w systemie RHEL 7.

W przypadku pojedynczego wystąpienia RHEL 8.3 z opcją instalacji nconnect (która jest nowa w dystrybucji RHEL 8.3), około 3200 Przepływność odczytu MiB/s jest osiągalna z jednego woluminu Azure NetApp Files. Nie oczekuj więcej niż 1500 zapisów MiB/s do pojedynczego woluminu Azure NetApp Files, nawet w przypadku zastosowania metody nconnect.

Dostrajania jądra

Wpisy tabeli gniazda

System plików NFSv3 nie ma mechanizmu negocjowania współbieżności między klientem a serwerem. Klient i serwer definiują swoje limity bez świadomości drugiej. Aby uzyskać najlepszą wydajność, należy ustawić maksymalną liczbę wpisów tabeli gniazda po stronie sunrpc klienta, które są obsługiwane bez wypychania zwrotnego na serwerze. Gdy klient przeciąża zdolność stosu sieciowego serwera do przetwarzania obciążenia, serwer odpowiada przez zmniejszenie rozmiaru okna dla połączenia, co nie jest idealne do wydajności.

Domyślnie nowoczesne jądra systemu Linux definiują rozmiar sunrpc.max_tcp_slot_table_entries wejścia tabeli gniazda połączenia sunrpc do obsługi 65 536 zaległych operacji. Te wpisy tabeli gniazd definiują limity współbieżności. Te wartości są niepotrzebne, ponieważ Azure NetApp Files domyślnie 128 zaległych operacji.

Zalecamy dostosowanie klienta do tej samej liczby:

  • Dostrajania jądra (za pośrednictwem /etc/sysctl.conf)
    • sunrpc.tcp_max_slot_table_entries=128

Możliwość dostosowania pamięci podręcznej systemu plików

Należy również zrozumieć następujące czynniki dotyczące funkcji dostrajania pamięci podręcznej systemu plików:

  • Opróżnienie zanieczyszczonego buforu pozostawia dane w stanie czystym, które można wykorzystać do przyszłych operacji odczytu, dopóki wykorzystanie pamięci nie doprowadzi do eksmisji.
  • Istnieją trzy wyzwalacze dla operacji opróżniania asynchronicznego:
    • Na podstawie czasu: gdy bufor osiągnie wiek zdefiniowany przez vm.dirty_expire_centisecs lub vm.dirty_writeback_centisecs możliwość dostosowania, należy go oznaczyć do czyszczenia (czyli opróżniania lub zapisywania w magazynie).
    • Wykorzystanie pamięci: aby uzyskać szczegółowe informacje, zobacz vm.dirty_ratio | vm.dirty_bytes.
    • Zamknij: po zamknięciu dojścia do pliku wszystkie zanieczyszczone bufory są asynchroniczne opróżniane do magazynu.

Te czynniki są kontrolowane przez cztery dostrajania. Można dynamicznie i trwale dostroić każdy z nich za pomocą polecenia tuned lub sysctl w pliku /etc/sysctl.conf . Dostrajanie tych zmiennych zwiększa wydajność usługi SAS Grid:

  • Dostrajanie jądra (za pośrednictwem niestandardowego profilu dostrajania)
    • include = throughput-performance
    • vm.dirty_bytes = 31457280
    • vm.dirty_expire_centisecs = 100
    • vm.dirty_writeback_centisecs = 300

Opcje instalacji systemu plików NFS

Zalecamy następujące opcje instalacji systemu plików NFS dla udostępnionych systemów plików NFS, które są używane dla trwałych plików SASDATA :

RHEL 7 i 8.2

bg,rw,hard,rsize=65536,wsize=65536,vers=3,noatime,nodiratime,rdirplus,acdirmin=0,tcp,_netdev

RHEL 8.3

bg,rw,hard,rsize=65536,wsize=65536,vers=3,noatime,nodiratime,rdirplus,acdirmin=0,tcp,_netdev,nconnect=8

Zalecamy następujące opcje instalacji dla woluminów SASWORK , w których odpowiednie woluminy są używane wyłącznie dla sygnatury dostępu współdzielonego i nie są współużytkowane między węzłami:

RHEL 7 i 8.2

bg,rw,hard,rsize=65536,wsize=65536,vers=3,noatime,nodiratime,rdirplus,acdirmin=0,tcp,_netdev,nocto

RHEL 8.3

bg,rw,hard,rsize=65536,wsize=65536,vers=3,noatime,nodiratime,rdirplus,acdirmin=0,tcp,_netdev,nocto,nconnect=8

Aby uzyskać więcej informacji na temat korzyści i kosztów nocto opcji instalacji, zobacz Close-to-open consistency and cache attribute timers (Czasomierze atrybutów close-to-open i cache).

Należy również przejrzeć Azure NetApp Files: udostępniony system plików do użycia z usługą SAS Grid na platformie MS Azure, w tym wszystkie aktualizacje w komentarzach.

Ustawienia odczytu systemu plików NFS z wyprzedzeniem

Zalecamy ustawienie z wyprzedzeniem odczytu systemu plików NFS dla wszystkich dystrybucji RHEL na 15 360 KiB. Aby uzyskać więcej informacji, zobacz How to persistently set read-ahead for NFS mounts (Jak trwale ustawić odczyt przed instalacją systemu plików NFS).

Alternatywy

Rozwiązanie magazynu w poprzednich architekturach jest wysoce dostępne zgodnie z umową dotyczącą poziomu usług Azure NetApp Files. Aby uzyskać dodatkową ochronę i dostępność, można replikować woluminy magazynu do innego regionu świadczenia usługi Azure przy użyciu Azure NetApp Files replikacji między regionami.

Istnieją dwie kluczowe zalety replikowania woluminów za pośrednictwem rozwiązania magazynu:

  • Nie ma dodatkowego obciążenia maszyn wirtualnych aplikacji.
  • To rozwiązanie eliminuje konieczność uruchamiania maszyn wirtualnych w regionie docelowym podczas normalnego działania.

Zawartość magazynu jest replikowana bez użycia zasobów infrastruktury obliczeniowej, a region docelowy nie musi uruchamiać oprogramowania SAS. Docelowe maszyny wirtualne nie muszą być uruchomione, aby obsługiwać ten scenariusz.

Poniższa architektura pokazuje, jak zawartość magazynu na Azure NetApp Files jest replikowana do drugiego regionu, w którym magazyn jest wypełniany repliką danych produkcyjnych. Jeśli nastąpi przejście w tryb failover, region pomocniczy zostanie przełączony w tryb online, a maszyny wirtualne zostaną uruchomione, aby środowisko produkcyjne można wznowić w drugim regionie. Należy ponownie przekierować ruch do drugiego regionu, konfigurując ponownie moduły równoważenia obciążenia, które nie są wyświetlane na diagramie.

Diagram przedstawiający architekturę z replikacją między regionami.

Typowy cel punktu odzyskiwania dla tego rozwiązania jest krótszy niż 20 minut, gdy interwał aktualizacji replikacji między regionami jest ustawiony na 10 minut.

Przepływ danych

  • Węzeł obliczeniowy odczytuje dane wejściowe z danych SASDATA i zapisuje wyniki z powrotem do danych SASDATA.
  • Kolejną częścią zadania analizy może być uruchomiony inny węzeł w warstwie obliczeniowej. Używa tej samej procedury, aby uzyskać i przechowywać informacje potrzebne do przetworzenia.
  • Sygnatura dostępu współdzielonego katalogu służbowego tymczasowego nie jest udostępniana. Jest on przechowywany na poszczególnych woluminach Azure NetApp Files dołączonych do każdego węzła obliczeniowego.
  • Azure NetApp Files replikacji między regionami asynchronicznie replikuje wolumin SASDATA, w tym wszystkie migawki, do regionu odzyskiwania po awarii w celu ułatwienia przejścia w tryb failover w przypadku regionalnej awarii.

Zagadnienia do rozważenia

Te zagadnienia implementują filary platformy Azure Well-Architected Framework— zestaw wytycznych, których można użyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Microsoft Azure Well-Architected Framework.

Niezawodność

Niezawodność zapewnia, że aplikacja może spełnić zobowiązania podjęte wobec klientów. Aby uzyskać więcej informacji, zobacz Omówienie filaru niezawodności.

Azure NetApp Files zapewnia standardową umowę SLA gwarantującą dostępność na poziomie 99,99% dla wszystkich warstw i wszystkich obsługiwanych regionów. Azure NetApp Files obsługuje również aprowizację woluminów w wybieranych strefach dostępności i wdrożeniach wysokiej dostępności w różnych strefach.

W przypadku ulepszonych umów SLA celu punktu odzyskiwania/celu punktu odzyskiwania zintegrowanej ochrony danych z migawkami i kopiami zapasowymi jest dołączana do usługi. Replikacja między regionami zapewnia te same korzyści w różnych regionach świadczenia usługi Azure.

Zabezpieczenia

Zabezpieczenia zapewniają ochronę przed celowymi atakami i nadużyciami cennych danych i systemów. Aby uzyskać więcej informacji, zobacz Omówienie filaru zabezpieczeń.

Azure NetApp Files zapewnia poziom zabezpieczeń, ponieważ woluminy są aprowidowane, a ruch danych pozostaje w sieciach wirtualnych. Nie ma publicznego punktu końcowego. Wszystkie dane są szyfrowane w spoczynku przez cały czas. Opcjonalnie można szyfrować dane podczas przesyłania.

Azure Policy może pomóc w wymuszaniu standardów organizacyjnych i ocenie zgodności na dużą skalę. Azure NetApp Files obsługuje Azure Policy za pośrednictwem niestandardowych i wbudowanych definicji zasad.

Efektywność wydajności

Efektywność wydajności to możliwość skalowania obciążenia w celu zaspokojenia zapotrzebowania użytkowników w wydajny sposób. Aby uzyskać więcej informacji, zobacz Omówienie filaru wydajności wydajności.

Wydajność

W zależności od wymagań dotyczących przepływności i pojemności należy pamiętać o następujących kwestiach:

Uwaga

Azure NetApp Files funkcja dużych woluminów jest teraz dostępna. Ta funkcja zapewnia większą przepływność na wolumin niż zwykle Azure NetApp Files woluminów. Tę funkcję można rozważyć w przypadku, gdy dla woluminów SASDATA (lub SASWORK) jest wymagana większa wydajność. Aby uzyskać szczegółowe informacje, zobacz tę dokumentację .

Skalowalność

Wydajność obliczeń można łatwo skalować, dodając maszyny wirtualne do zestawów skalowania, które uruchamiają trzy warstwy rozwiązania SAS.

Magazyn Azure NetApp Files woluminów można skalować dynamicznie. Jeśli używasz automatycznego QoS, wydajność jest skalowana w tym samym czasie. Aby uzyskać bardziej szczegółową kontrolę nad każdym woluminem, można również kontrolować wydajność każdego woluminu oddzielnie przy użyciu ręcznego QoS dla pul pojemności.

Azure NetApp Files woluminy są dostępne w trzech warstwach wydajności: Ultra, Premium i Standard. Wybierz warstwę, która najlepiej odpowiada wymaganiom w zakresie wydajności, uwzględniając dostępne skalowanie przepustowości wydajności o rozmiarze woluminu. Poziom usługi woluminu można zmienić w dowolnym momencie. Aby uzyskać więcej informacji na temat modelu kosztów Azure NetApp Files, zobacz te przykłady cen.

Aby rozpocząć pracę, możesz użyć kalkulatora wydajności Azure NetApp Files.

Optymalizacja kosztów

Optymalizacja kosztów polega na zmniejszeniu niepotrzebnych wydatków i poprawie wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Omówienie filaru optymalizacji kosztów.

Model kosztów

Zrozumienie modelu kosztów dla Azure NetApp Files może pomóc w zarządzaniu kosztami.

Azure NetApp Files rozliczenia są oparte na aprowizowanej pojemności magazynu, która jest przydzielana przez tworzenie pul pojemności. Pule pojemności są rozliczane co miesiąc na podstawie ustalonego kosztu za przydzielony giB na godzinę.

Jeśli wymagania dotyczące rozmiaru puli pojemności zmieniają się (na przykład ze względu na potrzeby zmiennej pojemności lub wydajności), rozważ zmianę rozmiaru woluminów i pul pojemności , aby równoważyć koszty dzięki potrzebom pojemności i wydajności.

Jeśli wymagania dotyczące rozmiaru puli pojemności pozostają takie same, ale wymagania dotyczące wydajności wahają się, rozważ dynamiczną zmianę poziomu usługi woluminu. Pule pojemności różnych typów w ciągu miesiąca można aprowizować i wyprowizować, zapewniając wydajność just in time i zmniejszając koszty w okresach, gdy nie potrzebujesz wysokiej wydajności.

Cennik

Na podstawie wymagań dotyczących pojemności i wydajności zdecyduj, który Azure NetApp Files potrzebny poziom usług (Standardowa, Premium lub Ultra). Następnie użyj kalkulatora cen platformy Azure , aby ocenić koszty tych składników:

  • Sygnatura dostępu współdzielonego w składnikach platformy Azure
  • Azure NetApp Files
  • Dysk zarządzany (opcjonalnie)
  • Sieć wirtualna

Efektywność operacyjna

Doskonałość operacyjna obejmuje procesy operacyjne, które wdrażają aplikację i działają w środowisku produkcyjnym. Aby uzyskać więcej informacji, zobacz Omówienie filaru doskonałości operacyjnej.

Usługa SAS Grid na platformie Azure zapewnia elastyczność i szybkie wdrażanie. Oto kilka korzyści:

  • Spełnianie zmieniających się wymagań biznesowych przy użyciu dynamicznego równoważenia obciążenia
  • Tworzenie środowiska obliczeniowego sygnatury dostępu współdzielonego o wysokiej dostępności
  • Szybsze wyniki z istniejącej infrastruktury IT
  • Zwiększanie zasobów obliczeniowych przyrostowo i ekonomiczne
  • Zarządzanie wszystkimi obciążeniami analitycznymi
  • Łatwe przejście z serwera silosowego lub środowiska wielu komputerów do środowiska siatki sygnatury dostępu współdzielonego

Wdrażanie tego scenariusza

Najlepiej wdrożyć obciążenia przy użyciu procesu infrastruktury jako kodu (IaC). Obciążenia sygnatur dostępu współdzielonego mogą być wrażliwe na błędy konfiguracji, które często występują w wdrożeniach ręcznych i zmniejszają produktywność.

Aby rozpocząć projektowanie usługi SAS Grid na platformie Azure, zapoznaj się z tematem SAS on Azure Architecture and Automating SAS Deployment on Azure using GitHub Actions (Sas Architecture and Automating SAS Deployment on Azure using GitHub Actions ( Automatyzacja wdrażania sygnatury dostępu współdzielonego na platformie Azure).

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.

Autorzy zabezpieczeń:

Inni współautorzy:

Aby wyświetlić niepubliowe profile usługi LinkedIn, zaloguj się do serwisu LinkedIn.

Następne kroki