Tworzenie pamięci podręcznej HPC platformy Azure

Użyj Azure Portal lub interfejsu wiersza polecenia platformy Azure, aby utworzyć pamięć podręczną.

Portal

Definiowanie podstawowych szczegółów

W obszarze Szczegóły projektu wybierz subskrypcję i grupę zasobów, która będzie hostować pamięć podręczną.

W obszarze Szczegóły usługi ustaw nazwę pamięci podręcznej i następujące inne atrybuty:

• Lokalizacja — wybierz jeden z obsługiwanych regionów.

  Jeśli ten region obsługuje strefy dostępności, wybierz strefę, która będzie hostować zasoby pamięci podręcznej. Azure HPC Cache to usługa strefowa.

• Sieć wirtualna — możesz wybrać istniejącą sieć lub utworzyć nową sieć wirtualną.

• Podsieć — wybierz lub utwórz podsieć z co najmniej 64 adresami IP (/24). Ta podsieć musi być używana tylko dla tego wystąpienia usługi Azure HPC Cache.

Wybieranie typu i pojemności pamięci podręcznej

Na stronie Pamięć podręczna określ typ i rozmiar pamięci podręcznej do utworzenia. Te wartości określają możliwości pamięci podręcznej, w tym:

• Jak szybko pamięć podręczna może obsługiwać żądania klientów
• Ile danych może pomieścić pamięć podręczna
• Czy pamięć podręczna obsługuje tryb buforowania odczytu/zapisu
• Ile miejsc docelowych magazynu może mieć
• Koszt pamięci podręcznej

Aby można było wybrać przepływność lub pojemność magazynu, należy wybrać typ pamięci podręcznej. Dostępne opcje:

• Standardowa pamięć podręczna do odczytu i zapisu: elastyczna pamięć podręczna ogólnego przeznaczenia
• Buforowanie tylko do odczytu: pamięć podręczna o wysokiej przepływności zaprojektowana w celu zminimalizowania opóźnień dostępu do plików; Modyfikacje są obsługiwane za pomocą synchronicznych operacji zapisu
• Buforowanie w warstwie Premium do odczytu i zapisu (wersja zapoznawcza): pamięć podręczna zoptymalizowana pod kątem technologii NVMe z najmniejszym opóźnieniem i najwyższą przepływnością

Więcej informacji na temat tych typów pamięci podręcznej można znaleźć poniżej w temacie Wybieranie typu pamięci podręcznej dla swoich potrzeb.

Wskazówka

Typy pamięci podręcznej "do odczytu i zapisu" można skonfigurować z obiektami docelowymi magazynu przy użyciu modeli buforowania odczytu lub buforowania odczytu i zapisu. Typy pamięci podręcznej "tylko do odczytu" obsługują tylko typy docelowe magazynu NFS i ADLS-NFS tylko z modelami użycia buforowania odczytu. Dowiedz się więcej o trybach buforowania w temacie Omówienie modeli użycia pamięci podręcznej.

Jednostka SKU pamięci podręcznej "Standardowa" umożliwia wybranie pojemności pamięci podręcznej dla danego wyboru przepływności, podczas gdy pamięci podręczne "Premium" i "tylko do odczytu" mają stałe pojemności dla każdego wybranego przepływu przepływności. Możliwości pamięci podręcznej są definiowane przez dwie opcje wdrażania:

• Maksymalna przepływność — szybkość przesyłania danych dla pamięci podręcznej w GB na sekundę
• Rozmiar pamięci podręcznej — ilość miejsca do magazynowania przydzielona dla danych w pamięci podręcznej w TB

Informacje o przepływności i rozmiarze pamięci podręcznej

Na wydajność pamięci podręcznej HPC Cache może mieć wpływ kilka czynników, ale wybór odpowiedniej wartości przepustowości i rozmiaru magazynu pamięci podręcznej jest jednym z najważniejszych.

Podczas wybierania wartości przepływności należy pamiętać, że rzeczywista szybkość przesyłania danych zależy od obciążenia, szybkości sieci i typu docelowych magazynów.

Wybrane wartości ustawiają maksymalną przepływność dla całego systemu pamięci podręcznej, ale część z nich jest używana do zadań obciążenia. Jeśli na przykład klient zażąda pliku, który nie jest jeszcze przechowywany w pamięci podręcznej lub jeśli plik jest oznaczony jako nieaktualny, pamięć podręczna użyje części przepływności, aby pobrać go z magazynu zaplecza.

Usługa Azure HPC Cache zarządza, które pliki są buforowane i wstępnie załadowane, aby zmaksymalizować współczynniki trafień pamięci podręcznej. Zawartość pamięci podręcznej jest stale oceniana, a pliki są przenoszone do pamięci długoterminowej, gdy rzadziej korzysta się z nich.

Wybierz rozmiar pamięci podręcznej, który może wygodnie pomieścić aktywny zestaw plików roboczych oraz dodatkowe miejsce na metadane i inne obciążenia.

Jeśli potrzebujesz pomocy przy prawidłowym określaniu rozmiaru pamięci podręcznej, skontaktuj się z pomocą techniczną firmy Microsoft.

Wybierz typ pamięci podręcznej dla swoich potrzeb

Istnieją dwa podstawowe typy pamięci podręcznej: "standardowa" i "premium".

Standardowe pamięci podręczne to systemy pamięci podręcznej HPC ogólnego użytku. Po wybraniu wartości przepływności można wybrać jeden z wielu rozmiarów magazynu, a także dołączyć dowolny z obsługiwanych typów docelowych magazynu HPC Cache.

Pamięci podręczne w warstwie Premium zostały zaprojektowane z myślą o najwyższej wydajności usługi plików. Korzystają one z urządzeń pamięci masowej NVMe o wysokiej przepustowości, co oznacza, że pamięci podręczne premium mają inną strukturę cenową, statyczne pojemności pamięci podręcznej i nie można ich tymczasowo zatrzymać.

Opcje pamięci podręcznej obejmują:

• Standardowe buforowanie do odczytu i zapisu

  W przypadku standardowych pamięci podręcznych można wybrać jedną z kilku wartości rozmiaru pamięci podręcznej. Te pamięci podręczne można skonfigurować przy użyciu docelowych modeli użycia magazynu zarówno dla buforowania odczytu (zapisu), jak i odczytu i zapisu.

• Buforowanie tylko do odczytu

  Ten typ pamięci podręcznej zapewnia większą przepływność i mniejsze opóźnienia niż standardowa pamięć podręczna, ale jest przeznaczony do optymalizacji dostępu tylko do odczytu plików i katalogów. Nie można skonfigurować pamięci podręcznej tylko do odczytu do używania modeli użycia pamięci podręcznej do odczytu i zapisu, ale obciążenie odczytu po zapisie spowoduje trafienie w pamięć podręczną, ponieważ zapisy są utrwalane synchronicznie z miejscem docelowym magazynu. Ten typ pamięci podręcznej ma tylko jedną opcję rozmiaru pamięci podręcznej dla każdego wyboru przepływności.

• Buforowanie w warstwie Premium do odczytu i zapisu (wersja zapoznawcza)

  Pamięć podręczna o wysokiej przepływności, którą można skonfigurować do buforowania tylko do odczytu lub do odczytu i zapisu. Te pamięci podręczne mają tylko jedną opcję rozmiaru pamięci podręcznej dla każdej opcji przepływności.

W tej tabeli wyjaśniono ważne różnice między trzema typami pamięci podręcznej.

Atrybut	Read-Write Buforowanie w warstwie Standardowa	Read-Only Buforowanie	Read-Write Buforowanie w warstwie Premium
Rozmiary przepustowości	2, 4 lub 8 GB/s	4,5, 9 lub 16 GB/s	5, 10 lub 20 GB/s
Rozmiary pamięci podręcznej	3, 6 lub 12 TB przez 2 GB/s 6, 12 lub 24 TB przez 4 GB/s 12, 24 lub 48 TB przez 8 GB/s	21 TB przez 4,5 GB/s 42 TB przez 9 GB/s 84 TB przez 16 GB/s	21 TB przez 5 GB/s 42 TB przez 10 GB/s 84 TB przez 20 GB/s
Zgodne typy docelowe magazynu	Azure Blob NFS (lokalnie) ADLS-NFS (Azure Blob z obsługą NFSv3)	NFS (lokalnie) ADLS-NFS (Azure Blob z obsługą NFSv3)	Azure Blob NFS (lokalnie) ADLS-NFS (Azure Blob z obsługą NFSv3)
Buforowanie stylów	Buforowanie odczytu i zapisu	Tylko buforowanie do odczytu	Buforowanie odczytu i zapisu
Pamięć podręczną można zatrzymać, aby zaoszczędzić koszty, gdy nie jest potrzebna	Tak	Nie.	Nie.

Wszystkie trzy opcje buforowania mają maksymalną docelową liczbę magazynu wynoszącą 20.

Dowiedz się więcej o tych opcjach:

• Tryby buforowania odczytu i zapisu

Włączanie szyfrowania usługi Azure Key Vault (opcjonalnie)

Jeśli chcesz zarządzać kluczami szyfrowania używanymi dla magazynu pamięci podręcznej, podaj informacje o usłudze Azure Key Vault na stronie Klucze szyfrowania dysku . Magazyn kluczy musi znajdować się w tym samym regionie i w tej samej subskrypcji co pamięć podręczna.

Możesz pominąć tę sekcję, jeśli nie potrzebujesz kluczy zarządzanych przez klienta. Platforma Azure domyślnie szyfruje dane przy użyciu kluczy zarządzanych przez firmę Microsoft. Przeczytaj artykuł Szyfrowanie usługi Azure Storage , aby dowiedzieć się więcej.

Uwaga / Notatka

Po utworzeniu pamięci podręcznej nie można przełączać się między kluczami zarządzanymi przez firmę Microsoft a kluczami zarządzanymi przez klienta.

Aby uzyskać pełne wyjaśnienie procesu szyfrowania kluczy zarządzanych przez klienta, przeczytaj artykuł Używanie kluczy szyfrowania zarządzanych przez klienta dla usługi Azure HPC Cache.

Wybierz opcję Klient zarządzany , aby wybrać szyfrowanie klucza zarządzanego przez klienta. Zostaną wyświetlone pola specyfikacji magazynu kluczy. Wybierz usługę Azure Key Vault do użycia, a następnie wybierz klucz i wersję, które mają być używane dla tej pamięci podręcznej. Klucz musi być 2048-bitowym kluczem RSA. Na tej stronie możesz utworzyć nowy magazyn kluczy, klucz lub wersję klucza.

Zaznacz pole Zawsze używaj bieżącej wersji klucza , jeśli chcesz korzystać z automatycznego obracania kluczy.

Jeśli chcesz użyć określonej tożsamości zarządzanej dla tej pamięci podręcznej, skonfiguruj ją w sekcji Tożsamości zarządzane . Aby uzyskać więcej informacji, zobacz Czym są tożsamości zarządzane dla zasobów platformy Azure?.

Uwaga / Notatka

Nie można zmienić przypisanej tożsamości po utworzeniu pamięci podręcznej.

Jeśli używasz tożsamości zarządzanej przypisanej przez system lub tożsamości przypisanej przez użytkownika, która nie ma jeszcze dostępu do magazynu kluczy, istnieje dodatkowy krok, który należy wykonać po utworzeniu pamięci podręcznej. Ten krok ręczny autoryzuje tożsamość zarządzaną pamięci podręcznej do korzystania z magazynu kluczy.

• Przeczytaj artykuł Wybieranie opcji tożsamości zarządzanej dla pamięci podręcznej, aby zrozumieć różnice w ustawieniach tożsamości zarządzanej.
• Przeczytaj artykuł Autoryzowanie szyfrowania usługi Azure Key Vault z pamięci podręcznej , aby dowiedzieć się więcej o kroku ręcznym.

Dodawanie tagów zasobów (opcjonalnie)

Strona Tagi umożliwia dodawanie tagów zasobów do wystąpienia usługi Azure HPC Cache.

Zakończ tworzenie pamięci podręcznej

Po skonfigurowaniu nowej pamięci podręcznej kliknij kartę Przeglądanie + tworzenie . Portal weryfikuje wybrane opcje i umożliwia przeglądanie ich wyborów. Jeśli wszystko jest w porządku, kliknij przycisk Utwórz.

Tworzenie pamięci podręcznej trwa około 10 minut. Postęp można śledzić w panelu powiadomień Azure Portal.

Po zakończeniu tworzenia zostanie wyświetlone powiadomienie z linkiem do nowego wystąpienia usługi Azure HPC Cache, a pamięć podręczna zostanie wyświetlona na liście zasobów subskrypcji.

Uwaga / Notatka

Jeśli pamięć podręczna używa kluczy szyfrowania zarządzanych przez klienta i wymaga kroku autoryzacji ręcznej po utworzeniu, pamięć podręczna może pojawić się na liście zasobów, zanim jej stan wdrożenia zmieni się do ukończenia. Gdy tylko stan pamięci podręcznej to Oczekiwanie na klucz , możesz autoryzować ją do korzystania z magazynu kluczy.

Interfejs wiersza polecenia platformy Azure

Tworzenie pamięci podręcznej za pomocą interfejsu wiersza polecenia platformy Azure

Konfigurowanie interfejsu wiersza polecenia platformy Azure dla usługi Azure HPC Cache.

Uwaga / Notatka

Interfejs wiersza polecenia platformy Azure obecnie nie obsługuje tworzenia pamięci podręcznej z kluczami szyfrowania zarządzanymi przez klienta. Korzystanie z witryny Azure Portal.

Użyj polecenia az hpc-cache create , aby utworzyć nową pamięć podręczną HPC platformy Azure.

Podaj następujące wartości:

• Nazwa grupy zasobów pamięci podręcznej

• Nazwa pamięci podręcznej

• region świadczenia platformy Azure

• Podsieć pamięci podręcznej w tym formacie:

  --subnet "/subscriptions/<subscription_id>/resourceGroups/<cache_resource_group>/providers/Microsoft.Network/virtualNetworks/<virtual_network_name>/subnets/<cache_subnet_name>"

  Podsieć pamięci podręcznej potrzebuje co najmniej 64 adresów IP (/24) i nie może przechowywać żadnych innych zasobów.

• Pojemność pamięci podręcznej. Dwie wartości ustawiają maksymalną przepływność usługi Azure HPC Cache:

  • Rozmiar pamięci podręcznej (w GB)
  • Jednostka SKU maszyn wirtualnych używanych w infrastrukturze pamięci podręcznej

  az hpc-cache skus list pokazuje dostępne jednostki SKU i prawidłowe opcje rozmiaru pamięci podręcznej dla każdego z nich. Opcje rozmiaru pamięci podręcznej wahają się od 3 TB do 48 TB, ale obsługiwane są tylko niektóre wartości.

  Ten wykres pokazuje, które kombinacje rozmiaru pamięci podręcznej i jednostki SKU są prawidłowe w momencie przygotowywania tego dokumentu (lipiec 2020 r.).

  Rozmiar pamięci podręcznej	Standard_2G	Standard_4G	Standard_8G
  3072 GB	tak	Nie	Nie
  6144 GB	tak	tak	Nie
  12288 GB	tak	tak	tak
  24576 GB	Nie	tak	tak
  49152 GB	Nie	Nie	tak

  Zapoznaj się z sekcją Ustawianie pojemności pamięci podręcznej na karcie instrukcji portalu, aby uzyskać ważne informacje na temat cen, przepływności i sposobu doboru rozmiaru pamięci podręcznej dla przepływu pracy.

Przykład tworzenia pamięci podręcznej:

az hpc-cache create --resource-group doc-demo-rg --name my-cache-0619 \
    --location "eastus" --cache-size-gb "3072" \
    --subnet "/subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.Network/virtualNetworks/vnet-doc0619/subnets/default" \
    --sku-name "Standard_2G"

Tworzenie pamięci podręcznej trwa kilka minut. W przypadku powodzenia polecenie create zwraca dane wyjściowe w następujący sposób:

{
  "cacheSizeGb": 3072,
  "health": {
    "state": "Healthy",
    "statusDescription": "The cache is in Running state"
  },
  "id": "/subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.StorageCache/caches/my-cache-0619",
  "location": "eastus",
  "mountAddresses": [
    "10.3.0.17",
    "10.3.0.18",
    "10.3.0.19"
  ],
  "name": "my-cache-0619",
  "provisioningState": "Succeeded",
  "resourceGroup": "doc-demo-rg",
  "sku": {
    "name": "Standard_2G"
  },
  "subnet": "/subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.Network/virtualNetworks/vnet-doc0619/subnets/default",
  "tags": null,
  "type": "Microsoft.StorageCache/caches",
  "upgradeStatus": {
    "currentFirmwareVersion": "5.3.42",
    "firmwareUpdateDeadline": "0001-01-01T00:00:00+00:00",
    "firmwareUpdateStatus": "unavailable",
    "lastFirmwareUpdate": "2020-04-01T15:19:54.068299+00:00",
    "pendingFirmwareVersion": null
  }
}

Wiadomość zawiera kilka przydatnych informacji, w tym następujące elementy:

• Adresy instalacji klienta — użyj tych adresów IP, gdy wszystko będzie gotowe do połączenia klientów z pamięcią podręczną. Aby dowiedzieć się więcej, przeczytaj artykuł Instalowanie pamięci podręcznej HPC platformy Azure .
• Stan uaktualnienia — po wydaniu aktualizacji oprogramowania ten komunikat ulegnie zmianie. Możesz zaktualizować oprogramowanie pamięci podręcznej ręcznie w dogodnym czasie lub zostanie ono zastosowane automatycznie po kilku dniach.

Azure PowerShell

Ostrzeżenie

Moduł Az.HPCCache programu PowerShell jest obecnie dostępny w publicznej wersji zapoznawczej. Ta wersja zapoznawcza jest dostarczana bez umowy dotyczącej poziomu usług. Nie jest to zalecane w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą nie być obsługiwane lub mogą mieć ograniczone możliwości. Aby uzyskać więcej informacji, zobacz Warunki dodatkowe korzystania z testowych wersji Microsoft Azure.

Wymagania

Jeśli zdecydujesz się używać programu PowerShell lokalnie, ten artykuł wymaga zainstalowania modułu Az programu PowerShell i nawiązania połączenia z kontem platformy Azure przy użyciu polecenia cmdlet Connect-AzAccount . Aby uzyskać więcej informacji na temat instalowania modułu Az programu PowerShell, zobacz Instalowanie programu Azure PowerShell. Jeśli zdecydujesz się używać usługi Cloud Shell, zobacz Omówienie usługi Azure Cloud Shell , aby uzyskać więcej informacji.

Ważne

Chociaż moduł Az.HPCCache programu PowerShell jest dostępny w wersji zapoznawczej, należy go zainstalować oddzielnie przy użyciu Install-Module polecenia cmdlet. Gdy ten moduł programu PowerShell stanie się ogólnie dostępny, będzie częścią przyszłych wersji modułu Az PowerShell i będzie dostępny natywnie z poziomu usługi Azure Cloud Shell.

Install-Module -Name Az.HPCCache

Tworzenie pamięci podręcznej za pomocą Azure PowerShell

Uwaga / Notatka

Azure PowerShell obecnie nie obsługuje tworzenia pamięci podręcznej z kluczami szyfrowania zarządzanymi przez klienta. Korzystanie z witryny Azure Portal.

Użyj polecenia cmdlet New-AzHpcCache , aby utworzyć nową pamięć podręczną HPC platformy Azure.

Podaj następujące wartości:

• Nazwa grupy zasobów pamięci podręcznej

• Nazwa pamięci podręcznej

• region świadczenia platformy Azure

• Podsieć pamięci podręcznej w tym formacie:

  -SubnetUri "/subscriptions/<subscription_id>/resourceGroups/<cache_resource_group>/providers/Microsoft.Network/virtualNetworks/<virtual_network_name>/subnets/<cache_subnet_name>"

  Podsieć pamięci podręcznej potrzebuje co najmniej 64 adresów IP (/24) i nie może przechowywać żadnych innych zasobów.

• Pojemność pamięci podręcznej. Dwie wartości ustawiają maksymalną przepływność usługi Azure HPC Cache:

  • Rozmiar pamięci podręcznej (w GB)
  • Jednostka SKU maszyn wirtualnych używanych w infrastrukturze pamięci podręcznej

  Get-AzHpcCacheSku pokazuje dostępne jednostki SKU i prawidłowe opcje rozmiaru pamięci podręcznej dla każdego z nich. Opcje rozmiaru pamięci podręcznej wahają się od 3 TB do 48 TB, ale obsługiwane są tylko niektóre wartości.

  Ten wykres pokazuje, które kombinacje rozmiaru pamięci podręcznej i jednostki SKU są prawidłowe w momencie przygotowywania tego dokumentu (lipiec 2020 r.).

  Rozmiar pamięci podręcznej	Standard_2G	Standard_4G	Standard_8G
  3072 GB	tak	Nie	Nie
  6144 GB	tak	tak	Nie
  12 288 GB	tak	tak	tak
  24 576 GB	Nie	tak	tak
  49 152 GB	Nie	Nie	tak

  Zapoznaj się z sekcją Ustawianie pojemności pamięci podręcznej na karcie instrukcji portalu, aby uzyskać ważne informacje na temat cen, przepływności i sposobu doboru rozmiaru pamięci podręcznej dla przepływu pracy.

Przykład tworzenia pamięci podręcznej:

$cacheParams = @{
  ResourceGroupName = 'doc-demo-rg'
  CacheName = 'my-cache-0619'
  Location = 'eastus'
  cacheSize = '3072'
  SubnetUri = "/subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.Network/virtualNetworks/vnet-doc0619/subnets/default"
  Sku = 'Standard_2G'
}
New-AzHpcCache @cacheParams

Tworzenie pamięci podręcznej trwa kilka minut. W przypadku powodzenia polecenie create zwraca następujące dane wyjściowe:

cacheSizeGb       : 3072
health            : @{state=Healthy; statusDescription=The cache is in Running state}
id                : /subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.StorageCache/caches/my-cache-0619
location          : eastus
mountAddresses    : {10.3.0.17, 10.3.0.18, 10.3.0.19}
name              : my-cache-0619
provisioningState : Succeeded
resourceGroup     : doc-demo-rg
sku               : @{name=Standard_2G}
subnet            : /subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.Network/virtualNetworks/vnet-doc0619/subnets/default
tags              :
type              : Microsoft.StorageCache/caches
upgradeStatus     : @{currentFirmwareVersion=5.3.42; firmwareUpdateDeadline=1/1/0001 12:00:00 AM; firmwareUpdateStatus=unavailable; lastFirmwareUpdate=4/1/2020 10:19:54 AM; pendingFirmwareVersion=}

Wiadomość zawiera kilka przydatnych informacji, w tym następujące elementy:

• Adresy instalacji klienta — użyj tych adresów IP, gdy wszystko będzie gotowe do połączenia klientów z pamięcią podręczną. Aby dowiedzieć się więcej, przeczytaj artykuł Instalowanie pamięci podręcznej HPC platformy Azure .
• Stan uaktualnienia — po wydaniu aktualizacji oprogramowania ten komunikat ulega zmianie. Możesz zaktualizować oprogramowanie pamięci podręcznej ręcznie w dogodnym czasie lub jest ono stosowane automatycznie po kilku dniach.

Dalsze kroki

Gdy pamięć podręczna pojawi się na liście Zasoby , możesz przejść do następnego kroku.

• Zdefiniuj cele magazynu , aby zapewnić pamięci podręcznej dostęp do źródeł danych.
• Jeśli używasz kluczy szyfrowania zarządzanych przez klienta i musisz autoryzować szyfrowanie usługi Azure Key Vault na stronie przeglądu pamięci podręcznej, aby ukończyć konfigurację pamięci podręcznej, postępuj zgodnie ze wskazówkami w temacie Korzystanie z kluczy szyfrowania zarządzanych przez klienta. Musisz wykonać ten krok, aby można było dodać magazyn.