Uwaga
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Funkcja priming usługi Azure HPC Cache umożliwia klientom wstępne ładowanie plików w pamięci podręcznej.
Za pomocą tej funkcji można pobrać oczekiwany zestaw roboczy plików i wypełnić pamięć podręczną przed rozpoczęciem pracy. Ta technika jest czasami nazywana ociepleniem pamięci podręcznej.
Zwiększanie wydajności pamięci podręcznej przez zwiększenie "trafień" pamięci podręcznej. Jeśli maszyna kliencka żąda zasobu, który musi zostać odczytany z magazynu zaplecza, opóźnienie pobierania i zwracania tego pliku może być znaczące — zwłaszcza jeśli system magazynu jest lokalnym serwerem NAS. Jeśli utworzysz pamięć podręczną przy użyciu plików, które będą potrzebne przed rozpoczęciem zadania obliczeniowego, żądania plików będą wydajniejsze podczas wykonywania zadania.
Ta funkcja używa pliku manifestu JSON do określenia plików do załadowania. Każde zadanie priming przyjmuje jeden plik manifestu.
Utwórz zadania priming pamięci podręcznej przy użyciu witryny Azure Portal lub punktów końcowych interfejsu API REST platformy Azure wymienionych na końcu tego dokumentu.
Można utworzyć maksymalnie 10 zadań priming. W zależności od rozmiaru pamięci podręcznej można uruchamiać jednocześnie między trzema i 10 zadaniami priming; inne są kolejkowane do momentu zwolnienia zasobów.
Konfigurowanie i wymagania wstępne
Przed utworzeniem zadania priming wykonaj następujące kroki:
- Tworzenie usługi Azure HPC Cache. (Zapoznaj się z Tworzenie usługi Azure HPC Cache w celu uzyskania pomocy).
- Zdefiniuj co najmniej jeden obiekt docelowy magazynu, w tym utworzenie zagregowanej ścieżki przestrzeni nazw (lub ścieżek). Dokumentacja docelowa magazynu
- Utwórz manifest zadania priming (instrukcje poniżej) i zapisz go w kontenerze obiektów blob, który jest dostępny dla pamięci podręcznej HPC Cache. Możesz też przechowywać manifest przy użyciu interfejsów API REST platformy Azure w celu utworzenia zadań priming pod dowolnym adresem URL, do którego może uzyskiwać dostęp usługa HPC Cache.
Tworzenie pliku manifestu priming
Manifest priming jest plikiem JSON, który definiuje zawartość, która będzie wstępnie ładowana w pamięci podręcznej po uruchomieniu zadania priming.
W manifeście określ ścieżkę przestrzeni nazw do katalogów lub plików, które mają zostać wstępnie załadowane. Możesz również skonfigurować reguły dołączania i wykluczania, aby dostosować ładowaną zawartość.
Przykładowy manifest priming
{
"config": {
"cache_mode": "0",
"maxreadsize": "0",
"resolve_symlink": "0",
"threads":"8",
"skip_estimation":"0"
},
"files": [
"/bin/tool.py",
"/bin/othertool.py"
],
"directories": [
{"path": "/lib/toollib"},
{
"path": "/lib/otherlib",
"include": ["\\.py$"]
},
{
"path": "/lib/xsupport",
"include": ["\\.py$"],
"exclude": ["\\.elc$", "\\.pyc$"]
}
],
"include": ["\\.txt$"],
"exclude": ["~$", "\\.bak$"]
}
Istnieją trzy sekcje pliku manifestu priming:
Konfiguracja (
config
) — ustawienia zadania primingInstrukcje dotyczące plików i katalogów:
files
- pojedyncze pliki, które zostaną wstępnie załadowanedirectories
— ścieżki plików, które zostaną wstępnie załadowane
Globalne instrukcje dołączania i wykluczania (
include
iexclude
) — ciągi wyrażeń regularnych, które modyfikują zadanie priming katalogu
Ustawienia konfiguracji
Sekcja config
pliku manifestu ustawia następujące parametry:
Tryb pamięci podręcznej — ustawia zachowanie zadania priming. Dostępne opcje:
- 0 — Dane — załaduj wszystkie określone dane i atrybuty pliku w pamięci podręcznej. Jest to opcja domyślna.
- 1 — Metadane — ładowanie tylko atrybutów pliku.
- 2 — Szacowanie — załaduj atrybuty pliku, a także zwróć szacowaną liczbę plików, katalogów i łącznego rozmiaru danych (w bajtach), które byłyby ugruntowane, jeśli zawartość w tym manifeście została uruchomiona w trybie danych.
maxreadsize
— Ustawia maksymalną liczbę bajtów, które zostaną wstępnie załadowane na plik. Pozostaw ten zestaw na wartość 0 (wartość domyślna), aby zawsze ładować cały plik niezależnie od rozmiaru.resolve_symlink
— Ustaw wartość true (1), jeśli chcesz rozpoznać łącza symboliczne podczas tworzenia wartości priming. Jeśliresolve_symlink
jest włączona, obiekty docelowe linków symbolicznych są wstępnie ładowane całkowicie, niezależnie od reguł dołączania i wykluczania.threads
- Liczba wątków priming do użycia. Prawidłowe wartości to od 1 do 128. Wartość domyślna to 8, aby zrównoważyć między żądaniami klienta priming i obsługą.skip_estimation
— Przed rozpoczęciem kopiowania plików zadanie priming uruchamia oszacowanie ilości danych, które mają być ugruntowane. Ustaw flagęskip_estimation
na true (1), jeśli chcesz przejść bezpośrednio do fazy priming pliku. Jeśli pominiesz fazę szacowania, raport postępu może być mniej dokładny. Wartość domyślna to 0, aby uwzględnić fazę szacowania.
Ścieżki plików i katalogów
Sekcje files
i directories
manifestu określają, które pliki są wstępnie ładowane podczas zadania tworzenia kopii zapasowej.
Określ pliki i katalogi według ich ścieżek przestrzeni nazw pamięci podręcznej. Są to te same ścieżki, których klienci używają do uzyskiwania dostępu do plików za pośrednictwem pamięci podręcznej HPC Cache i nie muszą być takie same jak ścieżki systemu magazynu ani nazwy eksportu. Przeczytaj temat Planowanie zagregowanej przestrzeni nazw , aby dowiedzieć się więcej.
Rozpocznij ścieżki z katalogu głównego przestrzeni nazw pamięci podręcznej.
Uwaga
Elementy wymienione w programie files
są uwzględniane nawet wtedy, gdy są zgodne z regułami wykluczania później.
Wartość directories
zawiera listę ścieżek, które są oceniane pod kątem zawartości w celu wstępnego załadowania w pamięci podręcznej. Wszystkie poddrzewa są uwzględniane w zadaniu priming, chyba że zostały one specjalnie wykluczone.
Wartości ścieżki katalogu mogą mieć własne instrukcje dołączania i wykluczania, które mają zastosowanie tylko do ścieżki, z którą są zdefiniowane. Na przykład wiersz "directories": [{"path": "/cache/library1", "exclude": "\\.bak$"}]
wstępnie załadowałby wszystkie pliki pod ścieżką przestrzeni nazw /cache/library1/ z wyjątkiem plików w tej ścieżce, które kończą się na .bak
.
Instrukcje dołączania/wykluczania na poziomie katalogu nie są takie same jak instrukcje dołączania globalnego i wykluczania opisane poniżej. Należy zachować ostrożność, aby przeczytać szczegółowe informacje na temat interakcji instrukcji na poziomie katalogu z instrukcjami dołączania globalnego i wykluczania.
Uwaga
Ze względu na sposób analizowania pliku manifestu potrzebne są dwa znaki ucieczki, aby chronić problematyczny znak ciągu w instrukcjach dołączania i wykluczania. Na przykład użyj wyrażenia \\.txt
, aby dopasować pliki .txt.
Dołączanie i wykluczanie instrukcji
Po plikach i katalogach można określić instrukcje globalne include
i exclude
. Te ustawienia globalne mają zastosowanie do wszystkich katalogów. Nie mają one zastosowania do plików, które zostały określone w instrukcji files
.
Ogólnie rzecz biorąc, reguły są dopasowywane w kolejności, więc instrukcje, które pojawiają się wcześniej w pliku manifestu, są stosowane przed późniejszymi. Opisy w tym artykule zakładają również, że wcześniejsze reguły zostały już zastosowane i nie są zgodne.
Instrukcje include — podczas skanowania katalogów zadanie priming ignoruje wszystkie pliki, które nie pasują do wyrażeń regularnych w ustawieniu
include
.Instrukcje wykluczania — podczas skanowania katalogów zadanie priming ignoruje dowolny plik zgodny z wyrażeniami regularnymi w ustawieniu
exclude
.Więcej informacji o tym, jak globalne reguły wykluczania współdziałają z innymi regułami:
Globalne reguły wykluczania zastępują globalne reguły dołączania. Oznacza to, że jeśli nazwa pliku jest zgodna zarówno z wyrażeniem dołączania globalnego, jak i wyrażeniem wykluczania globalnego, nie zostanie wstępnie załadowane przez zadanie priming.
Na poziomie katalogu reguły obejmują zastępowanie globalnych reguł wykluczania.
Nazwa pliku, która odpowiada zarówno wyrażeniu na poziomie katalogu, jak i globalnemu wyrażeniu wykluczania, zostanie wstępnie załadowana przez zadanie priming.
Instrukcje plików zastępują wszystkie reguły wykluczania.
Można pominąć instrukcje dołączania i wykluczania, aby umieścić wszystkie pliki w katalogach.
Więcej informacji na temat reguł dołączania/wykluczania i sposobu ich dopasowania do nazw plików:
Jeśli nazwa pasuje do wpisu na liście wykluczania poszczególnych katalogów, zostanie pominięta.
Jeśli istnieje lista dołączana do poszczególnych katalogów, nazwa jest dołączona lub wykluczona w zależności od tego, czy jest wyświetlana na tej liście.
Jeśli nazwa pasuje do wpisu na globalnej liście wykluczeń, zostanie pominięta.
Jeśli istnieje globalna lista dołączania, nazwa zostanie uwzględniona, jeśli zostanie wyświetlona na tej liście lub wykluczona, jeśli nie zostanie wyświetlona na tej liście.
Jeśli istnieje lista dołączania poszczególnych katalogów, nazwa jest wykluczona. W przeciwnym razie jest on dołączany.
Jeśli katalog i element nadrzędny tego katalogu są wyświetlane na liście katalogów, określone reguły dla katalogu są stosowane wraz z regułami globalnymi i regułami katalogu przodków są ignorowane.
W nazwach i regułach jest rozróżniana wielkość liter. Źródła bez uwzględniania wielkości liter nie są obsługiwane.
Łączna liczba reguł plików i reguł katalogu może nie przekraczać 4000. Liczba reguł wyrażeń regularnych dla dowolnej listy dołączania/wykluczania może nie przekraczać 5.
Jeśli jedna specyfikacja katalogu nakłada się na drugą, ta z bardziej jawną ścieżką ma pierwszeństwo.
Jest to błąd manifestu określający tę samą ścieżkę więcej niż raz na liście plików lub na liście katalogów.
Przekazywanie pliku manifestu priming
Gdy plik manifestu jest gotowy, przekaż go do kontenera obiektów blob platformy Azure na koncie magazynu dostępnym z poziomu pamięci podręcznej HPC Cache. Jeśli używasz interfejsów API zamiast portalu do tworzenia zadań do tworzenia kopii zapasowej, możesz przechowywać je na innym serwerze internetowym, ale musisz wykonać różne kroki, aby upewnić się, że pamięć podręczna może uzyskać do niego dostęp.
Jeśli utworzysz zadanie priming w witrynie Azure Portal, wybierz plik manifestu na stronie ustawień pamięci podręcznej HPC Cache Prime cache zgodnie z poniższym opisem. Wybranie go z ustawień pamięci podręcznej powoduje automatyczne utworzenie sygnatury dostępu współdzielonego (SAS), która daje pamięci podręcznej ograniczony dostęp do pliku priming.
Jeśli używasz interfejsów API do tworzenia zadania priming zamiast korzystania z portalu, upewnij się, że pamięć podręczna jest autoryzowana do uzyskiwania dostępu do tego pliku. Zapisz plik w dostępnej lokalizacji (na przykład na serwerze internetowym, który znajduje się wewnątrz pamięci podręcznej lub sieci magazynu), albo ręcznie utwórz adres URL sygnatury dostępu współdzielonego dla pliku priming.
Przeczytaj Artykuł Udzielanie ograniczonego dostępu do zasobów usługi Azure Storage przy użyciu sygnatur dostępu współdzielonego (SAS), aby dowiedzieć się, jak utworzyć adres URL sygnatury dostępu współdzielonego konta dla pliku manifestu priming. Plik manifestu musi być dostępny z protokołem HTTPS.
Pamięć podręczna uzyskuje dostęp do pliku manifestu raz po uruchomieniu zadania priming. Adres URL sygnatury dostępu współdzielonego wygenerowany dla pamięci podręcznej nie jest ujawniany.
Tworzenie zadania priming
Użyj witryny Azure Portal, aby utworzyć zadanie priming. Wyświetl pamięć podręczną Azure HPC Cache w portalu i wybierz stronę Prime Cache w obszarze nagłówka Ustawienia .
Kliknij tekst Rozpocznij podsyłanie zadania w górnej części tabeli, aby zdefiniować nowe zadanie.
W polu Nazwa zadania wpisz unikatową nazwę zadania priming.
Użyj pola Plik priming, aby wybrać plik manifestu priming. Wybierz konto magazynu, kontener i plik, w którym jest przechowywany manifest priming.
Aby wybrać plik manifestu priming, kliknij link, aby wybrać miejsce docelowe magazynu. Następnie wybierz kontener, w którym jest przechowywany plik manifestu .json.
Jeśli nie możesz znaleźć pliku manifestu, pamięć podręczna może nie mieć dostępu do kontenera pliku. Upewnij się, że pamięć podręczna ma łączność sieciową z kontem magazynu i może odczytywać dane z kontenera.
Zarządzanie zadaniami priming
Zadania priming są wyświetlane na stronie Prime Cache w witrynie Azure Portal.
Na tej stronie przedstawiono nazwę każdego zadania, jego stan, bieżący stan i statystyki podsumowania dotyczące postępu tworzenia kopii zapasowej. Podsumowanie w kolumnie Szczegóły jest okresowo aktualizowane w miarę postępu zadania. Pole Stan zadania jest wypełniane po uruchomieniu zadania tworzenia kopii zapasowej. To pole zawiera również podstawowe informacje o błędzie, takie jak Nieprawidłowy manifest, jeśli wystąpi problem.
Gdy zadanie jest uruchomione, kolumna Procent wykonania pokazuje oszacowanie postępu.
Przed rozpoczęciem zadania zawsyłaniania stan jest w kolejce. Pola Stan zadania, Procent wykonania i Szczegóły są puste.
Kliknij sekcję ... po prawej stronie tabeli, aby wstrzymać lub wznowić zadanie tworzenia kopii zapasowej. (Zaktualizowanie stanu może potrwać kilka minut).
Aby usunąć zadanie tworzenia kopii zapasowej, wybierz je na liście i użyj kontrolki Zatrzymaj w górnej części tabeli. Możesz użyć kontrolki Zatrzymaj , aby usunąć zadanie w dowolnym stanie.
Interfejsy API REST platformy Azure
Za pomocą tych punktów końcowych interfejsu API REST można tworzyć zadania priming usługi HPC Cache i zarządzać nimi. Są one częścią 2022-05-01
wersji interfejsu API REST, dlatego upewnij się, że używasz tego ciągu w okresie api_version .
Przeczytaj dokumentację interfejsu API REST platformy Azure, aby dowiedzieć się, jak używać tych narzędzi.
Dodawanie nowego zadania priming
Interfejs startPrimingJob
tworzy i kolejkuje zadanie priming. Zadanie jest uruchamiane automatycznie, gdy zasoby są dostępne.
URL: POST
https://MY-ARM-HOST/subscriptions/MY-SUBSCRIPTION-ID/resourceGroups/MY-RESOURCE-GROUP-NAME/providers/Microsoft.StorageCache/caches/MY-CACHE-NAME/startPrimingJob?api-version=2022-05-01
BODY:
{
"primingJobName": "MY-PRIMING-JOB",
"primingManifestUrl": "MY-JSON-MANIFEST-FILE-URL"
}
primingManifestUrl
Dla wartości przekaż adres URL sygnatury dostępu współdzielonego pliku lub inny adres URL HTTPS dostępny dla pamięci podręcznej. Przeczytaj artykuł Upload the priming manifest file (Przekaż plik manifestu priming), aby dowiedzieć się więcej.
Zatrzymywanie zadania tworzenia kopii zapasowej
Interfejs stopPrimingJob
anuluje zadanie (jeśli jest uruchomione) i usuwa je z listy zadań. Użyj tego interfejsu, aby usunąć zadanie priming w dowolnym stanie.
URL: POST
https://MY-ARM-HOST/subscriptions/MY-SUBSCRIPTION-ID/resourceGroups/MY-RESOURCE-GROUP-NAME/providers/Microsoft.StorageCache/caches/MY-CACHE-NAME/stopPrimingJob?api-version=2022-05-01
BODY:
{
"primingJobId": "MY-JOB-ID-TO-REMOVE"
}
Pobieranie zadań priming
Użyj interfejsu Get cache
API, aby wyświetlić listę zadań priming pamięci podręcznej. Ten interfejs API zwraca wiele informacji o pamięci podręcznej; poszukaj informacji o zadaniu priming w sekcji "właściwości pamięci podręcznej".
Zwracane są nazwy i identyfikatory zadań priming wraz z innymi informacjami.
URL: GET
https://MY-ARM-HOST/subscriptions/MY-SUBSCRIPTION-ID/resourceGroups/MY-RESOURCE-GROUP-NAME/providers/Microsoft.StorageCache/caches/MY-CACHE-NAME?api-version=2022-05-01
BODY:
Wstrzymywanie zadania priming
Interfejs pausePrimingJob
zawiesza uruchomione zadanie.
URL: POST
https://MY-ARM-HOST/subscriptions/MY-SUBSCRIPTION-ID/resourceGroups/MY-RESOURCE-GROUP-NAME/providers/Microsoft.StorageCache/caches/MY-CACHE-NAME/pausePrimingJob?api-version=2022-05-01
BODY:
{
"primingJobId": "MY-JOB-ID-TO-PAUSE"
}
Wznawianie zadania tworzenia kopii zapasowej
Użyj interfejsu resumePrimingJob
, aby ponownie uaktywnić zawieszone zadanie priming.
URL: POST
https://MY-ARM-HOST/subscriptions/MY-SUBSCRIPTION-ID/resourceGroups/MY-RESOURCE-GROUP-NAME/providers/Microsoft.StorageCache/caches/MY-CACHE-NAME/resumePrimingJob?api-version=2022-05-01
BODY:
{
"primingJobId": "MY-JOB-ID-TO-RESUME"
}
Często zadawane pytania
Czy mogę ponownie użyć zadania tworzenia kopii zapasowej?
Nie dokładnie, ponieważ każde zadanie podszytowania na liście musi mieć unikatową nazwę. Po usunięciu zadania z listy można utworzyć nowe zadanie o tej samej nazwie.
Można utworzyć wiele zadań priming odwołujących się do tego samego pliku manifestu.
Jak długo zadanie tworzenia kopii zapasowej nie powiodło się lub zostało ukończone na liście?
Zadania tworzenia kopii zapasowej są utrwalane na liście do momentu ich usunięcia. Na stronie prime cache portalu zaznacz pole wyboru obok zadania i wybierz kontrolkę Zatrzymaj w górnej części listy, aby usunąć zadanie.
Co się stanie, jeśli zawartość, która jest ładowana wstępnie, jest większa niż magazyn pamięci podręcznej?
Jeśli pamięć podręczna stanie się pełna, pliki pobrane później zastąpią pliki, które zostały wcześniej zastąpione.
Następne kroki
- Aby uzyskać więcej pomocy dotyczącej priming usługi HPC Cache, postępuj zgodnie z procesem w temacie Uzyskiwanie pomocy dotyczącej usługi Azure HPC Cache.
- Dowiedz się więcej o interfejsach API REST platformy Azure