Udostępnij za pośrednictwem

Co to jest azure Managed Lustre?

  • Artykuł

Usługa Azure Managed Lustre umożliwia szybkie tworzenie opartego na platformie Azure systemu plików Lustre do użycia w chmurowych zadaniach obliczeniowych o wysokiej wydajności.

Lustre to równoległy system plików typu open source, który może być skalowany do ogromnych rozmiarów magazynu, a jednocześnie zapewnia wysoką przepływność. Lustre jest używane przez najszybsze superkomputery na świecie i przepływy pracy skoncentrowane na danych dla wielu typów branż. Aby uzyskać więcej informacji, zobacz https://www.lustre.org.

Usługa Azure Managed Lustre zapisuje pracę nad aprowizowaniem, konfigurowaniem i zarządzaniem własnym systemem plików Lustre. Za pomocą polecenia Twórca w Azure Portal można szybko wdrożyć system plików Lustre w potrzebnym rozmiarze, połączyć klientów i przygotować się do korzystania z systemu.

Platforma Microsoft Azure Blob Storage jest zintegrowana z usługą Azure Managed Lustre, która umożliwia określenie plików do zaimportowania z kontenera obiektów blob na potrzeby użycia systemu plików. Po zakończeniu zadań obliczeniowych o wysokiej wydajności można wyeksportować zmienione dane do Azure Blob Storage i usunąć system Azure Managed Lustre. Aby uzyskać więcej informacji, zobacz Azure Blob Storage integracji, w dalszej części tego artykułu.

Możesz również użyć systemu plików Azure Managed Lustre z kontenerami Azure Kubernetes Service (AKS). Aby uzyskać więcej informacji, zobacz Use Azure Managed Lustre with Kubernetes (Korzystanie z usługi Azure Managed Lustre z platformą Kubernetes).

Zabezpieczenia danych w usłudze Azure Managed Lustre

Wszystkie dane przechowywane na platformie Azure są domyślnie szyfrowane przy użyciu kluczy zarządzanych platformy Azure. Jeśli chcesz zarządzać kluczami używanymi do szyfrowania danych przechowywanych w klastrze Azure Managed Lustre, postępuj zgodnie z instrukcjami w temacie Szyfrowanie po stronie serwera usługi Azure Disk Storage.

Wszystkie informacje w systemie plików Azure Managed Lustre są również chronione przez szyfrowanie hosta maszyny wirtualnej na dyskach zarządzanych, które przechowują dane, nawet jeśli dodasz klucz zarządzany przez klienta dla dysków Lustre. Dodanie klucza zarządzanego przez klienta zapewnia dodatkowy poziom zabezpieczeń dla klientów z wysokimi potrzebami w zakresie zabezpieczeń. Aby uzyskać więcej informacji, zobacz Szyfrowanie po stronie serwera usługi Azure Disk Storage.

Uwaga

Usługa Azure Managed Lustre nie przechowuje danych klientów poza regionem, w którym wdraża się wystąpienie usługi.

Odporność danych w usłudze Azure Managed Lustre

System plików Azure Managed Lustre używa dysków zarządzanych platformy Azure jako dysków danych docelowego magazynu obiektów (OST).

Wszystkie systemy plików Azure Managed Lustre, które są tworzone jako "trwały" typ systemu plików, używają dysków SSD w warstwie Azure Premium (dysku półprzewodnikowego) skonfigurowanych jako magazyn lokalnie nadmiarowy (LRS). Zawartość dysku LRS jest replikowana trzy razy w lokalnym centrum danych, aby chronić przed awariami dysków i stojaków serwerowych.

Sam system plików Azure Managed Lustre przyczynia się również do odporności danych dzięki procesom magazynu obiektów używanym do przechowywania danych na tych dyskach.

Jeśli potrzebujesz regionalnej lub globalnej nadmiarowości danych, możesz zintegrować system plików z Azure Blob Storage. Po zintegrowaniu można zainicjować zadanie eksportu w celu wyeksportowania plików do kontenera Azure Blob Storage z innymi zasadami nadmiarowości dla długoterminowego magazynu. Skonfiguruj nadmiarowość Azure Blob Storage dla konta magazynu. Podczas tworzenia konta magazynu można wybrać nadmiarowość danych strefowych (ZRS) lub globalną nadmiarowość danych (GRS). Aby dowiedzieć się więcej na temat opcji nadmiarowości danych dla plików Lustre zarządzanych przez platformę Azure, zobacz Obsługiwane typy kont magazynu.

integracja Azure Blob Storage

Platforma Microsoft Azure Blob Storage jest zintegrowana z usługą Azure Managed Lustre, która umożliwia określenie plików do zaimportowania z kontenera obiektów blob na potrzeby użycia systemu plików. Azure Blob Storage integracja to aplikacja do zarządzania hierarchicznym magazynem Lustre (HSM). Nie ma potrzeby importowania całego zestawu danych dla każdego zadania. Zamiast tego można utworzyć inny system plików dla różnych zadań i przechowywać dane w kontenerach obiektów blob platformy Azure o niższych kosztach między użyciem. Po zakończeniu zadań obliczeniowych o wysokiej wydajności można wyeksportować zmienione dane do Azure Blob Storage i usunąć system Azure Managed Lustre.

Usługa Azure Managed Lustre jest dostosowywana do bezproblemowej pracy z Azure Blob Storage. Możesz określić istniejący kontener obiektów blob, aby jego istniejące dane były dostępne z poziomu systemu plików Azure Managed Lustre lub określić pusty kontener wypełniony danymi lub użyć ich do przechowywania danych wyjściowych. Konfiguracja i konserwacja są wykonywane dla Ciebie. Wystarczy określić kontener obiektów blob do użycia.

Jeśli integrujesz Azure Blob Storage podczas tworzenia systemu plików Lustre, możesz użyć funkcji Lustre HSM. Jeśli nie chcesz korzystać z zalet modułu HSM Lustre, możesz importować i eksportować dane dla systemu plików Azure Managed Lustre za pomocą poleceń klienta bezpośrednio.

Korzystanie z usługi Azure Managed Lustre z platformą Kubernetes

Jeśli chcesz użyć systemu magazynu Azure Managed Lustre z kontenerami Kubernetes, możesz użyć sterownika interfejsu obsługi kontenera Azure Lustre (CSI) dla platformy Kubernetes, który jest zgodny z Azure Kubernetes Service (AKS). Inne typy instalacji platformy Kubernetes nie są obecnie obsługiwane.

Platforma Kubernetes może uprościć konfigurowanie i wdrażanie wirtualnych punktów końcowych klienta dla obciążenia Azure Managed Lustre, automatyzując zadania konfiguracji, takie jak:

  • Tworzenie Virtual Machine Scale Sets platformy Azure używanych przez usługę Azure Kubernetes Service (AKS) do uruchamiania zasobników.
  • Ładowanie poprawnego oprogramowania klienckiego Lustre na wystąpieniach maszyn wirtualnych.
  • Określanie punktu instalacji Azure Managed Lustre i propagowanie tych informacji do zasobników klienta.

Sterownik AZURE Lustre CSI dla platformy Kubernetes może zautomatyzować instalowanie oprogramowania klienckiego i instalowania dysków. Sterownik udostępnia wtyczkę kontrolera CSI jako wdrożenie z dwiema replikami domyślnie i wtyczkę węzła CSI jako demonaSet. Liczbę replik możesz zmienić.

Aby dowiedzieć się, które wersje sterowników mają być używane, zobacz Zgodne wersje platformy Kubernetes.

Następne kroki