Udostępnij za pośrednictwem

Utwórz eksperyment chaosu, używając awarii Chaos Mesh, aby zabić zasobniki usługi AKS w portalu Azure.

Możesz użyć eksperymentu chaosu, aby sprawdzić, czy aplikacja jest odporna na błędy, powodując te błędy w kontrolowanym środowisku. W tym artykule powodujesz okresowe awarie poda Azure Kubernetes Service (AKS) w przestrzeni nazw, przeprowadzając eksperyment chaotyczny z użyciem Azure Chaos Studio. Uruchomienie tego eksperymentu może pomóc w obronie przed niedostępnością usługi, gdy występują sporadyczne błędy.

Usługa Chaos Studio używa Chaos Mesh, bezpłatnej platformy open-source do inżynierii chaosu dla Kubernetes, aby wstrzyknąć błędy do klastra AKS. Błędy usługi Chaos Mesh to błędy bezpośrednie usługi, które wymagają zainstalowania usługi Chaos Mesh w klastrze usługi AKS. Możesz użyć tych samych kroków, aby skonfigurować i uruchomić eksperyment dla dowolnego błędu usługi AKS Chaos Mesh.

Wymagania wstępne

  • Subskrypcja platformy Azure. Jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto platformy Azure.
  • Klaster usługi AKS z pulą węzłów systemu Linux. Jeśli nie masz klastra AKS, zobacz szybki start AKS używający Azure CLI, Azure PowerShell lub portalu Azure.

Ograniczenia

  • Można używać błędów Chaos Mesh z klastrami prywatnymi, konfigurując iniekcję sieci wirtualnej w Chaos Studio. Wszystkie polecenia wydane dla klastra prywatnego, w tym kroki opisane w tym artykule w celu skonfigurowania usługi Chaos Mesh, muszą postępować zgodnie ze wskazówkami dotyczącymi klastra prywatnego. Zalecane metody obejmują nawiązywanie połączenia z maszyną wirtualną w tej samej sieci wirtualnej lub korzystanie z funkcji wywołania polecenia usługi AKS.
  • Błędy usługi AKS Chaos Mesh są obsługiwane tylko w pulach węzłów systemu Linux.
  • Jeśli klaster usługi AKS jest skonfigurowany tak, aby zezwalał tylko na autoryzowane zakresy adresów IP, musisz zezwolić na zakresy adresów IP programu Chaos Studio. Można je znaleźć, wysyłając zapytanie do tagu usługi za pomocą interfejsu ChaosStudioAPI odnajdywania tagów usługi lub pobierając pliki JSON.

Konfigurowanie usługi Chaos Mesh w klastrze usługi AKS

Przed uruchomieniem awarii Chaos Mesh w programie Chaos Studio należy zainstalować Chaos Mesh na klastrze AKS.

  1. Uruchom następujące polecenia w w oknie usługi Azure Cloud Shell, gdzie masz aktywną subskrypcję ustawioną na subskrypcję, w której wdrożono klaster AKS. Zastąp MyManagedCluster nazwą swojego klastra i MyResourceGroup nazwą swojej grupy zasobów.

    az aks get-credentials --admin --name MyManagedCluster --resource-group MyResourceGroup

    helm repo add chaos-mesh https://charts.chaos-mesh.org
helm repo update
kubectl create ns chaos-testing
helm install chaos-mesh chaos-mesh/chaos-mesh --namespace=chaos-testing --set chaosDaemon.runtime=containerd --set chaosDaemon.socketPath=/run/containerd/containerd.sock

  2. Sprawdź, czy pody Chaos Mesh są zainstalowane, uruchamiając następujące polecenie:

    kubectl get po -n chaos-testing

    Powinieneś zobaczyć dane wyjściowe podobne do poniższego przykładu (chaos-controller-manager i jeden lub więcej demonów chaosu):

    NAME                                        READY   STATUS    RESTARTS   AGE
chaos-controller-manager-69fd5c46c8-xlqpc   1/1     Running   0          2d5h
chaos-daemon-jb8xh                          1/1     Running   0          2d5h
chaos-dashboard-98c4c5f97-tx5ds             1/1     Running   0          2d5h

Możesz również użyć instrukcji instalacji w witrynie internetowej Usługi Chaos Mesh.

Włączanie programu Chaos Studio w klastrze usługi AKS

Program Chaos Studio nie może wstrzyknąć błędów względem zasobu, chyba że ten zasób został dodany do programu Chaos Studio. Zasób można dodać do programu Chaos Studio, tworząc element docelowy i możliwości w zasobie. Klastry AKS mają tylko jeden typ docelowy (service-direct), ale inne zasoby mogą mieć do dwóch typów docelowych. Jeden typ docelowy dotyczy bezpośrednich usterek usługi. Innym typem docelowym są błędy oparte na agencie. Każdy typ błędu usługi Chaos Mesh jest reprezentowany jako funkcja, na przykład PodChaos, NetworkChaos i IOChaos.

  1. Otwórz portal Azure Portal.

  2. Wyszukaj pozycję Chaos Studio na pasku wyszukiwania.

  3. Wybierz pozycję Cele i przejdź do klastra usługi AKS.

    Zrzut ekranu przedstawiający widok Cele w witrynie Azure Portal.

  4. Zaznacz pole wyboru obok klastra usługi AKS. Wybierz Włącz elementy docelowe, a następnie z menu rozwijanego wybierz Włącz elementy docelowe bezpośrednio w usłudze.

    Zrzut ekranu przedstawiający włączanie obiektów docelowych w witrynie Azure Portal.

  5. Upewnij się, że żądany zasób znajduje się na liście. Wybierz Przejrzyj i włącz, a następnie Włącz.

  6. Zostanie wyświetlone powiadomienie wskazujące, że wybrane zasoby zostały pomyślnie włączone.

    Zrzut ekranu przedstawiający powiadomienie z informacją o pomyślnym włączeniu elementu docelowego.

Teraz pomyślnie dodałeś swój klaster AKS do Chaos Studio. W widoku Cele można również zarządzać funkcjami włączonymi dla tego zasobu. Wybierz link Zarządzaj akcjami obok zasobu, aby wyświetlić możliwości włączone dla tego zasobu.

Tworzenie eksperymentu

Teraz możesz utworzyć eksperyment. Eksperyment chaosu definiuje akcje, które chcesz wykonać względem zasobów docelowych. Akcje są zorganizowane i uruchamiane w krokach sekwencyjnych. Eksperyment chaosu definiuje również akcje, które mają być wykonywane względem gałęzi, które są uruchamiane równolegle.

  1. Wybierz kartę Eksperymenty w programie Chaos Studio. W tym widoku można zobaczyć wszystkie eksperymenty chaosu i zarządzać nimi. Wybierz pozycję Utwórz>nowy eksperyment.

    Zrzut ekranu przedstawiający widok Eksperymentów w portalu Azure.

  2. Wypełnij pola Subskrypcja, Grupa zasobów i Lokalizacja, w których chcesz wdrożyć eksperyment chaosu. Nadaj eksperymentowi nazwę. Wybierz pozycję Dalej: Projektant eksperymentów.

    Zrzut ekranu przedstawiający dodawanie podstawowych szczegółów eksperymentu.

  3. Jesteś teraz w projektancie eksperymentów Chaos Studio. Projektant eksperymentów umożliwia kompilowanie eksperymentu przez dodawanie kroków, gałęzi i błędów. Nadaj przyjazną nazwę krokowi i gałęzi, a następnie wybierz Dodaj akcję > Dodaj błąd.

    Zrzut ekranu przedstawiający projektanta eksperymentu.

  4. Z listy rozwijanej wybierz AKS Chaos Mesh Pod Chaos. Wypełnij Czas trwania liczbą minut, przez które błąd ma trwać, a jsonSpec następującymi informacjami:

    Aby sformułować siatkę chaosu jsonSpec:

    1. Zapoznaj się z dokumentacją usługi Chaos Mesh, aby zapoznać się z typem błędu, na przykład typem PodChaos.

    2. Sformułuj konfigurację YAML dla tego typu błędów przy użyciu dokumentacji usługi Chaos Mesh.

      apiVersion: chaos-mesh.org/v1alpha1
kind: PodChaos
metadata:
  name: pod-failure-example
  namespace: chaos-testing
spec:
  action: pod-failure
  mode: all
  duration: '600s'
  selector:
    namespaces:
      - default

    3. Usuń dowolny kod YAML poza elementem spec (w tym nazwę właściwości specyfikacji) i usuń wcięcie szczegółów specyfikacji. Parametr duration nie jest niezbędny, ale jest używany, jeśli zostanie podany. W takim przypadku usuń go.

      action: pod-failure
mode: all
selector:
  namespaces:
    - default

    4. Użyj konwertera YAML-to-JSON, takiego jak ten, aby przekonwertować kod YAML usługi Chaos Mesh na format JSON i zminimalizować go.

      {"action":"pod-failure","mode":"all","selector":{"namespaces":["default"]}}

    5. Wklej zminimalizowany kod JSON do pola jsonSpec w portalu.

  5. Wybierz pozycję Dalej: Zasoby docelowe.

    Zrzut ekranu przedstawiający właściwości błędów.

  6. Wybierz klaster usługi AKS i wybierz pozycję Dalej.

    Zrzut ekranu przedstawiający dodawanie elementu docelowego.

  7. Sprawdź, czy eksperyment wygląda poprawnie, i wybierz pozycję Przejrzyj i utwórz>Utwórz.

    Zrzut ekranu przedstawiający przeglądanie i tworzenie eksperymentu.

Przyznaj eksperymentowi uprawnienia do klastera AKS

Podczas tworzenia eksperymentu chaosu program Chaos Studio tworzy tożsamość zarządzaną przypisaną przez system, która wykonuje błędy względem zasobów docelowych. Ta tożsamość musi mieć odpowiednie uprawnienia do zasobu docelowego, aby eksperyment został pomyślnie uruchomiony.

  1. Przejdź do klastra usługi AKS i wybierz pozycję Kontrola dostępu (IAM).

    Zrzut ekranu przedstawiający stronę przeglądową AKS.

  2. Wybierz pozycję Dodaj>Dodaj przypisanie roli.

    Zrzut ekranu przedstawiający przegląd kontroli dostępu (IAM).

  3. Wyszukaj rolę administratora klastra usługi Azure Kubernetes Service i wybierz rolę. Wybierz Dalej.

    Zrzut ekranu przedstawiający przypisanie roli administratora klastra usługi AKS.

  4. Wybierz pozycję Wybierz członków i wyszukaj nazwę eksperymentu. Wybierz swój eksperyment i wybierz pozycję Wybierz. Jeśli w tej samej dzierżawie istnieje wiele eksperymentów o tej samej nazwie, nazwa twojego eksperymentu zostanie skrócona i uzupełniona losowymi znakami.

    Zrzut ekranu przedstawiający dodawanie eksperymentu do roli.

  5. Wybierz opcję Przeglądanie + przypisywanie>Przeglądanie + przypisywanie.

Uruchamianie eksperymentu

Teraz możesz przystąpić do uruchamiania eksperymentu. Aby zobaczyć efekt, zalecamy otwarcie przeglądu klastra usługi AKS i przejście do pozycji Szczegółowe informacje na osobnej karcie przeglądarki. Dane na żywo dla liczby aktywnych zasobników pokazują efekt uruchomienia eksperymentu.

  1. W widoku Eksperymenty wybierz swój eksperyment. Wybierz przycisk Start>OK.

    Zrzut ekranu przedstawiający rozpoczęcie eksperymentu.

  2. Gdy stan zmieni się na Uruchomiono, wybierz pozycję Szczegóły dla najnowszego przebiegu w obszarze Historia, aby wyświetlić szczegółowe informacje dotyczące uruchomionego eksperymentu.

Następne kroki

Teraz, po uruchomieniu eksperymentu bezpośredniego usługi AKS Chaos Mesh, możesz wykonać następujące czynności: