AKS クラスターでのメモリ飽和のトラブルシューティング

この記事では、メモリ飽和の問題のトラブルシューティング方法について説明します。 メモリ飽和は、少なくとも 1 つのアプリケーションまたはプロセスでコンテナー ホストが提供できるメモリを超えるメモリが必要な場合、またはホストが使用可能なメモリを使い果たす場合に発生します。

前提条件

• Kubernetes kubectl コマンド ライン ツール。 Azure CLI を使用して kubectl をインストールするには、az aks install-cli コマンドを実行します。

現象

次の表は、メモリ飽和の一般的な症状の概要を示しています。

現象	説明
スケジュールできないポッド	ノードが設定されたメモリ制限に近い場合、追加のポッドをスケジュールすることはできません。
ポッドの削除	ノードがメモリ不足の場合、kubelet はポッドを削除できます。 コントロール プレーンは、リソースを持つ他のノードで削除されたポッドを再スケジュールしようとしますが、他のノードがこれらのポッドを実行するのに十分なメモリを持っている保証はありません。
ノードの準備ができていない	メモリの飽和により kubelet 、 と containerd が応答しなくなる可能性があり、最終的にはノードの準備の問題が発生します。
メモリ不足 (OOM) の強制終了	ポッドの削除がノードの問題を防ぐことができない場合、OOM の問題が発生します。

トラブルシューティング チェックリスト

メモリの飽和を減らすには、効果的な監視ツールを使用し、ベスト プラクティスを適用します。

手順 1: メモリ飽和状態のノードを特定する

メモリ飽和状態のノードを識別するには、次のいずれかの方法を使用します。

• Web ブラウザーで、Azure portalで AKS の Container Insights 機能を使用します。

• コンソールで、Kubernetes コマンド ライン ツール (kubectl) を使用します。

Browser

Container Insights は、コンテナー ワークロードのパフォーマンスを監視する AKS 内の機能です。 詳細については、「Azure Kubernetes Service (AKS) クラスターのコンテナー分析情報を有効にする」を参照してください。

1. Azure portalで、Kubernetes サービスを検索して選択します。

2. Kubernetes サービスの一覧で、クラスターの名前を選択します。

3. クラスターのナビゲーション ウィンドウで、[ 監視 ] 見出しを見つけて、[ 分析情報] を選択します。

4. 適切な [時間範囲] の値を設定します。

5. [ ノード ] タブを選択します。

6. [ メトリック ] の一覧で、[ メモリ ワーキング セット] (割り当て可能から計算) を選択します。

7. パーセンタイル セレクターで、サンプルを Max に設定し、 最大 % 列ラベルを 2 回選択します。 このアクションにより、テーブル ノードが、使用されるメモリの最大割合 (最大値から最小) で並べ替えられます。

   

   テーブルには 4 つの行があり、AKS エージェント プール仮想マシン スケール セット内の 4 つのノードを表します。 状態はすべて **Ok**、使用されるメモリの最大割合は 64 ~ 58%、使用される最大メモリは 2.6 GB から 2.86 GB、使用されるコンテナーの数は 20 から 24、アップタイムは 6 ~ 15 日です。 コントローラーは表示されません。

8. 最初のノードのメモリ使用量が最も多いため、そのノードを選択して、ノードで実行されているポッドのメモリ使用量を調査します。

   

   ノードの下に 9 つのプロセスが一覧表示されます。 状態はすべて **Ok**、プロセスに使用されるメモリの最大割合は 16 ~ 0.3%、使用される最大メモリは 0.7 mc から 22 mc、使用されるコンテナーの数は 1 から 3、アップタイムは 3 ~ 4 日です。 ノードとは異なり、プロセスはすべて対応するコントローラーが一覧表示されます。 このスクリーンショットでは、コントローラー名はプロセス名のプレフィックスであり、ハイパーリンクが設定されています。

   注:

   ポッドの CPU またはメモリ使用量の割合は、コンテナーに対して指定された CPU 要求に基づいています。 これは、ノードの CPU またはメモリ使用量の割合を表しません。 そのため、ポッドの CPU またはメモリ使用量の割合ではなく、実際の CPU またはメモリ使用量を確認します。

Command Line/コマンド ライン

この手順では、コンソールで kubectl コマンドを使用します。 ノードの現在の状態のみが表示されます。

1. kubectl top node コマンドを実行して、ノードのメモリ使用量を取得します。

   kubectl top node
   

   このコマンドの出力は、次のテキストのようになります。

   NAME                                 CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
   aks-agentpool-30486455-vmss000003    239m         12%    3148Mi          69%
   aks-agentpool-30486455-vmss000005    326m         17%    2143Mi          46%
   aks-testmemory-30616462-vmss000000   66m          3%     1532Mi          28%
   aks-testmemory-30616462-vmss000001   90m          4%     1689Mi          31%
   aks-testmemory-30616462-vmss000002   74m          3%     1715Mi          31%
   

2. kubectl get pods コマンドと kubectl top pods コマンドを実行して、ノードで実行されているポッドとそのメモリ使用量の一覧を取得します。

   kubectl get pods --all-namespaces --output wide \
       | grep <node-name> \
       | awk '{print $1" "$2}' \
       | xargs -n2 kubectl top pods --namespace \
       | awk 'NR==1 || NR%2==0' \
       | sort -k3n \
       | column -t
   

   注:

   このコード スニペットでは、node-name> を実際のノード名に置き換えます<。

   コード スニペットの出力は、次のテキストのようになります。

   NAME                                 CPU(cores)   MEMORY(bytes)
   coredns-autoscaler-5655d66f64-9fp2k  1m           7Mi
   shippingservice-7946db7679-qzplg     6m           15Mi
   azure-ip-masq-agent-tb8xv            1m           16Mi
   cloud-node-manager-wggqd             1m           16Mi
   kube-proxy-c244z                     1m           22Mi
   coredns-59b6bf8b4f-5zg5s             3m           24Mi
   coredns-59b6bf8b4f-5x62d             3m           25Mi
   currencyservice-7977f668dc-rvbwm     12m          32Mi
   csi-azurefile-node-9fcx8             2m           38Mi
   metrics-server-5f8d84558d-frsq4      4m           42Mi
   metrics-server-5f8d84558d-rc5nj      4m           43Mi
   csi-azuredisk-node-9fh7h             2m           46Mi
   adservice-795589cf6f-xs66r           4m           87Mi
   ama-metrics-node-54sfj               16m          249Mi
   ama-logs-rs-6db98d6dff-vj4xw         13m          259Mi
   ama-logs-w5bmd                       12m          403Mi
   

3. kubectl describe node コマンドを実行して、ノード上の各ポッドの要求と制限を確認します。

   kubectl describe node <node-name>
   

   このコマンドの出力は、次のテキストのようになります。

     Namespace    Name                                 CPU Requests  CPU Limits  Memory Requests  Memory Limits  Age
     ---------    ----                                 ------------  ----------  ---------------  -------------  ---
     default      adservice-795589cf6f-dgrx7           200m (10%)    300m (15%)  180Mi (3%)       300Mi (6%)     49m
     default      cartservice-6d994d9676-tcr6m         200m (10%)    300m (15%)  64Mi (1%)        128Mi (2%)     49m
     default      frontend-848d9f9dc9-x712b            100m (5%)     200m (10%)  64Mi (1%)        128Mi (2%)     49m
     default      loadgenerator-5c9656f8d6-7vmjr       300m (15%)    500m (26%)  256Mi (5%)       512Mi (11%)    38m
     default      redis-cart-799c85c644-vzpjl          70m (3%)      125m (6%)   200Mi (4%)       256Mi (5%)     49m
     kube-system  ama-logs-zs4qf                       150m (7%)     1 (52%)     550Mi (12%)      1774Mi (38%)   16h
     kube-system  azure-ip-masq-agent-rqqpn            100m (5%)     500m (26%)  50Mi (1%)        250Mi (5%)     16h
     kube-system  cloud-node-manager-nbnrq             50m (2%)      0 (0%)      50Mi (1%)        512Mi (11%)    16h
     kube-system  coredns-59b6bf8b4f-m2prf             100m (5%)     3 (157%)    70Mi (1%)        500Mi (10%)    16h
     kube-system  csi-azuredisk-node-h445m             30m (1%)      0 (0%)      60Mi (1%)        400Mi (8%)     16h
     kube-system  csi-azurefile-node-489cp             30m (1%)      0 (0%)      60Mi (1%)        600Mi (13%)    16h
     kube-system  konnectivity-agent-665c7dfdb8-25p2f  20m (1%)      1 (52%)     20Mi (1%)        1Gi (22%)      15h
     kube-system  kube-proxy-v9gp4                     100m (5%)     0 (0%)      0 (0%)           0 (0%)         16h
   Allocated resources:
     ...
   

   注:

   ノードの CPU またはメモリ使用量の割合は、実際のノード容量ではなく、ノード上の割り当て可能なリソースに基づいています。

高いメモリを使用しているポッドを特定したので、ポッドで実行されているアプリケーションを特定できます。

手順 2: メモリの飽和を回避するためのベスト プラクティスを確認する

メモリ飽和を回避するためのベスト プラクティスを実装する方法については、次の表を参照してください。

ベスト プラクティス	説明
メモリ 要求と制限を使用する	Kubernetes には、コンテナーの最小メモリ サイズ (要求) と最大メモリ サイズ (制限) を指定するオプションが用意されています。 ポッドの制限を構成することで、ノードのメモリ負荷を回避できます。 実行中のすべてのポッドの集計制限が、ノードの使用可能なメモリを超えていないことを確認します。 この状況を オーバーコミットと呼びます。 Kubernetes スケジューラは、 サービス品質 (QoS) を通じて、設定された要求と制限に基づいてリソースを割り当てます。 適切な制限がないと、スケジューラは、1 つのノード上のポッドの数が多すぎる可能性があります。 これにより、最終的にノードがダウンする可能性があります。 さらに、kubelet はポッドを削除していますが、メモリ使用量が定義された要求を超えるポッドに優先順位を付けます。 メモリ要求は、実際の使用量に近い値に設定することをお勧めします。
ポッドの水平オートスケーラーを有効にする	クラスターをスケーリングすることで、多くのポッド間で要求のバランスを取り、メモリの飽和を防ぐことができます。 この手法により、特定のノードのメモリ 占有領域を減らすことができます。
アンチアフィニティ タグを使用する	メモリが設計上無制限のシナリオでは、ノード セレクターとアフィニティタグまたはアンチアフィニティ タグを使用できます。これにより、ワークロードを特定のノードに分離できます。 アンチアフィニティ タグを使用すると、他のワークロードがこれらのノードでポッドをスケジュールできないようにすることができます。 これにより、メモリ飽和の問題が軽減されます。
より高い SKU VM を選択する	ランダム アクセス メモリ (RAM) が多い仮想マシン (VM) は、メモリ使用率の高い処理に適しています。 このオプションを使用するには、新しいノード プールを作成し、ノードを切断して (スケジュールを解除して)、既存のノード プールをドレインする必要があります。
システムとユーザーのワークロードを分離する	ユーザー ノード プールでアプリケーションを実行することをお勧めします。 この構成により、Kubernetes 固有のポッドをシステム ノード プールに分離し、クラスターのパフォーマンスを維持できます。

詳細

• Azure Kubernetes Service (AKS) のベスト プラクティスの詳細

• Container Insights を使用して Kubernetes クラスターのパフォーマンスを監視する

サードパーティの情報に関する免責事項

この資料に記載されているサードパーティ製品は、マイクロソフトと関連のない他社の製品です。 明示的か黙示的かにかかわらず、これらの製品のパフォーマンスや信頼性についてマイクロソフトはいかなる責任も負わないものとします。

サードパーティのお問い合わせ窓口に関する免責事項

Microsoft では、このトピックに関する追加情報を見つけるのに役立つサード パーティの連絡先情報を提供しています。 将来予告なしに変更されることがあります。 Microsoft は、第三者の連絡先情報の正確性を保証しません。

お問い合わせはこちらから

質問がある場合やヘルプが必要な場合は、サポート要求を作成するか、Azure コミュニティ サポートにお問い合わせください。 Azure フィードバック コミュニティに製品フィードバックを送信することもできます。