Azure Monitor エージェントを使用してテキストログを収集する

[アーティクル]
04/06/2023

多くのアプリケーションは、Windows イベントログや Syslog などの標準のログ記録サービスの代わりに、テキストファイルに情報を記録します。この記事では、データ収集規則 (DCR) を作成し、Azure Monitor エージェントを使用して監視対象のマシンからテキストログを収集する方法について説明します。

前提条件

この手順を完了するには、以下が必要です。

少なくとも共同作成者権限がある Log Analytics ワークスペース。
データ収集エンドポイント。
ワークスペースにデータ収集ルールオブジェクトを作成するためのアクセス許可。
テキストファイルにログを書き込む、VM、仮想マシンスケールセット、または Arc 対応オンプレミスサーバー。

テキストファイルの要件とベストプラクティス:
- Azure Monitor エージェントが実行されているコンピューターのローカルドライブと、監視対象のディレクトリにファイルを格納します。
- レコードの末尾を行の末尾で示してください。
- ASCII または UTF-8 エンコードを使用してください。 UTF-16 など他の形式はサポートされていません。
- 古いファイルを簡単に削除できるように、毎日新しいログファイルを作成してください。
- 監視対象ディレクトリ内の 2 日以上前のログファイルをすべてクリーンアップしてください。 Azure Monitor エージェントでは古いログファイルが削除されないため、追跡でエージェントリソースが使用されます。
- 既存のファイルを新しいデータで上書きしないでください。新しいデータはファイルに追加するのみにする必要があります。
- ログの記録対象ファイルは、名前を変更したり、同じ名前で新たに開いたりしないでください。
- 大規模ログファイルの名前を変更したり、監視対象のディレクトリにコピーしたりしないでください。必要な場合は、1 分あたり 50 MB を超えないようにしてください
- 監視対象ディレクトリ内のファイルの名前を、監視対象ディレクトリに存在する新しい名前に変更しないでください。これにより、誤ったインジェスト動作が発生する可能性があります。

カスタムテーブルを作成する

この手順では、新しいカスタムテーブルを作成します。これは、_CL で終わる任意のテーブル名です。現在、テーブルの作成には、テーブル管理エンドポイントへの直接の REST 呼び出しが使われます。このセクションの最後にあるスクリプトは、REST 呼び出しへの入力です。

スクリプトで作成されたテーブルは、TimeGenerated: datetime と RawData: string の 2 つの列を持っており、これはカスタムテキストログの既定のスキーマとなっています。最終的なスキーマがわかっている場合は、テーブルを作成する前にスクリプトに列を追加できます。それ以外の場合は、ログ分析テーブルの UI でいつでも列を追加できます。

REST 呼び出しを行う最も簡単な方法は、Azure Cloud PowerShell コマンドライン (CLI) から行うことです。シェルを開くには、Azure portal に移動し、[Cloud Shell] ボタンを押して、[PowerShell] を選択します。この Azure Cloud PowerShell を初めて使う場合は、1 回限りの構成ウィザードを初めから終わりまで実施する必要があります。

次のスクリプトをコピーして PowerShell に貼り付け、ワークスペースにテーブルを作成します。スクリプト内の {subscription}、{resource group}、{workspace name}、{table name} を置き換えます。パラメーターの先頭または末尾に余分な空白がないことを確認します

$tableParams = @'
{
   "properties": {
       "schema": {
              "name": "{TableName}_CL",
              "columns": [
       {
                               "name": "TimeGenerated",
                               "type": "DateTime"
                       }, 
                      {
                               "name": "RawData",
                               "type": "String"
                      }
             ]
       }
   }
}
'@

Invoke-AzRestMethod -Path "/subscriptions/{subscription}/resourcegroups/{resourcegroup}/providers/microsoft.operationalinsights/workspaces/{WorkspaceName}/tables/{TableName}_CL?api-version=2021-12-01-preview" -Method PUT -payload $tableParams

リターンキーを押して、コードを実行します。 200 応答が表示され、先ほど作成したばかりのテーブルの詳細が表示されます。テーブルが作成されたことを確認するには、ワークスペースに移動して、左側のブレードから [テーブル] を選びます。リストに作成したテーブルが表示されます。

Note

列名では大文字と小文字が区別されます。たとえば、Rawdata では、イベントデータが正確に収集されません。 RawData にする必要があります。

テキストログを収集するデータ収集ルールを作成する

データ収集ルールでは、次を定義します。

Azure Monitor エージェントが新しいイベントをスキャンするソースログファイル。
インジェスト中に Azure Monitor がイベントを変換する方法。
Azure Monitor がデータを送信する宛先 Log Analytics ワークスペースとテーブル。

データ収集ルールを定義して、複数のマシンから複数の Log Analytics ワークスペース (異なるリージョンまたはテナントのワークスペースを含む) にデータを送信できます。 Log Analytics ワークスペースと "同じリージョン" にデータ収集ルールを作成します。

注意

テナント間でデータを送信するには、まず Azure Lighthouse を有効にする必要があります。

ポータル
Resource Manager テンプレート

Azure portal でデータ収集ルールを作成するには、次を行います。

[モニター] メニューで、[データ収集ルール] を選択します。
[作成] を選択して、新しいデータ収集ルールと関連付けを作成します。
次のようにルール名を入力し、サブスクリプション、リソースグループ、リージョン、プラットフォームの種類、データ収集エンドポイントを指定します。
- [リージョン] により、DCR が作成される場所を指定します。仮想マシンとそれらの関連付けは、テナント内の任意のサブスクリプションまたはリソースグループに配置できます。
- [プラットフォームの種類] により、このルールを適用できるリソースの種類を指定します。 [カスタム] オプションにより、Windows と Linux の両方の種類が許可されます。
- カスタムログを収集するには、データ収集エンドポイントが必要です。
[リソース] タブで、次の操作を実行します。
1. [+ リソースの追加] を選択し、データ収集ルールにリソースを関連付けます。リソースは、Azure 仮想マシン、Virtual Machine Scale Sets、Azure Arc for servers のいずれかです。 Azure portal は、まだインストールされていないリソースに Azure Monitor エージェントをインストールします。
  
  重要
  
  ポータルは、既存のユーザー割り当て ID と共に、ターゲットリソースでシステム割り当てマネージド ID を有効にします (該当する場合)。既存のアプリケーションでは、ユーザー割り当て ID を要求で指定しない限り、マシンでは既定でシステム割り当て ID が代わりに使用されます。
  
  プライベートリンクを使用したネットワークの分離が必要な場合は、それぞれのリソースに対して同じリージョンから既存のエンドポイントを選択するか、新しいエンドポイントを作成します。
2. [データ収集エンドポイントを有効にする] を選択します。
3. データ収集ルールに関連付ける各リソースのデータ収集エンドポイントを選択します。
[収集と配信] タブで、[データソースの追加] を選択して、データソースを追加し、送信先を設定します。
[カスタムテキストログ] を選択します。
次の情報を指定します。
- ファイルパターン - ログファイルがローカルディスク上のどこにあるかを識別します。複数のファイルパターンをコンマで区切って入力できます (Linux では、ファイルパターンのコンマ区切りの一覧から収集するには、AMA バージョン 1.26 以上が必要です)。
  
  有効な入力の例:
  - 20220122-MyLog.txt
  - ProcessA_MyLog.txt
  - ErrorsOnly_MyLog.txt, WarningOnly_MyLog.txt
  Note
  
  同じ種類の複数のログファイルは、通常、同じディレクトリに存在します。たとえば、マシンが毎日新しいファイルを作成して、ログファイルが大きくなりすぎないようにすることができます。このシナリオでログデータを収集するには、ファイルワイルドカードを使用できます。 Windows 用 C:\directoryA\directoryB\*MyLog.txt と Linux 用 /var/*.log の形式を使用します。ディレクトリワイルドカードはサポートされません。
- テーブル名 - Log Analytics ワークスペースで作成した変換先テーブルの名前。詳細については、「前提条件」を参照してください。
- レコード区切り記号 - 現在サポートされている行の末尾 (/r/n) 以外の区切り記号を許可するために、今後使用されます。
- 変換 - インジェスト時変換を追加するか、収集されたデータを変換する必要がない場合はソースのままにします。
[送信先] タブで、データソースの 1 つ以上の送信先を追加します。同じタイプまたは異なるタイプの送信先を複数選択できます。たとえば、複数の Log Analytics ワークスペース (マルチホームとも呼ばれます) を選択できます。
[確認と作成] を選択して、データ収集ルールの詳細と、一連の仮想マシンとの関連付けを確認します。
[作成] を選択してデータ収集ルールを作成します。

データ収集ルールには、ワークスペースのリソース ID が必要です。 Azure portal の [Log Analytics ワークスペース] メニューでワークスペースに移動します。 [プロパティ] ページで、[リソース ID] をコピーして、後で使用するために保存します。
Azure portal の検索ボックスに、テンプレート と入力して、[カスタムテンプレートのデプロイ] を選択します。
[Build your own template in the editor] (エディターで独自のテンプレートをビルド) を選択します。

次の Resource Manager テンプレートをエディターに貼り付けます。

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "dataCollectionRuleName": {
            "type": "string",
            "metadata": {
                "description": "Specifies the name of the Data Collection Rule to create."
            }
        },
        "location": {
            "type": "string",
            "metadata": {
                "description": "Specifies the location in which to create the Data Collection Rule."
            }
        },
        "workspaceName": {
            "type": "string",
            "metadata": {
                "description": "Name of the Log Analytics workspace to use."
            }
        },
        "workspaceResourceId": {
            "type": "string",
            "metadata": {
                "description": "Specifies the Azure resource ID of the Log Analytics workspace to use."
            }
        },
        "endpointResourceId": {
            "type": "string",
            "metadata": {
                "description": "Specifies the Azure resource ID of the Data Collection Endpoint to use."
            }
        }
    },
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "[parameters('dataCollectionRuleName')]",
            "location": "[parameters('location')]",
            "apiVersion": "2021-09-01-preview",
            "properties": {
                "dataCollectionEndpointId": "[parameters('endpointResourceId')]",
                "streamDeclarations": {
                    "Custom-MyLogFileFormat": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            }
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-MyLogFileFormat"
                            ],
                            "filePatterns": [
                                "C:\\JavaLogs\\*.log"
                            ],
                            "format": "text",
                            "settings": {
                                "text": {
                                    "recordStartTimestampFormat": "ISO 8601"
                                }
                            },
                            "name": "myLogFileFormat-Windows"
                        },
                        {
                            "streams": [
                                "Custom-MyLogFileFormat" 
                            ],
                            "filePatterns": [
                                "//var//*.log"
                            ],
                            "format": "text",
                            "settings": {
                                "text": {
                                    "recordStartTimestampFormat": "ISO 8601"
                                }
                            },
                            "name": "myLogFileFormat-Linux"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "[parameters('workspaceResourceId')]",
                            "name": "[parameters('workspaceName')]"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-MyLogFileFormat"
                        ],
                        "destinations": [
                            "[parameters('workspaceName')]"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-MyTable_CL"
                    }
                ]
            }
        }
    ],
    "outputs": {
        "dataCollectionRuleId": {
            "type": "string",
            "value": "[resourceId('Microsoft.Insights/dataCollectionRules', parameters('dataCollectionRuleName'))]"
        }
    }
}

Resource Manager テンプレートで次の値を更新します。
- streamDeclarations: 受信データの列を定義します。これは、ログファイルの構造と一致している必要があります。
- filePatterns: 収集するログファイルの場所とファイルパターンを指定します。これにより、Windows エージェントと Linux エージェントの個別のパターンが定義されます。
- transformKql: 受信データをワークスペースに送信する前に適用する変換を指定します。
テキストログの DCR を変更する場合は、「Azure Monitor でのデータ収集ルールの構造 (プレビュー)」を参照してください。

重要

カスタムデータの収集ルールには、プレフィックス Custom- が付いています (たとえば、Custom-rulename)。ストリーム宣言の Custom-rulename は、Log Analytics ワークスペースの Custom-rulename の名前と一致する必要があります。
[保存] を選択します。
[カスタムデプロイ] 画面で、データ収集ルールを格納する [サブスクリプション] と [リソースグループ] を指定し、テンプレートに定義されている値を指定します。これには、データ収集ルールの [名前] と、 [ワークスペースリソース ID] および [エンドポイントリソース ID] が含まれます。 [場所] は、ワークスペースと同じ場所にする必要があります。 [リージョン] は既に設定されていて、データ収集ルールの場所に使用されます。
[確認と作成] を選択し、詳細を確認したら [作成] をクリックします。
デプロイが完了したら、[デプロイの詳細] ボックスを展開し、データ収集ルールを選択して詳細を表示します。 [JSON ビュー] を選択します。
API バージョンを 2021-09-01-preview に変更しました。
データ収集ルールの [リソース ID] をコピーします。これは次の手順で使用します。
収集するログファイルにエージェントにデータ収集規則を関連付けるデータ収集の関連付けを作成します。同じデータ収集ルールを複数のエージェントに関連付けることができます。
1. Azure portal の [監視] メニューで、[データ収集ルール] を選択し、作成したルールを選択します。
2. [リソース] を選択し、[追加] を選択して使用可能なリソースを表示します。
3. 個々のエージェントを選択してデータ収集ルールを関連付けるか、リソースグループを選択して、そのリソースグループ内のすべてのエージェントの関連付けを作成します。 [適用] を選択します。

Note

データ収集ルールを作成した後、データが送信先に送信されるまでに最大で 5 分かかることがあります。

サンプルログクエリ

ここで使用する列名は、例として示しているだけです。ほとんどの場合、ご使用のログの列名は異なります。

コード別にイベントの数をカウントします。
```
MyApp_CL
| summarize count() by code
```

サンプルのアラートルール

エラーイベントに対するアラートルールを作成します。

MyApp_CL
| where status == "Error"
| summarize AggregatedValue = count() by Computer, bin(TimeGenerated, 15m)

トラブルシューティング

テキストログの収集をトラブルシューティングするには、次の手順を使用します。

カスタムログが受信されているかどうかを確認する

まず、Log Analytics で次のクエリを実行して、カスタムログテーブルのレコードが収集されているかどうかを確認します。レコードが返されない場合は、考えられる原因について他のセクションを確認してください。このクエリは過去 2 日間のエントリを検索しますが、別の時間範囲に変更できます。テーブルの新しいデータがアップロードされるまでに 5 から 7 分かかる場合があります。アップロードされるのは新しいデータのみです。DCR ルールが作成される前に最後に書き込まれたログファイルはアップロードされません。

<YourCustomLog>_CL
| where TimeGenerated > ago(48h)
| order by TimeGenerated desc

カスタムテーブルを作成したことを確認する

Log Analytics ワークスペースにデータを送信する前に、カスタムログテーブルを作成する必要があります。

エージェントがハートビートを正常に送信していることを確認する

Log Analytics で次のクエリを実行して、ハートビートテーブルにレコードがあるかどうかを確認することで、Azure Monitor エージェントが正しく通信していることを検証します。

Heartbeat
| where TimeGenerated > ago(24h)
| where Computer has "<computer name>"
| project TimeGenerated, Category, Version
| order by TimeGenerated desc

データ収集ルールで正しいログの場所を指定したことを確認します

データ収集ルールには、次のようなセクションがあります。 filePatterns 要素は、エージェントコンピューターから収集するログファイルへのパスを指定します。エージェントコンピューターを調べて、これが正しいことを確認します。

"dataSources": [{
            "configuration": {
                "filePatterns": ["C:\\JavaLogs\\*.log"],
                "format": "text",
                "settings": {
                    "text": {
                        "recordStartTimestampFormat": "yyyy-MM-ddTHH:mm:ssK"
                    }
                }
            },
            "id": "myTabularLogDataSource",
            "kind": "logFile",
            "streams": [{
                    "stream": "Custom-TabularData-ABC"
                }
            ],
            "sendToChannels": ["gigl-dce-00000000000000000000000000000000"]
        }
    ]

このファイルパターンは、エージェントマシン上のログに対応している必要があります。

テキストログが設定されていることを確認する

エージェントは、収集対象のログファイルに書き込まれた新しいコンテンツのみを収集します。テキストログの収集機能を試している場合は、次のスクリプトを使用してサンプルログを生成できます。

# This script writes a new log entry at the specified interval indefinitely.
# Usage:
# .\GenerateCustomLogs.ps1 [interval to sleep]
#
# Press Ctrl+C to terminate script.
#
# Example:
# .\ GenerateCustomLogs.ps1 5

param (
    [Parameter(Mandatory=$true)][int]$sleepSeconds
)

$logFolder = "c:\\JavaLogs"
if (!(Test-Path -Path $logFolder))
{
    mkdir $logFolder
}

$logFileName = "TestLog-$(Get-Date -format yyyyMMddhhmm).log"
do
{
    $count++
    $randomContent = New-Guid
    $logRecord = "$(Get-Date -format s)Z Record number $count with random content $randomContent"
    $logRecord | Out-File "$logFolder\\$logFileName" -Encoding utf8 -Append
    Start-Sleep $sleepSeconds
}
while ($true)

すべてが正しく構成されているにもかかわらず、ログデータが収集されない場合は、次の手順に従って Azure Monitor エージェントの診断ログを収集して、Azure Monitor グループと共有します。

管理者特権の PowerShell ウィンドウを開きます。
ディレクトリを C:\Packages\Plugins\Microsoft.Azure.Monitor.AzureMonitorWindowsAgent\[version]\ に変更します。
スクリプト .\CollectAMALogs.ps1 を実行します。
デスクトップに生成された AMAFiles.zip ファイルを共有します。

次のステップ

各項目の詳細情報

Azure Monitor エージェントを使用してテキストログを収集する

前提条件

カスタムテーブルを作成する

テキストログを収集するデータ収集ルールを作成する

サンプルログクエリ

サンプルのアラートルール

トラブルシューティング

カスタムログが受信されているかどうかを確認する

カスタムテーブルを作成したことを確認する

エージェントがハートビートを正常に送信していることを確認する

データ収集ルールで正しいログの場所を指定したことを確認します

テキストログが設定されていることを確認する

次のステップ

その他のリソース

その他のリソース

Azure Monitor エージェントを使用してテキスト ログを収集する

前提条件

カスタム テーブルを作成する

テキスト ログを収集するデータ収集ルールを作成する

サンプル ログ クエリ

サンプルのアラート ルール

トラブルシューティング

カスタム ログが受信されているかどうかを確認する

カスタム テーブルを作成したことを確認する

エージェントがハートビートを正常に送信していることを確認する

データ収集ルールで正しいログの場所を指定したことを確認します

テキスト ログが設定されていることを確認する

ログを Microsoft と共有する

次のステップ

その他のリソース

その他のリソース

Azure Monitor エージェントを使用してテキストログを収集する

カスタムテーブルを作成する

テキストログを収集するデータ収集ルールを作成する

サンプルログクエリ

サンプルのアラートルール

カスタムログが受信されているかどうかを確認する

カスタムテーブルを作成したことを確認する

テキストログが設定されていることを確認する