Copy アクティビティのセッションログ

[アーティクル]
01/05/2024

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータサイエンス、リアルタイム分析、ビジネスインテリジェンス、レポートまで、あらゆるものをカバーしています。無料で新しい試用版を開始する方法について説明します。

コピーしたファイル名は、Copy アクティビティのログに記録できます。これはデータがソースからコピー先に正常にコピーされるようにするだけでなく、ソースとコピー先の間の整合性を検証するためにも役立ちます。

Copy アクティビティでフォールトトレランス設定を有効にして、問題のあるデータをスキップした場合は、スキップされたファイルとスキップされた行もログに記録されます。詳細については、コピーアクティビティのフォールトトレランスに関するページを参照してください。

セッションログを有効にすることで、Azure Data Factory (ADF) Copy アクティビティによってコピーされたすべてのファイル名を取得する機会がある場合、これは次のシナリオで役立ちます。

ADF Copy アクティビティを使用してストレージ間でファイルをコピーしたら、コピー先ストアに予期しないファイルがいくつか見つかりました。 Copy アクティビティのセッションログをスキャンすると、それらのファイルがどの Copy アクティビティによっていつ実際にコピーされたかを確認できます。この方法により、ADF 内で簡単に根本原因を見つけて、構成を修正できます。
ADF Copy アクティビティを使用してストレージ間でファイルをコピーしたら、コピー先にコピーされたファイルが、予期されたソースストアのファイルではないことがわかりました。 Copy アクティビティのセッションログをスキャンすると、コピージョブのタイムスタンプと、ADF Copy アクティビティでソースストアからファイルを読み取ったときのファイルのメタデータを取得できます。この方法により、ADF によってコピーされた後に、ソースストアで他のアプリケーションによってファイルが更新されたかどうかを確認できます。

Azure Data Factory
Synapse Analytics

Azure Data Factory Studio での構成

Copy アクティビティのログ記録を構成するには、最初に Copy アクティビティをパイプラインに追加し、その [設定] タブを使用してログ記録とさまざまなログオプションを構成します。 Shows how to configure logging for a Copy activity in the settings tab.

その後、ログを監視するには、ADF Studio の [監視] タブの [パイプラインの実行] で、パイプラインの実行の出力を確認できます。そこで、監視するパイプラインの実行を選択し、[アクティビティ名] の横の領域にマウスポインターを合わせると、パイプラインの入力、出力 (完了した後)、その他の詳細が表示されるリンクへのアイコンが表示されます。

Shows how to find the output of a Copy activity in ADF Studio.

出力アイコンを選択してジョブのログ記録の詳細を表示し、選択したストレージアカウント内のログの場所をメモします。ここで、ログに記録されたすべてのアクティビティの詳細を確認できます。

Shows the output of a Copy activity with logging enabled.

ログの出力形式の詳細については、以下を参照してください。

JSON を使用した構成

次の例では、コピーアクティビティでセッションログを有効にする JSON 定義を示します。

{
  "name": "CopyActivityLog",
  "type": "Copy",
  "typeProperties": {
    "source": {
      "type": "BinarySource",
      "storeSettings": {
        "type": "AzureDataLakeStoreReadSettings",
        "recursive": true
      },
      "formatSettings": {
        "type": "BinaryReadSettings"
      }
    },
    "sink": {
      "type": "BinarySink",
      "storeSettings": {
        "type": "AzureBlobFSWriteSettings"
      }
    },
    "skipErrorFile": {
      "fileForbidden": true,
      "dataInconsistency": true
    },
    "validateDataConsistency": true,
    "logSettings": {
      "enableCopyActivityLog": true,
      "copyActivityLogSettings": {
        "logLevel": "Warning",
        "enableReliableLogging": false
      },
      "logLocationSettings": {
        "linkedServiceName": {
          "referenceName": "ADLSGen2",
          "type": "LinkedServiceReference"
        },
        "path": "sessionlog/"
      }
    }
  }
}

プロパティ	説明	使用できる値	必須
enableCopyActivityLog	true に設定すると、コピーされたファイル、スキップされたファイル、またはスキップされた行をログに記録できます。	True False (既定値)	いいえ
logLevel	"Info" により、コピーされたファイル、スキップされたファイル、スキップされた行がすべてログに記録されます。 "Warning" により、スキップされたファイルおよびスキップされた行のみがログに記録されます。	Info 警告 (既定値)	いいえ
enableReliableLogging	true の場合、各ファイルがコピー先にコピーされるとすぐに、リライアブルモードの Copy アクティビティによってログがフラッシュされます。 Copy アクティビティでリライアブルログモードを有効にして多数のファイルをコピーする場合は、ファイルをコピーするたびに二重書き込み操作が必要になるため、スループットが影響を受けることが予想されます。 1 つの要求はコピー先ストアに送られ、もう 1 つの要求はログストレージストアに送られます。ベストエフォートモードの Copy アクティビティでは、一定期間内のレコードのバッチのログがフラッシュされます。この場合、コピーのスループットへの影響ははるかに少なくなります。 Copy アクティビティが失敗した場合にログイベントの最後のバッチがログファイルにフラッシュされていない可能性があるため、このモードではログ記録の完全性と適時性は保証されません。このシナリオでは、コピー先にコピーされたいくつかのファイルがログに記録されません。	True False (既定値)	いいえ
logLocationSettings	セッションログを格納する場所を指定するために使用できるプロパティのグループ。		いいえ
linkedServiceName	セッションログファイルを格納するための、Azure Blob Storage または Azure Data Lake Storage Gen2 のリンクされたサービスです。	`AzureBlobStorage` または `AzureBlobFS` 型のリンクされたサービスの名前。これは、ログファイルを格納するために使用するインスタンスを示します。	いいえ
path	ログファイルのパス。	ログファイルを格納するパスを指定します。パスを指定しないと、サービスによってコンテナーが作成されます。	いいえ

監視

Copy アクティビティからの出力

Copy アクティビティが完全に実行された後、各 Copy アクティビティの実行の出力からログファイルのパスを確認できます。ログファイルは、パス: https://[your-blob-account].blob.core.windows.net/[logFilePath]/copyactivity-logs/[copy-activity-name]/[copy-activity-run-id]/[auto-generated-GUID].txt から見つけることができます。生成されたログファイルの拡張子は .txt であり、そのデータは CSV 形式です。

"output": {
            "dataRead": 695,
            "dataWritten": 186,
            "filesRead": 3,  
            "filesWritten": 1, 
            "filesSkipped": 2, 
            "throughput": 297,
            "logFilePath": "myfolder/a84bf8d4-233f-4216-8cb5-45962831cd1b/",
            "dataConsistencyVerification": 
           { 
                "VerificationResult": "Verified", 
                "InconsistentData": "Skipped" 
           } 
        }

Note

enableCopyActivityLog プロパティが Enabled に設定されている場合、ログファイル名はシステムによって生成されます。

ログファイルのスキーマ

次の表は、ログファイルのスキーマを示しています。

列	説明
Timestamp	ADF によってオブジェクトの読み取り、書き込み、またはスキップが行われるときのタイムスタンプ。
Level	この項目のログレベル。 "Warning" または "Info" を指定できます。
OperationName	各オブジェクトでの ADF Copy アクティビティの実行動作。 "FileRead"、"FileWrite"、"FileSkip"、または "TabularRowSkip" を指定できます。
OperationItem	ファイル名またはスキップされた行。
Message	ファイルがコピー元ストアから読み取られたか、またはコピー先ストアに書き込まれたかを示す詳細情報。また、ファイルまたは行がスキップされている理由を示す場合もあります。

ログファイルの例を次に示します。

Timestamp, Level, OperationName, OperationItem, Message
2020-10-19 08:39:13.6688152,Info,FileRead,"sample1.csv","Start to read file: {""Path"":""sample1.csv"",""ItemType"":""File"",""Size"":104857620,""LastModified"":""2020-10-19T08:22:31Z"",""ETag"":""\""0x8D874081F80C01A\"""",""ContentMD5"":""dGKVP8BVIy6AoTtKnt+aYQ=="",""ObjectName"":null}"
2020-10-19 08:39:56.3190846, Warning, FileSkip, "sample1.csv", "File is skipped after read 548000000 bytes: ErrorCode=DataConsistencySourceDataChanged,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Source file 'sample1.csv' is changed by other clients during the copy activity run.,Source=,'." 
2020-10-19 08:40:13.6688152,Info,FileRead,"sample2.csv","Start to read file: {""Path"":""sample2.csv"",""ItemType"":""File"",""Size"":104857620,""LastModified"":""2020-10-19T08:22:31Z"",""ETag"":""\""0x8D874081F80C01A\"""",""ContentMD5"":""dGKVP8BVIy6AoTtKnt+aYQ=="",""ObjectName"":null}"
2020-10-19 08:40:13.9003981,Info,FileWrite,"sample2.csv","Start to write file from source file: sample2.csv."
2020-10-19 08:45:17.6508407,Info,FileRead,"sample2.csv","Complete reading file successfully. "
2020-10-19 08:45:28.7390083,Info,FileWrite,"sample2.csv","Complete writing file from source file: sample2.csv. File is successfully copied."

上記のログファイルから、sample1.csv がスキップされたことを確認できます。これは、ソースストアとコピー先ストアの間で、整合性があることを確認できなかったためです。 sample1.csv が不整合になった詳しい理由は、ADF Copy アクティビティによってファイルがコピーされていたのと同時に、他のアプリケーションによってそれが変更されていたためであることがわかります。また、sample2.csv がコピー元ストアからコピー先ストアに正常にコピーされたことも確認できます。

複数の分析エンジンを使用して、ログファイルをさらに分析できます。次に、csv ログファイルを SQL データベースにインポートすることで、SQL クエリを使用してログファイルを分析する例をいくつか示します (テーブル名は SessionLogDemo とします)。

コピーされたファイルリストを表示する。

select OperationItem from SessionLogDemo where Message like '%File is successfully copied%'

特定の時間範囲内にコピーされたファイルリストを表示する。

select OperationItem from SessionLogDemo where TIMESTAMP >= '<start time>' and TIMESTAMP <= '<end time>' and Message like '%File is successfully copied%'

コピーされた時刻とメタデータを使用して、特定のファイルを表示する。

select * from SessionLogDemo where OperationItem='<file name>'

ある時間範囲内にメタデータがコピーされたファイルのリストを表示する。

select * from SessionLogDemo where OperationName='FileRead' and Message like 'Start to read%' and OperationItem in (select OperationItem from SessionLogDemo where TIMESTAMP >= '<start time>' and TIMESTAMP <= '<end time>' and Message like '%File is successfully copied%')

スキップされたファイルのリストを表示する。

select OperationItem from SessionLogDemo where OperationName='FileSkip'

特定のファイルがスキップされた理由を表示する。

select TIMESTAMP, OperationItem, Message from SessionLogDemo where OperationName='FileSkip'

"Blob ファイルが存在しません" という同じ理由でスキップされたファイルのリストを表示する。

select TIMESTAMP, OperationItem, Message from SessionLogDemo where OperationName='FileSkip' and Message like '%UserErrorSourceBlobNotExist%'

コピーするのに最も時間がかかるファイル名を表示する。

select top 1 OperationItem, CopyDuration=DATEDIFF(SECOND, min(TIMESTAMP), max(TIMESTAMP)) from SessionLogDemo group by OperationItem order by CopyDuration desc

コピーアクティビティの他の記事を参照してください。

次の方法で共有

Copy アクティビティのセッションログ

Azure Data Factory Studio での構成

Synapse Studio での構成

JSON を使用した構成

監視

Copy アクティビティからの出力

ログファイルのスキーマ

フィードバック

その他のリソース

次の方法で共有

Copy アクティビティのセッション ログ

Azure Data Factory Studio での構成

JSON を使用した構成

監視

Copy アクティビティからの出力

ログ ファイルのスキーマ

関連するコンテンツ

フィードバック

その他のリソース

Copy アクティビティのセッションログ

ログファイルのスキーマ