Azure OpenAI Serviceのバッチジョブで処理数合計の不一致

Question

Azure OpenAI Serviceのバッチジョブでの入力ファイル(JSONL)に1000行のデータを入力したところ、525行の出力データしか取得できませんでした。

この時のエラーファイルは空のファイルとなっており、エラーは発生していないように思われます。

一部マスキングしていますが、python経由で取得したステータスを以下に提示します。

{
    "cancelled_at": None,
    "cancelling_at": None,
    "completed_at": 1742073187,
    "completion_window": "24h",
    "created_at": 1742072543,
    "error_file_id": "file-699fb49c-4748-44**-****-********",
    "expired_at": None,
    "expires_at": 1742158943,
    "failed_at": None,
    "finalizing_at": 1742073054,
    "id": "batch_20fdde1a-1ec5-4c**-****-********",
    "in_progress_at": 1742072842,
    "input_file_id": "file-bdf9ec00********************",
    "errors": None,
    "metadata": None,
    "object": "batch",
    "output_file_id": "file-80aad3ed-59e9-4d**-****-********",
    "request_counts": {"total": 1000, "completed": 525, "failed": 0},
    "status": "completed",
    "endpoint": "/chat/completions",
}

request_countsをみると、 1000の入力ですが525しか処理されていないように見えます。 エラーも起きていません。

そのほかの情報として

• eastusにGlobalBatchでgpt-4o-miniをデプロイした物を利用
• 上記以外のジョブでも同様の事象が発生している
  • ただし、処理されていないデータを再度別のジョブとして実行すると処理されることもある

request_countsは、completed + failed = totalと認識していたのですが、こういったケースも通常起こりうるものでしょうか？

もしこれが通常であれば、入力値に問題があるなどどういった可能性が考えられますでしょうか。

Answer 1

Shimura ,

バッチジョブ処理における不一致について、詳細な情報をご共有いただきありがとうございます。ご提供いただいた入力データを使用して、異なるリージョンでテストを実施し、クォータ設定を1Kから15Bトークンまで調整しながら、問題の再現を試みました。

添付の画像に示されている通り、処理は正常に完了いたしました。

ご指摘の点について：

"request_counts": {"total": 1000, "completed": 525, ...

このような数値の不一致は、一時的な不具合によるものである可能性があります。これは、バッチジョブのルーティング中に発生する内部的なディスパッチ処理やロードバランシングの問題が原因となることがあります。

このたびは、ご協力いただき誠にありがとうございました。今後ともよろしくお願いいたします。

英語から翻訳していますので、文法に不自然な点があるかもしれませんが、ご容赦ください。

お役に立てれば幸いです！

---

提供した情報が参考になった場合は、「回答を承認」および「はい」をクリックしていただけると嬉しいです。他のコミュニティメンバーの参考にもなります。

もし他にご質問がある場合や、まだ問題が解決していない場合は、「コメント」でお知らせください。喜んでお手伝いさせていただきます。