次の方法で共有

EVVIE で車両検査に革命を起こす

エンタープライズ ビジュアル ビークル インスペクション エンジン (EVVIE) は、AI と Microsoft Power Platform を利用して車検プロセスに革命をもたらします。 検査を自動化することで、EVVIEは時間を節約し、精度を高め、大規模な車両フリートを管理する組織にとって非常に貴重なツールとなっています。 この記事では、EVVIEのアーキテクチャ、ワークフロー、主要コンポーネントの概要を説明し、この革新的なソリューションが車両の点検とメンテナンスをどのように合理化できるかについての洞察を提供します。

EVVIE のデモと詳細については、aka.ms/EVVIE をご参照ください。

チップ

この記事では、ソリューションのアイデアについて説明します。 クラウド アーキテクトは、このガイダンスを使用して、このアーキテクチャの一般的な実装の主要なコンポーネントを視覚化できます。 この記事を出発点として、ワークロード固有の要件に沿ったアーキテクト ソリューションを設計します。

アーキテクチャ ダイアグラム

Enterprise Visual Vehicle Inspection Engine がローコードとプロコードを使用して AI 支援車両検査を推進するアーキテクチャ図。

Workflow

EVVIE は、高度な AI モデルを使用して車両検査プロセスを自動化するために、独自の Power Platform と Microsoft Azure リソースのブレンドを使用しています。 大まかに言うと、EVVIEの内部プロセスは次のとおりです。

  1. Power Apps キャンバス アプリは、ユーザーが車検の一環として車両の損傷写真を収集するインターフェースとして機能します。 画像は Base64 文字列としてエンコードされます。

  2. このアプリはカスタム コネクタを使用しているため、.NET ベースの Azure ファンクション アプリであるカスタム API にキャプチャした画像を提供できます。

  3. この機能アプリは、アプリからの HTTP API 呼び出しを受信して解析し、写真を取得し、Azure OpenAI Service のマルチモーダル言語モデルとのインタフェースを行います。 モデルは写真を確認し、損傷を 3 つのフィールド (車両の領域、重大度レベル、および損傷の一般的な説明) に分類します。

  4. 調査アプリは関数アプリから応答を受信し、AI が作成した損害評価をユーザーに提示します。ユーザーは評価を承認、変更、または拒否できます。 ユーザーは評価を確定し、特定の車両に対して提出します。 評価は Dataverse に安全に保管されます。

  5. カスタム ページによるモデル駆動型機能によって、管理者は車検データを確認できます。

コンポーネント

Microsoft Dataverse: 車両検査の一環として収集されたすべてのデータ (損傷の写真、深刻度ランク、説明など) は、Dataverse に保存されます。

Power Apps: 車両を検査する現場のスタッフと、検査を確認する事務スタッフは、Microsoft のノーコード/ローコードアプリ開発フレームワークである Power Apps で構築されたアプリを使用しています。

カスタム コネクタ: カスタム コネクタにより、EVVIE モバイル車両検査アプリ (現場で車両を検査するスタッフが使用) は、高度な AI を使用して提供された写真を評価するバックエンド サービスを呼び出すことができます。

Azure Functions: Microsoft のイベント駆動型サーバーレス コンピューティング プラットフォームである Azure Functions は、EVVIE アプリがカスタム コネクタを通じて HTTP リクエストを使用して呼び出すことができる Web API として機能します。 Azure の機能アプリは、API 呼び出しを通じて画像を受信し、高度な AI モデルを使用して損傷を評価し、評価結果をアプリに返します。

Azure OpenAI サービス: EVVIE は、マルチモーダル AI モデルを使用して、提供された画像の損傷を評価し、重大度レベル (1～5)、車両の領域 (ドア、フロント ガラス、フロント バンパーなど)、損傷の説明の 3 つのフィールドに分類します。 将来的には、どのマルチモーダル言語モデルも使用できますが (「o1」や「o3」が広く利用できるようになった場合など)、この記事の執筆時点では GPT-4o が使用されています。

シナリオの詳細

EVVIEは、大規模な車両フリートを持つ組織が定期的な点検とメンテナンスを管理するのに役立ちます。 定期点検には時間がかかり、スタッフはより価値のある仕事から注意をそらします。

この負担を軽減し、時間を節約するために、EVVIEは高度なマルチモーダル生成 AIを使用して、車両の損傷を自動的に評価し、記録します。 損傷の各事例を手作業で記録する代わりに、スタッフはEVVIEに写真を提供します。 この 1 枚の画像から、EVVIE は損傷を評価し、車両上の位置を記録し、重大度レベルを決定し、簡単な説明を提供します。

EVVIEは、何千台もの車両を管理するロサンゼルス郡保安官事務所との会話から着想を得ています。 従来、各役員は、シフトを開始する前に、ペン、紙、クリップボードを使用して車両を調査し、損傷を記録し、この情報を上司に提出する必要がありました。 しかし、この定期点検は、差し迫った業務のためにしばしば脇に追いやられ、20分間の煩雑な点検のための時間はほとんどありませんでした。

EVVIEでは、警察官は携帯電話でアプリを開いて車両の写真を撮るだけで済みます。 AIが損傷を文書化し、スーパーバイザーに報告するため、紙ベースのプロセスが不要になります。

考慮事項

これらの考慮事項は、ワークロードの品質を向上させる一連の基本原則である Power Platform Well-Architected の柱を実行します。 詳細については、Microsoft Power Platform Well-Architected を参照してください。

信頼性

EVVIEのアーキテクチャのMicrosoftクラウドベースの各コンポーネントは、優れた信頼性を実現するように設計されており、重要な稼働時間と回復目標を一貫して満たすことを保証します。 この信頼性は、スケーラブルな冗長性によって実現され、堅牢なパフォーマンスと回復力を提供します。

セキュリティ

EVVIEの概念実証ビルドでは、アプリとインターフェイスするAzure FunctionsベースのWeb APIには、セキュリティプロトコルは含まれていません。 一意のAPIエンドポイント(URL)を知っている人なら誰でも、EVVIEのバックエンドサービスにアクセスできる可能性があります。

運用環境の 展開 では、システム インテグレーターが Azure API Management によるキーベースの認証など、標準の認証レイヤーを実装することが不可欠です。 このようなセキュリティ対策により、バックエンドAPIサービスは、EVVIEフロントエンドアプリによって意図されたとおりにのみアクセスされます。

オペレーショナル エクセレンス

概念実証として、EVVIEは、車両の損傷を評価する技術の能力を示すために、架空の要件でゼロから構築されています。 検査プロセスからEVVIEが評価する基準(損傷領域、重大度レベル、説明、損傷を特定できる車両の特定の領域)まで、あらゆる側面は、EVVIEを展開する組織の固有のニーズに合わせてカスタマイズできます。

たとえば、システムインテグレーターは次のことができます。

  • EVVIEが損傷を特定できる車両の特定の領域を調整します。
  • モデルへの指示に使用するシステム プロンプトを調整します。
  • 最小限の写真要件を実装します。

これらの変更により、EVVIEは最適に動作し、組織の特定のニーズに合わせることができます。

パフォーマンス効率

2つの潜在的なボトルネックがEVVIEのスケーラビリティに大きく影響する可能性があります。

  • Azure 関数ベースの API: EVVIE のフロントドアとして、車両の損傷評価のための AI サービスに、Azure 関数アプリが大規模に構成されていることを確認することが重要です。 組織の消費によっては、スケーラビリティを確保するために専用プランへの展開をお勧めする場合があります。

  • Azure OpenAI サービス: 関数アプリが呼び出す Azure OpenAI モデルは、損害の評価とログ記録には不可欠です。 バックエンドの API が依存する Azure OpenAI の展開が常に稼働していることを保証することが重要です。 Azure OpenAI はトークンベースのシステムを使用しているため、EVVIE で使用するモデルが、指定された使用期間に対して高いトークンのクォータを必ず有していることが重要です。

エクスペリエンスの最適化

EVVIEを開発したチームは、スタッフが直感的で簡単に車両を検査し、検査を確認できるように、ユーザーインターフェースとユーザーエクスペリエンスを最適化するために多大な時間と労力を費やしました。

EVVIEの検査アプリはキャンバス アプリで、PowerPointと同様に、シンプルな選択とドラッグのインターフェースで簡単に変更でき、組織のニーズをより適切に満たすことができます。

これらの検査を確認するために管理スタッフに提示されるインターフェイスは、カスタムページを備えたモデル駆動型アプリであり、特定の要件に応じて同様に簡単に変更できます。

責任ある AI

機密性の低いユースケース: EVVIE アプリケーションは非感応の領域で動作するため、バイアスが車両検査に悪影響を及ぼすリスクを大幅に低減します。 車両の損傷評価の性質を考えると、バイアスが結果に影響を与える余地は最小限です。

EVVIE が使用する生成 AI モデル:EVVIE が採用する生成 AI モデルは、あらかじめ定義されたテンプレートに評価を制約する機能を使用します。 この設計により、AI は開発者の指示に従って具体的で事実に基づいた応答を提供するため、創造性が制限され、正確で一貫性のある評価に重点が置かれます。

投稿者

Microsoft がこの記事を管理しています。 この記事を書いたのは、以下の寄稿者です。

作者代表:

  • Tim Hanewich、 Power Platform テクニカル スペシャリスト
  • Kelly Cason、ビジネス アプリケーション テクニカル スペシャリスト

次の手順

デモ ビデオ、機能、アーキテクチャ、ソースコードなどの詳細な説明については、GitHub の EVVIE aka.ms/EVVIE を参照してください。