Революция в техосмотре автомобилей с EVVIE

Enterprise Visual Vehicle Inspection Engine (EVVIE) использует искусственный интеллект и Microsoft Power Platform, чтобы революционизировать процесс проверки транспортных средств. Автоматизируя проверки, EVVIE экономит время и повышает точность, что делает его бесценным инструментом для организаций, управляющих большими автопарками. В этой статье представлен обзор архитектуры, рабочего процесса и ключевых компонентов EVVIE, а также представление о том, как это инновационное решение может оптимизировать осмотр и техническое обслуживание транспортных средств.

Для демонстрации и получения дополнительной информации об EVVIE посетите aka.ms/EVVIE.

Совет

В этой статье описывается идея решения. Это руководство может быть использовано облачным архитектором для визуализации основных компонентов типичной реализации этой архитектуры. Используйте эту статью в качестве отправной точки для разработки хорошо продуманного решения, соответствующего конкретным требованиям рабочей нагрузки.

Схема архитектуры

Рабочий процесс

EVVIE использует уникальное сочетание ресурсов Power Platform и Microsoft Azure для автоматизации процесса проверки транспортных средств с помощью передовых моделей искусственного интеллекта. На высоком уровне внутренний процесс EVVIE выглядит следующим образом:

1. Приложение Power Apps на основе холста служит интерфейсом, позволяющим пользователям собирать фотографии повреждений транспортных средств в рамках осмотра транспортного средства. Изображения кодируются в виде строки base64.

2. Приложение использует пользовательский соединитель для предоставления захваченных изображений пользовательскому API-интерфейсу, приложению функции Azure на основе .NET.

3. Приложение-функция получает и анализирует вызов HTTP API из приложения, извлекает фотографии и взаимодействует с мультимодальной языковой моделью в службе Azure OpenAI. Модель просматривает фотографии и классифицирует повреждения по трем полям: часть автомобиля, степень серьезности и общее описание повреждения.

4. Инспекционное приложение получает ответ от функционального приложения и представляет созданную ИИ оценку ущерба пользователю, который может принять, изменить или отклонить оценку. Пользователь завершает оценку и отправляет ее для данного транспортного средства. Оценка надежно хранится в хранилище Dataverse.

5. Приложение на основе модели с настраиваемыми страницами позволяет администраторам просматривать данные осмотра транспортных средств.

Компоненты

Microsoft Dataverse: все данные, собранные в ходе осмотра транспортных средств, такие как фотографии повреждений, степень серьезности и описания, хранятся в Dataverse.

Power Apps: сотрудники на местах, которые проверяют транспортные средства, и административный персонал, который проверяет проверки, используют приложения, созданные в Power Apps, платформе Microsoft для разработки приложений без программирования/с минимумом программирования.

Пользовательский соединитель: пользовательский соединитель позволяет мобильному приложению EVVIE для осмотра транспортных средств (используемому персоналом, проверяющим транспортные средства в полевых условиях) вызывать серверную службу, которая использует передовой искусственный интеллект для оценки предоставленных фотографий.

Функции Azure: функции Azure, управляемая событиями платформа бессерверных вычислений Microsoft, действует как веб-API, который приложение EVVIE может вызывать с помощью HTTP-запроса через пользовательский соединитель. Приложение-функция Azure получает изображения через вызов API, использует расширенную модель искусственного интеллекта для оценки ущерба и возвращает оценку приложению.

Сервис Azure OpenAI: EVVIE использует мультимодальную модель искусственного интеллекта для оценки повреждений на предоставленных изображениях и классификации их по трем полям: уровень серьезности (1-5), область автомобиля (например, двери, лобовое стекло, передний бампер) и описание повреждения. В то время как любая будущая мультимодальная языковая модель может быть использована (то есть "o1" или "o3", как только они станут широко доступны), GPT-4o используется на момент написания этой статьи.

Подробности сценария

EVVIE помогает организациям с большими автопарками управлять регулярными проверками и техническим обслуживанием. Плановые проверки отнимают время и отвлекают персонал от более важной работы.

Чтобы облегчить это бремя и сэкономить время, EVVIE использует передовые мультимодальные генеративный ИИ для автоматической оценки и регистрации повреждений транспортных средств. Вместо того, чтобы вручную документировать каждый случай повреждения, сотрудники предоставляют EVVIE фотографию. По этому единственному изображению EVVIE оценивает ущерб, регистрирует его местоположение на транспортном средстве, определяет уровень серьезности и предоставляет краткое описание.

EVVIE было разработано на основе разговоров с департаментом шерифа округа Лос-Анджелес, который управляет парком из тысяч автомобилей. Традиционно, каждый офицер должен был осмотреть свой автомобиль и составить отчет с помощью ручки, бумаги и планшета, прежде чем начать свою смену, задокументировать любые повреждения и предоставить эту информацию своему руководителю. Тем не менее, эта рутинная проверка часто отходила на второй план из-за неотложных обязанностей, оставляя мало времени для громоздкой 20-минутной проверки.

С EVVIE полицейским нужно только открыть приложение на своем телефоне и сфотографировать автомобиль. Искусственный интеллект документирует ущерб и сообщает о нем руководителю, устраняя необходимость в бумажных процессах.

Рекомендации

Эти соображения реализуют основы Power Platform Well-Architected — набора руководящих принципов, повышающих качество рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Power Platform Well-Architected.

Надежность

Каждый облачный компонент Microsoft в архитектуре EVVIE разработан для обеспечения исключительной надежности, гарантируя, что он стабильно соответствует критически важным целевым показателям по времени безотказной работы и восстановлению. Такая надежность достигается за счет масштабируемого резервирования, обеспечивающего высокую производительность и отказоустойчивость.

Группа безопасности

Для проверки концепции EVVIE веб-API на основе Azure Functions, который взаимодействует с приложением, не включает никаких протоколов безопасности. Любой, кто знает об уникальных конечных точках API (URL), потенциально может получить доступ к серверной службе EVVIE.

В производственном развертывании системному интегратору важно реализовать стандартный уровень аутентификации, такой как проверка подлинности на основе ключей с помощью Azure API Management. Такие меры безопасности гарантируют, что доступ к серверной службе API осуществляется только по назначению клиентского приложения EVVIE.

Операционная эффективность

В качестве доказательства концепции EVVIE создается с нуля с фиктивными требованиями, чтобы продемонстрировать способность технологии оценивать повреждения транспортных средств. Каждый аспект, начиная с процесса проверки и заканчивая критериями, которые оценивает EVVIE — область повреждения, уровень серьезности, описание и конкретные области автомобиля, где можно точно определить повреждения, — может и должен быть настроен в соответствии с уникальными потребностями любой организации, использующей EVVIE.

Например, системный интегратор может:

• Настройте конкретные области автомобиля, где EVVIE может идентифицировать повреждения.
• Уточните системный запрос, используемый для инструктажа модели.
• Реализуйте минимальное количество требований к фотографиям.

Эти модификации гарантируют, что EVVIE работает оптимально и соответствует конкретным потребностям организации.

Эффективные процессы

Два потенциальных узких места могут существенно повлиять на масштабируемость EVVIE:

• API на базе функций Azure: поскольку EVVIE является входной дверью к службе искусственного интеллекта для оценки повреждений транспортных средств, очень важно убедиться, что приложение функций Azure настроено для массового масштабирования. В зависимости от потребления организацией для обеспечения масштабируемости может быть рекомендовано выполнить развертывание в выделенном плане.

• Служба Azure OpenAI: модель Azure OpenAI, вызываемая приложением-функцией, необходима для оценки и регистрации повреждений. Очень важно убедиться, что развертывание Azure OpenAI, на которое опирается серверный API-интерфейс, всегда работоспособно. Поскольку Azure OpenAI использует систему на основе токенов, важно гарантировать, что модель, используемая в EVVIE, имеет высокую квоту токенов на данный период использования.

Оптимизация взаимодействия

Команда, разработавшая EVVIE, потратила много времени и усилий на оптимизацию пользовательского интерфейса и пользовательского опыта, чтобы сделать интуитивно понятным и простым для персонала осмотр транспортных средств и просмотр проверок.

Приложение EVVIE для инспекции — это приложение на основе холста, который можно легко изменить с помощью простого интерфейса выбора и перетаскивания, похожего на PowerPoint, чтобы лучше соответствовать потребностям организации.

Интерфейс, предоставляемый административному персоналу для ознакомления с этими инспекциями, представляет собой приложение на основе модели с настраиваемой страницей, которую также легко изменить в соответствии с конкретными требованиями.

Ответственное применение ИИ

Нечувствительный вариант использования: приложение EVVIE работает в нечувствительной области, что значительно снижает риск предвзятости, негативно влияющей на техосмотр транспортных средств. Учитывая характер оценки повреждений транспортного средства, вероятность того, что предвзятость может повлиять на результаты, минимальна.

Контролируемый генеративный ИИ: генеративные модели ИИ, используемые EVVIE, используют функции, которые ограничивают их оценки предопределенными шаблонами. Такая структура гарантирует, что ИИ будет давать конкретные, основанные на фактах ответы в соответствии с указаниями разработчика, ограничивая творчество и сосредотачиваясь на точных, последовательных оценках.

Соавторы

Microsoft поддерживает эту статью. Эту статью написали следующие участники.

Основные авторы:

• Тим Ханевич (Tim Hanewich), технический специалист по Power Platform
• Келли Кейсон (Kelly Cason), технический специалист по бизнес-приложениям

Следующие шаги

Демонстрационное видео, дальнейшее объяснение функциональности, архитектуры, исходного кода и многого другого можно найти на сайте EVVIE на GitHub по адресу aka.ms/EVVIE.