Обнаружение содержимого, связанного с определенными предметными областями
Помимо тегов и высокоуровневой классификации, Azure AI Vision также поддерживает дальнейший анализ конкретного домена с помощью моделей, которые были обучены на специализированных данных.
Существует два способа использования моделей, относящихся к домену: сами по себе (область анализ) или в качестве улучшения функции классификации изображений.
Ограниченный анализ
Вы можете анализировать изображения с помощью только выбранной модели для предметной области путем вызова API Models/<model>/Analyze.
Ниже приведен пример ответа JSON, возвращаемого API models/celebrities/analysis для следующего изображения.
{
"result": {
"celebrities": [{
"faceRectangle": {
"top": 391,
"left": 318,
"width": 184,
"height": 184
},
"name": "Satya Nadella",
"confidence": 0.99999856948852539
}]
},
"requestId": "8217262a-1a90-4498-a242-68376a4b956b",
"metadata": {
"width": 800,
"height": 1200,
"format": "Jpeg"
}
}
Расширенный анализ классификации
Вы также можете использовать модели для предметной области для дополнения общего анализа образа. Вы можете сделать это как часть высокоуровневой категоризации, определяя модели для предметной области в параметре details вызова API Analyze.
При вызове этого метода сначала вызывается классификатор таксономии на 86 категориях. Если какая-либо из обнаруженных категорий имеет соответствующую модель для предметной области, образ также передается с помощью этой модели и добавляются результаты.
В следующем ответе JSON показано, как предметно-ориентированный анализ можно включить в качестве узла detail в расширенный анализ классификации.
"categories":[
{
"name":"abstract_",
"score":0.00390625
},
{
"name":"people_",
"score":0.83984375,
"detail":{
"celebrities":[
{
"name":"Satya Nadella",
"faceRectangle":{
"left":597,
"top":162,
"width":248,
"height":248
},
"confidence":0.999028444
}
],
"landmarks":[
{
"name":"Forbidden City",
"confidence":0.9978346
}
]
}
}
]
Список моделей предметных областей
В настоящее время Azure AI Vision поддерживает следующие модели, относящиеся к домену:
| Имя | Описание |
|---|---|
| celebrities | Распознавание знаменитостей; поддерживается для изображений, которые были классифицированы как относящиеся к категории people_ |
| landmarks | Распознавание ориентиров; поддерживается для изображений, которые были классифицированы как относящиеся к категории outdoor_ или building_ |
Вызов API Models вернет информацию вместе с категориями, к которым может применяться каждая модель.
{
"models":[
{
"name":"celebrities",
"categories":[
"people_",
"人_",
"pessoas_",
"gente_"
]
},
{
"name":"landmarks",
"categories":[
"outdoor_",
"户外_",
"屋外_",
"aoarlivre_",
"alairelibre_",
"building_",
"建筑_",
"建物_",
"edifício_"
]
}
]
}
Использование API
Эта функция доступна через API анализа образа 3.2. Вы можете вызывать этот API с помощью собственного пакета SDK или с помощью вызовов REST. Включите Celebrities или Landmarks в параметр запроса details. Затем, получив полный ответ JSON, просто выполните анализ строки для поиска содержимого раздела "details".