Краткое руководство. Создание приложения c отслеживанием тела для Azure Kinect

Статья
06/01/2023

Только начинаете работу с пакетом средств разработки для отслеживания тела? Это краткое руководство поможет вам начать работу с отслеживанием тела. Дополнительные примеры можно найти в репозитории Azure-Kinect-Sample.

Предварительные требования

Настройка Azure Kinect DK
Настройка пакета SDK для отслеживания тела
Пройдите краткое руководство по созданию первого приложения Azure Kinect.
Ознакомьтесь со следующими функциями пакета средств разработки для датчика:
Ознакомьтесь с документацией по следующим функциям пакета средств разработки для отслеживания тела:

Заголовки

Отслеживание тела использует один заголовок: k4abt.h. Добавьте этот заголовок в дополнение к k4a.h. Убедитесь, что выбранный компилятор настроен для использования папок lib и include в пакетах средств разработки для датчика и для отслеживания тела. Кроме того, вам нужны ссылки на файлы k4a.lib и k4abt.lib. Для запуска приложения необходимо, чтобы k4a.dll, k4abt.dll, onnxruntime.dll и dnn_model.onnx находились в пути выполнения приложений.

#include <k4a/k4a.h>
#include <k4abt.h>

Открытие устройства и запуск камеры

В этом стартовом приложении для отслеживания тела предполагается, что к компьютеру подключено одно устройство Kinect Azure.

Отслеживание тела основывается на пакете средств разработки для датчика. Чтобы использовать отслеживание тела, прежде всего откройте и настройте устройство. Используйте функцию k4a_device_open(), чтобы открыть устройство. Затем настройте его с помощью объекта k4a_device_configuration_t. Для получения оптимальных результатов задайте для режима глубины значение K4A_DEPTH_MODE_NFOV_UNBINNED или K4A_DEPTH_MODE_WFOV_2X2BINNED. Средство отслеживания тела не будет работать, если для режима глубины задано значение K4A_DEPTH_MODE_OFF или K4A_DEPTH_MODE_PASSIVE_IR.

Дополнительные сведения о поиске и открытии устройства можно найти на этой странице.

Дополнительные сведения о режимах глубины в Azure Kinect см. на следующих страницах: спецификация оборудования и перечисления k4a_depth_mode_t.

k4a_device_t device = NULL;
k4a_device_open(0, &device);

// Start camera. Make sure depth camera is enabled.
k4a_device_configuration_t deviceConfig = K4A_DEVICE_CONFIG_INIT_DISABLE_ALL;
deviceConfig.depth_mode = K4A_DEPTH_MODE_NFOV_UNBINNED;
deviceConfig.color_resolution = K4A_COLOR_RESOLUTION_OFF;
k4a_device_start_cameras(device, &deviceConfig);

Создание средства отслеживания

Для получения результатов отслеживания тела сначала нужно создать средство отслеживания тела. Ему потребуется структура k4a_calibration_t для калибровки датчика. Калибровку датчика можно запросить с помощью функции k4a_device_get_calibration().

k4a_calibration_t sensor_calibration;
k4a_device_get_calibration(device, deviceConfig.depth_mode, deviceConfig.color_resolution, &sensor_calibration);

k4abt_tracker_t tracker = NULL;
k4abt_tracker_configuration_t tracker_config = K4ABT_TRACKER_CONFIG_DEFAULT;
k4abt_tracker_create(&sensor_calibration, tracker_config, &tracker);

Получение данных захвата от устройства Azure Kinect

Дополнительные сведения о получении изображений см. на этой странице.

// Capture a depth frame
k4a_capture_t sensor_capture;
k4a_device_get_capture(device, &sensor_capture, TIMEOUT_IN_MS);

Помещение захвата в очередь и извлечение результатов

Средство отслеживания поддерживает внутренние очереди ввода и вывода для более эффективной асинхронной обработки захватов Azure Kinect DK. На следующем этапе мы применим функцию k4abt_tracker_enqueue_capture(), чтобы добавить в очередь ввода новый захват. Используйте функцию k4abt_tracker_pop_result(), чтобы извлечь результат из очереди вывода. Значение времени ожидания зависит от конкретного приложения и определяет время ожидания в очереди.

В этом первом приложении отслеживания тела используется шаблон обработки в реальном времени. Подробное описание других шаблонов см. в статье Получение результатов отслеживания тела.

k4a_wait_result_t queue_capture_result = k4abt_tracker_enqueue_capture(tracker, sensor_capture, K4A_WAIT_INFINITE);
k4a_capture_release(sensor_capture); // Remember to release the sensor capture once you finish using it
if (queue_capture_result == K4A_WAIT_RESULT_FAILED)
{
    printf("Error! Adding capture to tracker process queue failed!\n");
    break;
}

k4abt_frame_t body_frame = NULL;
k4a_wait_result_t pop_frame_result = k4abt_tracker_pop_result(tracker, &body_frame, K4A_WAIT_INFINITE);
if (pop_frame_result == K4A_WAIT_RESULT_SUCCEEDED)
{
    // Successfully popped the body tracking result. Start your processing
    ...

    k4abt_frame_release(body_frame); // Remember to release the body frame once you finish using it
}

Доступ к данным результатов отслеживания текста

Результаты отслеживания тела для каждого захвата с датчика хранятся в структуре кадров тела k4abt_frame_t. Каждый кадр тела состоит из трех основных компонентов: коллекция структур тела, двумерная карта индекса тела и входящий захват.

Это первое приложение для отслеживания тела использует только количество обнаруженных тел. Дополнительные сведения о данных в кадре тела см. в статье Получение доступа к данным кадра тела.

size_t num_bodies = k4abt_frame_get_num_bodies(body_frame);
printf("%zu bodies are detected!\n", num_bodies);

Очистка

И на последнем этапе мы завершим работу средства отслеживания тела и освободим объект отслеживания тела. Также вам нужно остановить и закрыть устройство.

k4abt_tracker_shutdown(tracker);
k4abt_tracker_destroy(tracker);
k4a_device_stop_cameras(device);
k4a_device_close(device);

Полный исходный код

#include <stdio.h>
#include <stdlib.h>

#include <k4a/k4a.h>
#include <k4abt.h>

#define VERIFY(result, error)                                                                            \
    if(result != K4A_RESULT_SUCCEEDED)                                                                   \
    {                                                                                                    \
        printf("%s \n - (File: %s, Function: %s, Line: %d)\n", error, __FILE__, __FUNCTION__, __LINE__); \
        exit(1);                                                                                         \
    }                                                                                                    \

int main()
{
    k4a_device_t device = NULL;
    VERIFY(k4a_device_open(0, &device), "Open K4A Device failed!");

    // Start camera. Make sure depth camera is enabled.
    k4a_device_configuration_t deviceConfig = K4A_DEVICE_CONFIG_INIT_DISABLE_ALL;
    deviceConfig.depth_mode = K4A_DEPTH_MODE_NFOV_UNBINNED;
    deviceConfig.color_resolution = K4A_COLOR_RESOLUTION_OFF;
    VERIFY(k4a_device_start_cameras(device, &deviceConfig), "Start K4A cameras failed!");

    k4a_calibration_t sensor_calibration;
    VERIFY(k4a_device_get_calibration(device, deviceConfig.depth_mode, deviceConfig.color_resolution, &sensor_calibration),
        "Get depth camera calibration failed!");

    k4abt_tracker_t tracker = NULL;
    k4abt_tracker_configuration_t tracker_config = K4ABT_TRACKER_CONFIG_DEFAULT;
    VERIFY(k4abt_tracker_create(&sensor_calibration, tracker_config, &tracker), "Body tracker initialization failed!");

    int frame_count = 0;
    do
    {
        k4a_capture_t sensor_capture;
        k4a_wait_result_t get_capture_result = k4a_device_get_capture(device, &sensor_capture, K4A_WAIT_INFINITE);
        if (get_capture_result == K4A_WAIT_RESULT_SUCCEEDED)
        {
            frame_count++;
            k4a_wait_result_t queue_capture_result = k4abt_tracker_enqueue_capture(tracker, sensor_capture, K4A_WAIT_INFINITE);
            k4a_capture_release(sensor_capture); // Remember to release the sensor capture once you finish using it
            if (queue_capture_result == K4A_WAIT_RESULT_TIMEOUT)
            {
                // It should never hit timeout when K4A_WAIT_INFINITE is set.
                printf("Error! Add capture to tracker process queue timeout!\n");
                break;
            }
            else if (queue_capture_result == K4A_WAIT_RESULT_FAILED)
            {
                printf("Error! Add capture to tracker process queue failed!\n");
                break;
            }

            k4abt_frame_t body_frame = NULL;
            k4a_wait_result_t pop_frame_result = k4abt_tracker_pop_result(tracker, &body_frame, K4A_WAIT_INFINITE);
            if (pop_frame_result == K4A_WAIT_RESULT_SUCCEEDED)
            {
                // Successfully popped the body tracking result. Start your processing

                size_t num_bodies = k4abt_frame_get_num_bodies(body_frame);
                printf("%zu bodies are detected!\n", num_bodies);

                k4abt_frame_release(body_frame); // Remember to release the body frame once you finish using it
            }
            else if (pop_frame_result == K4A_WAIT_RESULT_TIMEOUT)
            {
                //  It should never hit timeout when K4A_WAIT_INFINITE is set.
                printf("Error! Pop body frame result timeout!\n");
                break;
            }
            else
            {
                printf("Pop body frame result failed!\n");
                break;
            }
        }
        else if (get_capture_result == K4A_WAIT_RESULT_TIMEOUT)
        {
            // It should never hit time out when K4A_WAIT_INFINITE is set.
            printf("Error! Get depth frame time out!\n");
            break;
        }
        else
        {
            printf("Get depth capture returned error: %d\n", get_capture_result);
            break;
        }

    } while (frame_count < 100);

    printf("Finished body tracking processing!\n");

    k4abt_tracker_shutdown(tracker);
    k4abt_tracker_destroy(tracker);
    k4a_device_stop_cameras(device);
    k4a_device_close(device);

    return 0;
}

Дальнейшие действия

Получение результатов отслеживания тела

Поделиться через