Sdílet prostřednictvím

Rychlý start: Sestavení aplikace pro sledování těla Azure Kinect

Začínáte s Body Tracking SDK? Tento rychlý start vás připraví na sledování těla! Další příklady najdete v tomto úložišti Azure –Kinect-Sample.

Požadavky

Hlavičky

Sledování těla používá jednu hlavičku, k4abt.h. Kromě záhlaví k4a.h zahrňte také toto záhlaví. Ujistěte se, že je váš kompilátor nastavený pro sadu SDK senzoru i pro sadu SDK pro sledování těla a složky lib a include. Musíte také propojit soubory k4a.lib a k4abt.lib. Spuštění aplikace vyžaduje, aby k4a.dll, k4abt.dll, onnxruntime.dll a dnn_model.onnx byly v cestě pro spuštění aplikace.

#include <k4a/k4a.h>
#include <k4abt.h>

Otevření zařízení a spuštění fotoaparátu

Vaše první aplikace pro sledování těla předpokládá, že k počítači je připojené jedno zařízení Azure Kinect.

Sledování těla vychází ze sady SENSOR SDK. Pokud chcete použít sledování těla, musíte nejprve otevřít a nakonfigurovat zařízení. Pomocí funkce k4a_device_open() otevřete zařízení a pak ho nakonfigurujte s objektem k4a_device_configuration_t . Nejlepších výsledků dosáhnete, když nastavíte režim hloubky na K4A_DEPTH_MODE_NFOV_UNBINNED hodnotu nebo K4A_DEPTH_MODE_WFOV_2X2BINNED. Sledování těla se nespustí, pokud je režim hloubky nastaven na K4A_DEPTH_MODE_OFF nebo K4A_DEPTH_MODE_PASSIVE_IR.

Další informace o hledání a otevření zařízení najdete na této stránce.

Další informace o režimech hloubky Azure Kinect najdete na těchto stránkách: specifikace hardwaru a k4a_depth_mode_t výčty.

k4a_device_t device = NULL;
k4a_device_open(0, &device);

// Start camera. Make sure depth camera is enabled.
k4a_device_configuration_t deviceConfig = K4A_DEVICE_CONFIG_INIT_DISABLE_ALL;
deviceConfig.depth_mode = K4A_DEPTH_MODE_NFOV_UNBINNED;
deviceConfig.color_resolution = K4A_COLOR_RESOLUTION_OFF;
k4a_device_start_cameras(device, &deviceConfig);

Vytvořit sledovač

Prvním krokem při získávání výsledků sledování těla je vytvoření sledujícího těla. Je potřeba struktura „k4a_calibration_t“ pro kalibraci snímače. Kalibrace snímačů se dá dotazovat pomocí funkce k4a_device_get_calibration().

k4a_calibration_t sensor_calibration;
k4a_device_get_calibration(device, deviceConfig.depth_mode, deviceConfig.color_resolution, &sensor_calibration);

k4abt_tracker_t tracker = NULL;
k4abt_tracker_configuration_t tracker_config = K4ABT_TRACKER_CONFIG_DEFAULT;
k4abt_tracker_create(&sensor_calibration, tracker_config, &tracker);

Získejte záznamy ze zařízení Azure Kinect

Další informace o načítání dat obrázků najdete na této stránce.

// Capture a depth frame
k4a_capture_t sensor_capture;
k4a_device_get_capture(device, &sensor_capture, TIMEOUT_IN_MS);

Vytvoření fronty zachytávání a zobrazení výsledků

Tracker interně udržuje vstupní a výstupní frontu pro efektivnější asynchronní zpracování záznamů z Azure Kinect DK. Dalším krokem je použití k4abt_tracker_enqueue_capture() funkce k přidání nového záznamu do vstupní fronty. Použijte funkci k4abt_tracker_pop_result() k odebrání výsledku z výstupní fronty. Hodnota časového limitu závisí na aplikaci a řídí dobu čekání ve frontě.

Vaše první aplikace pro sledování těla používá vzor zpracování v reálném čase. Podrobné vysvětlení ostatních vzorů najdete v části výsledky sledování těla.

k4a_wait_result_t queue_capture_result = k4abt_tracker_enqueue_capture(tracker, sensor_capture, K4A_WAIT_INFINITE);
k4a_capture_release(sensor_capture); // Remember to release the sensor capture once you finish using it
if (queue_capture_result == K4A_WAIT_RESULT_FAILED)
{
    printf("Error! Adding capture to tracker process queue failed!\n");
    break;
}

k4abt_frame_t body_frame = NULL;
k4a_wait_result_t pop_frame_result = k4abt_tracker_pop_result(tracker, &body_frame, K4A_WAIT_INFINITE);
if (pop_frame_result == K4A_WAIT_RESULT_SUCCEEDED)
{
    // Successfully popped the body tracking result. Start your processing
    ...

    k4abt_frame_release(body_frame); // Remember to release the body frame once you finish using it
}

Přístup k datům výsledků sledování těla

Výsledky sledování těla pro každý záznam senzoru jsou uloženy ve struktuře rámečku těla k4abt_frame_t. Každý rámec těla obsahuje tři klíčové komponenty: kolekci struktur těla, 2D mapu indexu těla a vstupní zachytávání.

Vaše první aplikace pro sledování těla přistupuje pouze k počtu zjištěných těl. Podrobný popis dat ve formátu těla naleznete v části access data in body frame.

size_t num_bodies = k4abt_frame_get_num_bodies(body_frame);
printf("%zu bodies are detected!\n", num_bodies);

Vyčištění

Posledním krokem je vypnutí sledování těla a uvolnění objektu sledování těla. Musíte také zařízení zastavit a zavřít.

k4abt_tracker_shutdown(tracker);
k4abt_tracker_destroy(tracker);
k4a_device_stop_cameras(device);
k4a_device_close(device);

Úplný zdroj

#include <stdio.h>
#include <stdlib.h>

#include <k4a/k4a.h>
#include <k4abt.h>

#define VERIFY(result, error)                                                                            \
    if(result != K4A_RESULT_SUCCEEDED)                                                                   \
    {                                                                                                    \
        printf("%s \n - (File: %s, Function: %s, Line: %d)\n", error, __FILE__, __FUNCTION__, __LINE__); \
        exit(1);                                                                                         \
    }                                                                                                    \

int main()
{
    k4a_device_t device = NULL;
    VERIFY(k4a_device_open(0, &device), "Open K4A Device failed!");

    // Start camera. Make sure depth camera is enabled.
    k4a_device_configuration_t deviceConfig = K4A_DEVICE_CONFIG_INIT_DISABLE_ALL;
    deviceConfig.depth_mode = K4A_DEPTH_MODE_NFOV_UNBINNED;
    deviceConfig.color_resolution = K4A_COLOR_RESOLUTION_OFF;
    VERIFY(k4a_device_start_cameras(device, &deviceConfig), "Start K4A cameras failed!");

    k4a_calibration_t sensor_calibration;
    VERIFY(k4a_device_get_calibration(device, deviceConfig.depth_mode, deviceConfig.color_resolution, &sensor_calibration),
        "Get depth camera calibration failed!");

    k4abt_tracker_t tracker = NULL;
    k4abt_tracker_configuration_t tracker_config = K4ABT_TRACKER_CONFIG_DEFAULT;
    VERIFY(k4abt_tracker_create(&sensor_calibration, tracker_config, &tracker), "Body tracker initialization failed!");

    int frame_count = 0;
    do
    {
        k4a_capture_t sensor_capture;
        k4a_wait_result_t get_capture_result = k4a_device_get_capture(device, &sensor_capture, K4A_WAIT_INFINITE);
        if (get_capture_result == K4A_WAIT_RESULT_SUCCEEDED)
        {
            frame_count++;
            k4a_wait_result_t queue_capture_result = k4abt_tracker_enqueue_capture(tracker, sensor_capture, K4A_WAIT_INFINITE);
            k4a_capture_release(sensor_capture); // Remember to release the sensor capture once you finish using it
            if (queue_capture_result == K4A_WAIT_RESULT_TIMEOUT)
            {
                // It should never hit timeout when K4A_WAIT_INFINITE is set.
                printf("Error! Add capture to tracker process queue timeout!\n");
                break;
            }
            else if (queue_capture_result == K4A_WAIT_RESULT_FAILED)
            {
                printf("Error! Add capture to tracker process queue failed!\n");
                break;
            }

            k4abt_frame_t body_frame = NULL;
            k4a_wait_result_t pop_frame_result = k4abt_tracker_pop_result(tracker, &body_frame, K4A_WAIT_INFINITE);
            if (pop_frame_result == K4A_WAIT_RESULT_SUCCEEDED)
            {
                // Successfully popped the body tracking result. Start your processing

                size_t num_bodies = k4abt_frame_get_num_bodies(body_frame);
                printf("%zu bodies are detected!\n", num_bodies);

                k4abt_frame_release(body_frame); // Remember to release the body frame once you finish using it
            }
            else if (pop_frame_result == K4A_WAIT_RESULT_TIMEOUT)
            {
                //  It should never hit timeout when K4A_WAIT_INFINITE is set.
                printf("Error! Pop body frame result timeout!\n");
                break;
            }
            else
            {
                printf("Pop body frame result failed!\n");
                break;
            }
        }
        else if (get_capture_result == K4A_WAIT_RESULT_TIMEOUT)
        {
            // It should never hit time out when K4A_WAIT_INFINITE is set.
            printf("Error! Get depth frame time out!\n");
            break;
        }
        else
        {
            printf("Get depth capture returned error: %d\n", get_capture_result);
            break;
        }

    } while (frame_count < 100);

    printf("Finished body tracking processing!\n");

    k4abt_tracker_shutdown(tracker);
    k4abt_tracker_destroy(tracker);
    k4a_device_stop_cameras(device);
    k4a_device_close(device);

    return 0;
}

Další kroky

Získání výsledků sledování těla