Rövid útmutató: Azure Kinect body tracking alkalmazás létrehozása
Első lépések a Body Tracking SDK-val? Ez a rövid útmutató segít a testkövetés használatában! További példákat ebben az Azure-Kinect-Sample adattárban talál.
Előfeltételek
- Az Azure Kinect DK beállítása
- A Body Tracking SDK beállítása
- Útmutató az első Azure Kinect-alkalmazás gyorsútmutató létrehozásához.
- Ismerkedjen meg az alábbi Sensor SDK-funkciókkal:
- Tekintse át a következő Body Tracking SDK-függvényekkel kapcsolatos dokumentációt:
Fejlécek
A törzskövetés egyetlen fejlécet használ( k4abt.h). Adja hozzá ezt a fejlécet a következőhöz k4a.h: . Győződjön meg arról, hogy a választott fordító be van állítva az Érzékelő SDK-hoz, valamint a Body Tracking SDK-hoz lib és include a mappákhoz. A és k4abt.lib a fájlra is hivatkoznia k4a.lib kell. Az alkalmazás futtatásához k4a.dll, k4abt.dll, onnxruntime.dllés dnn_model.onnx szükséges, hogy szerepeljen az alkalmazások végrehajtási útvonalán.
#include <k4a/k4a.h>
#include <k4abt.h>
Nyissa meg az eszközt, és indítsa el a kamerát
Az első törzskövető alkalmazás feltételezi, hogy egyetlen Azure Kinect-eszköz csatlakozik a számítógéphez.
A body tracking a Sensor SDK-ra épül. A törzskövetés használatához először meg kell nyitnia és konfigurálnia kell az eszközt. Az k4a_device_open() függvénnyel nyissa meg az eszközt, majd konfigurálja egy k4a_device_configuration_t objektummal. A legjobb eredmény érdekében állítsa a mélységi módot a vagy K4A_DEPTH_MODE_WFOV_2X2BINNEDértékreK4A_DEPTH_MODE_NFOV_UNBINNED. A törzskövető nem fog futni, ha a mélységi mód vagy értékre K4A_DEPTH_MODE_OFFK4A_DEPTH_MODE_PASSIVE_IRvan állítva.
Az eszköz megkereséséről és megnyitásáról ezen az oldalon talál további információt.
Az Azure Kinect mélységi módjairól az alábbi oldalakon talál további információt: hardverspecifikációk és k4a_depth_mode_t enumerálások.
k4a_device_t device = NULL;
k4a_device_open(0, &device);
// Start camera. Make sure depth camera is enabled.
k4a_device_configuration_t deviceConfig = K4A_DEVICE_CONFIG_INIT_DISABLE_ALL;
deviceConfig.depth_mode = K4A_DEPTH_MODE_NFOV_UNBINNED;
deviceConfig.color_resolution = K4A_COLOR_RESOLUTION_OFF;
k4a_device_start_cameras(device, &deviceConfig);
A nyomkövető létrehozása
A törzskövetési eredmények lekérésének első lépése egy törzskövető létrehozása. Szüksége van az érzékelő kalibrálására k4a_calibration_t szerkezetre. Az érzékelő kalibrálása a k4a_device_get_calibration() függvénnyel kérdezhető le.
k4a_calibration_t sensor_calibration;
k4a_device_get_calibration(device, deviceConfig.depth_mode, deviceConfig.color_resolution, &sensor_calibration);
k4abt_tracker_t tracker = NULL;
k4abt_tracker_configuration_t tracker_config = K4ABT_TRACKER_CONFIG_DEFAULT;
k4abt_tracker_create(&sensor_calibration, tracker_config, &tracker);
Rögzítések lekérése az Azure Kinect-eszközről
Ezen a lapon további információt talál a képadatok lekéréséről.
// Capture a depth frame
k4a_capture_t sensor_capture;
k4a_device_get_capture(device, &sensor_capture, TIMEOUT_IN_MS);
A rögzítés lekérése és az eredmények megjelenítése
A nyomkövető belsőleg egy bemeneti és egy kimeneti üzenetsort tart fenn az Azure Kinect DK hatékonyabb aszinkron feldolgozásához. A következő lépés az, hogy a k4abt_tracker_enqueue_capture() függvénnyel új rögzítést ad hozzá a bemeneti üzenetsorhoz. A függvény használatával k4abt_tracker_pop_result() a kimeneti üzenetsorból származó eredményt ugrathatja ki. Az időtúllépési érték az alkalmazástól függ, és szabályozza a várakozási várakozási időt.
Az első törzskövető alkalmazás a valós idejű feldolgozási mintát használja. A többi minta részletes magyarázatáért tekintse meg a testkövetési eredmények lekérését ismertető témakört.
k4a_wait_result_t queue_capture_result = k4abt_tracker_enqueue_capture(tracker, sensor_capture, K4A_WAIT_INFINITE);
k4a_capture_release(sensor_capture); // Remember to release the sensor capture once you finish using it
if (queue_capture_result == K4A_WAIT_RESULT_FAILED)
{
printf("Error! Adding capture to tracker process queue failed!\n");
break;
}
k4abt_frame_t body_frame = NULL;
k4a_wait_result_t pop_frame_result = k4abt_tracker_pop_result(tracker, &body_frame, K4A_WAIT_INFINITE);
if (pop_frame_result == K4A_WAIT_RESULT_SUCCEEDED)
{
// Successfully popped the body tracking result. Start your processing
...
k4abt_frame_release(body_frame); // Remember to release the body frame once you finish using it
}
A törzskövetés eredményadatainak elérése
Az egyes érzékelőrögzítések törzskövetési eredményei egy testkeretben k4abt_frame_t szerkezetben vannak tárolva. Minden törzskeret három fő összetevőt tartalmaz: a törzsszerkezetek gyűjteményét, egy 2D-s törzsindextérképet és a bemeneti rögzítést.
Az első törzskövető alkalmazás csak az észlelt testek számát éri el. A törzskeretben lévő adatok részletes magyarázatáért tekintse meg a törzskeretben lévő adatokhoz való hozzáférést ismertető részt.
size_t num_bodies = k4abt_frame_get_num_bodies(body_frame);
printf("%zu bodies are detected!\n", num_bodies);
A fölöslegessé vált elemek eltávolítása
Az utolsó lépés a törzskövető leállítása és a törzskövetési objektum felszabadítása. Le kell állítania és be kell zárnia az eszközt.
k4abt_tracker_shutdown(tracker);
k4abt_tracker_destroy(tracker);
k4a_device_stop_cameras(device);
k4a_device_close(device);
Teljes forrás
#include <stdio.h>
#include <stdlib.h>
#include <k4a/k4a.h>
#include <k4abt.h>
#define VERIFY(result, error) \
if(result != K4A_RESULT_SUCCEEDED) \
{ \
printf("%s \n - (File: %s, Function: %s, Line: %d)\n", error, __FILE__, __FUNCTION__, __LINE__); \
exit(1); \
} \
int main()
{
k4a_device_t device = NULL;
VERIFY(k4a_device_open(0, &device), "Open K4A Device failed!");
// Start camera. Make sure depth camera is enabled.
k4a_device_configuration_t deviceConfig = K4A_DEVICE_CONFIG_INIT_DISABLE_ALL;
deviceConfig.depth_mode = K4A_DEPTH_MODE_NFOV_UNBINNED;
deviceConfig.color_resolution = K4A_COLOR_RESOLUTION_OFF;
VERIFY(k4a_device_start_cameras(device, &deviceConfig), "Start K4A cameras failed!");
k4a_calibration_t sensor_calibration;
VERIFY(k4a_device_get_calibration(device, deviceConfig.depth_mode, deviceConfig.color_resolution, &sensor_calibration),
"Get depth camera calibration failed!");
k4abt_tracker_t tracker = NULL;
k4abt_tracker_configuration_t tracker_config = K4ABT_TRACKER_CONFIG_DEFAULT;
VERIFY(k4abt_tracker_create(&sensor_calibration, tracker_config, &tracker), "Body tracker initialization failed!");
int frame_count = 0;
do
{
k4a_capture_t sensor_capture;
k4a_wait_result_t get_capture_result = k4a_device_get_capture(device, &sensor_capture, K4A_WAIT_INFINITE);
if (get_capture_result == K4A_WAIT_RESULT_SUCCEEDED)
{
frame_count++;
k4a_wait_result_t queue_capture_result = k4abt_tracker_enqueue_capture(tracker, sensor_capture, K4A_WAIT_INFINITE);
k4a_capture_release(sensor_capture); // Remember to release the sensor capture once you finish using it
if (queue_capture_result == K4A_WAIT_RESULT_TIMEOUT)
{
// It should never hit timeout when K4A_WAIT_INFINITE is set.
printf("Error! Add capture to tracker process queue timeout!\n");
break;
}
else if (queue_capture_result == K4A_WAIT_RESULT_FAILED)
{
printf("Error! Add capture to tracker process queue failed!\n");
break;
}
k4abt_frame_t body_frame = NULL;
k4a_wait_result_t pop_frame_result = k4abt_tracker_pop_result(tracker, &body_frame, K4A_WAIT_INFINITE);
if (pop_frame_result == K4A_WAIT_RESULT_SUCCEEDED)
{
// Successfully popped the body tracking result. Start your processing
size_t num_bodies = k4abt_frame_get_num_bodies(body_frame);
printf("%zu bodies are detected!\n", num_bodies);
k4abt_frame_release(body_frame); // Remember to release the body frame once you finish using it
}
else if (pop_frame_result == K4A_WAIT_RESULT_TIMEOUT)
{
// It should never hit timeout when K4A_WAIT_INFINITE is set.
printf("Error! Pop body frame result timeout!\n");
break;
}
else
{
printf("Pop body frame result failed!\n");
break;
}
}
else if (get_capture_result == K4A_WAIT_RESULT_TIMEOUT)
{
// It should never hit time out when K4A_WAIT_INFINITE is set.
printf("Error! Get depth frame time out!\n");
break;
}
else
{
printf("Get depth capture returned error: %d\n", get_capture_result);
break;
}
} while (frame_count < 100);
printf("Finished body tracking processing!\n");
k4abt_tracker_shutdown(tracker);
k4abt_tracker_destroy(tracker);
k4a_device_stop_cameras(device);
k4a_device_close(device);
return 0;
}