Guia de início rápido: criar um aplicativo de rastreamento de corpo do Azure Kinect
Começando com o Body Tracking SDK? Este início rápido irá ajudá-lo a começar a trabalhar com o rastreamento corporal! Você pode encontrar mais exemplos neste repositório Azure-Kinect-Sample.
Pré-requisitos
- Configurar o Azure Kinect DK
- Configurar o SDK de rastreamento corporal
- Veja como criar seu primeiro início rápido do aplicativo Kinect do Azure.
- Familiarize-se com as seguintes funções do SDK do Sensor:
- Consulte a documentação sobre as seguintes funções do Body Tracking SDK:
Cabeçalhos
O rastreamento do corpo usa um único cabeçalho, k4abt.h. Inclua este cabeçalho além k4a.hde . Verifique se o compilador de sua escolha está configurado para o SDK do Sensor e o SDK lib include e pastas do Body Tracking. Você também precisa vincular a k4a.lib e k4abt.lib arquivos. A execução do aplicativo requer k4a.dll, k4abt.dll, onnxruntime.dlle dnn_model.onnx estar no caminho de execução dos aplicativos.
#include <k4a/k4a.h>
#include <k4abt.h>
Abra o dispositivo e inicie a câmera
Seu primeiro aplicativo de rastreamento de corpo pressupõe um único dispositivo Kinect do Azure conectado ao PC.
O rastreamento corporal baseia-se no SDK do sensor. Para usar o body tracking, primeiro você precisa abrir e configurar o dispositivo. Use a função k4a_device_open() para abrir o dispositivo e, em seguida, configurá-lo com um objeto k4a_device_configuration_t . Para obter melhores resultados, defina o modo de profundidade como K4A_DEPTH_MODE_NFOV_UNBINNED ou K4A_DEPTH_MODE_WFOV_2X2BINNED. O rastreador de corpo não será executado se o modo de profundidade estiver definido como K4A_DEPTH_MODE_OFF ou K4A_DEPTH_MODE_PASSIVE_IR.
Você pode encontrar mais informações sobre como encontrar e abrir o dispositivo nesta página.
Você pode encontrar mais informações sobre os modos de profundidade do Kinect do Azure nestas páginas: especificação de hardware e enumerações k4a_depth_mode_t .
k4a_device_t device = NULL;
k4a_device_open(0, &device);
// Start camera. Make sure depth camera is enabled.
k4a_device_configuration_t deviceConfig = K4A_DEVICE_CONFIG_INIT_DISABLE_ALL;
deviceConfig.depth_mode = K4A_DEPTH_MODE_NFOV_UNBINNED;
deviceConfig.color_resolution = K4A_COLOR_RESOLUTION_OFF;
k4a_device_start_cameras(device, &deviceConfig);
Criar o rastreador
O primeiro passo para obter resultados de rastreamento corporal é criar um rastreador corporal. Ele precisa da calibração k4a_calibration_t estrutura do sensor. A calibração do sensor pode ser consultada usando a função k4a_device_get_calibration( ).
k4a_calibration_t sensor_calibration;
k4a_device_get_calibration(device, deviceConfig.depth_mode, deviceConfig.color_resolution, &sensor_calibration);
k4abt_tracker_t tracker = NULL;
k4abt_tracker_configuration_t tracker_config = K4ABT_TRACKER_CONFIG_DEFAULT;
k4abt_tracker_create(&sensor_calibration, tracker_config, &tracker);
Obter capturas do dispositivo Kinect do Azure
Você pode encontrar mais informações sobre como recuperar dados de imagem nesta página.
// Capture a depth frame
k4a_capture_t sensor_capture;
k4a_device_get_capture(device, &sensor_capture, TIMEOUT_IN_MS);
Enfileirar a captura e exibir os resultados
O rastreador mantém internamente uma fila de entrada e uma fila de saída para processar de forma assíncrona as capturas do Azure Kinect DK de forma mais eficiente. A próxima etapa é usar a k4abt_tracker_enqueue_capture() função para adicionar uma nova captura à fila de entrada. Use a k4abt_tracker_pop_result() função para exibir um resultado da fila de saída. O valor de tempo limite depende do aplicativo e controla o tempo de espera da fila.
Seu primeiro aplicativo de rastreamento corporal usa o padrão de processamento em tempo real. Consulte obter resultados de rastreamento corporal para obter uma explicação detalhada dos outros padrões.
k4a_wait_result_t queue_capture_result = k4abt_tracker_enqueue_capture(tracker, sensor_capture, K4A_WAIT_INFINITE);
k4a_capture_release(sensor_capture); // Remember to release the sensor capture once you finish using it
if (queue_capture_result == K4A_WAIT_RESULT_FAILED)
{
printf("Error! Adding capture to tracker process queue failed!\n");
break;
}
k4abt_frame_t body_frame = NULL;
k4a_wait_result_t pop_frame_result = k4abt_tracker_pop_result(tracker, &body_frame, K4A_WAIT_INFINITE);
if (pop_frame_result == K4A_WAIT_RESULT_SUCCEEDED)
{
// Successfully popped the body tracking result. Start your processing
...
k4abt_frame_release(body_frame); // Remember to release the body frame once you finish using it
}
Aceda aos dados dos resultados de acompanhamento do corpo
Os resultados de rastreamento corporal para cada captura de sensor são armazenados em uma estrutura k4abt_frame_t estrutura do corpo. Cada quadro de corpo contém três componentes-chave: uma coleção de estruturas de corpo, um mapa de índice de corpo 2D e a captura de entrada.
Seu primeiro aplicativo de rastreamento corporal acessa apenas o número de corpos detetados. Consulte os dados de acesso no quadro do corpo para obter uma explicação detalhada dos dados em um quadro do corpo.
size_t num_bodies = k4abt_frame_get_num_bodies(body_frame);
printf("%zu bodies are detected!\n", num_bodies);
Limpeza
O passo final é desligar o rastreador corporal e liberar o objeto de rastreamento corporal. Você também precisa parar e fechar o dispositivo.
k4abt_tracker_shutdown(tracker);
k4abt_tracker_destroy(tracker);
k4a_device_stop_cameras(device);
k4a_device_close(device);
Fonte completa
#include <stdio.h>
#include <stdlib.h>
#include <k4a/k4a.h>
#include <k4abt.h>
#define VERIFY(result, error) \
if(result != K4A_RESULT_SUCCEEDED) \
{ \
printf("%s \n - (File: %s, Function: %s, Line: %d)\n", error, __FILE__, __FUNCTION__, __LINE__); \
exit(1); \
} \
int main()
{
k4a_device_t device = NULL;
VERIFY(k4a_device_open(0, &device), "Open K4A Device failed!");
// Start camera. Make sure depth camera is enabled.
k4a_device_configuration_t deviceConfig = K4A_DEVICE_CONFIG_INIT_DISABLE_ALL;
deviceConfig.depth_mode = K4A_DEPTH_MODE_NFOV_UNBINNED;
deviceConfig.color_resolution = K4A_COLOR_RESOLUTION_OFF;
VERIFY(k4a_device_start_cameras(device, &deviceConfig), "Start K4A cameras failed!");
k4a_calibration_t sensor_calibration;
VERIFY(k4a_device_get_calibration(device, deviceConfig.depth_mode, deviceConfig.color_resolution, &sensor_calibration),
"Get depth camera calibration failed!");
k4abt_tracker_t tracker = NULL;
k4abt_tracker_configuration_t tracker_config = K4ABT_TRACKER_CONFIG_DEFAULT;
VERIFY(k4abt_tracker_create(&sensor_calibration, tracker_config, &tracker), "Body tracker initialization failed!");
int frame_count = 0;
do
{
k4a_capture_t sensor_capture;
k4a_wait_result_t get_capture_result = k4a_device_get_capture(device, &sensor_capture, K4A_WAIT_INFINITE);
if (get_capture_result == K4A_WAIT_RESULT_SUCCEEDED)
{
frame_count++;
k4a_wait_result_t queue_capture_result = k4abt_tracker_enqueue_capture(tracker, sensor_capture, K4A_WAIT_INFINITE);
k4a_capture_release(sensor_capture); // Remember to release the sensor capture once you finish using it
if (queue_capture_result == K4A_WAIT_RESULT_TIMEOUT)
{
// It should never hit timeout when K4A_WAIT_INFINITE is set.
printf("Error! Add capture to tracker process queue timeout!\n");
break;
}
else if (queue_capture_result == K4A_WAIT_RESULT_FAILED)
{
printf("Error! Add capture to tracker process queue failed!\n");
break;
}
k4abt_frame_t body_frame = NULL;
k4a_wait_result_t pop_frame_result = k4abt_tracker_pop_result(tracker, &body_frame, K4A_WAIT_INFINITE);
if (pop_frame_result == K4A_WAIT_RESULT_SUCCEEDED)
{
// Successfully popped the body tracking result. Start your processing
size_t num_bodies = k4abt_frame_get_num_bodies(body_frame);
printf("%zu bodies are detected!\n", num_bodies);
k4abt_frame_release(body_frame); // Remember to release the body frame once you finish using it
}
else if (pop_frame_result == K4A_WAIT_RESULT_TIMEOUT)
{
// It should never hit timeout when K4A_WAIT_INFINITE is set.
printf("Error! Pop body frame result timeout!\n");
break;
}
else
{
printf("Pop body frame result failed!\n");
break;
}
}
else if (get_capture_result == K4A_WAIT_RESULT_TIMEOUT)
{
// It should never hit time out when K4A_WAIT_INFINITE is set.
printf("Error! Get depth frame time out!\n");
break;
}
else
{
printf("Get depth capture returned error: %d\n", get_capture_result);
break;
}
} while (frame_count < 100);
printf("Finished body tracking processing!\n");
k4abt_tracker_shutdown(tracker);
k4abt_tracker_destroy(tracker);
k4a_device_stop_cameras(device);
k4a_device_close(device);
return 0;
}