偵測影像或影片中的臉部
本主題說明如何使用 FaceDetector 來偵測影像中的臉部。 FaceTracker 經過最佳化，可在一系列視訊畫面中追蹤一段時間內的臉部。
有關使用 FaceDetectionEffect 追蹤臉部的替代方法，請參閱媒體擷取的場景分析。
本文中的程式碼改編自基本臉部偵測和基本臉部追蹤範例。 您可以下載這些範例以查看內容中使用的程式碼，或使用該範例做為您自己的應用程式的起點。
偵測單一影像中的臉部
FaceDetector 類別可讓您偵測靜止影像中的一或多個臉部。
此範例使用來自下列命名空間的 API。
using Windows.Storage;
using Windows.Storage.Pickers;
using Windows.Storage.Streams;
using Windows.Graphics.Imaging;
using Windows.Media.FaceAnalysis;
using Windows.UI.Xaml.Media.Imaging;
using Windows.UI.Xaml.Shapes;
為 FaceDetector 物件和將在影像中偵測到的 DetectedFace 物件清單宣告一個類別成員變數。
FaceDetector faceDetector;
IList<DetectedFace> detectedFaces;
臉部偵測在 SoftwareBitmap 物件上運作，該物件可以透過多種方式建立。 在此範例中，FileOpenPicker 用於允許使用者選擇將在其中偵測臉部的影像檔案。 如需使用軟體點陣圖的詳細資訊，請參閱映像處理。
FileOpenPicker photoPicker = new FileOpenPicker();
photoPicker.ViewMode = PickerViewMode.Thumbnail;
photoPicker.SuggestedStartLocation = PickerLocationId.PicturesLibrary;
photoPicker.FileTypeFilter.Add(".jpg");
photoPicker.FileTypeFilter.Add(".jpeg");
photoPicker.FileTypeFilter.Add(".png");
photoPicker.FileTypeFilter.Add(".bmp");
StorageFile photoFile = await photoPicker.PickSingleFileAsync();
if (photoFile == null)
{
return;
}
使用 BitmapDecoder 類別將影像檔案解碼為 SoftwareBitmap。 臉部偵測程式使用較小的影像更快速，因此您可能會想要將來源影像縮減為較小的大小。 這可以在解碼期間執行，方法是建立 BitmapTransform 物件、設定 ScaledWidth 和 ScaledHeight 屬性並將其傳入對 GetSoftwareBitmapAsync 的呼叫中，後者傳回已解碼和縮放的 SoftwareBitmap。
IRandomAccessStream fileStream = await photoFile.OpenAsync(FileAccessMode.Read);
BitmapDecoder decoder = await BitmapDecoder.CreateAsync(fileStream);
BitmapTransform transform = new BitmapTransform();
const float sourceImageHeightLimit = 1280;
if (decoder.PixelHeight > sourceImageHeightLimit)
{
float scalingFactor = (float)sourceImageHeightLimit / (float)decoder.PixelHeight;
transform.ScaledWidth = (uint)Math.Floor(decoder.PixelWidth * scalingFactor);
transform.ScaledHeight = (uint)Math.Floor(decoder.PixelHeight * scalingFactor);
}
SoftwareBitmap sourceBitmap = await decoder.GetSoftwareBitmapAsync(decoder.BitmapPixelFormat, BitmapAlphaMode.Premultiplied, transform, ExifOrientationMode.IgnoreExifOrientation, ColorManagementMode.DoNotColorManage);
在目前的版本中，FaceDetector 類別僅支援 Gray8 或 Nv12 中的影像。 SoftwareBitmap 類別提供 Convert 方法，該方法將點陣圖從一種格式轉換為另一種格式。 如果來源影像還不是該格式，則本範例會將來源影像轉換成 Gray8 像素格式。 如果需要，您可以使用 GetSupportedBitmapPixelFormats 和 IsBitmapPixelFormatSupported 方法在執行階段決定是否支援像素格式，以防支援的格式集在未來版本中擴充。
// Use FaceDetector.GetSupportedBitmapPixelFormats and IsBitmapPixelFormatSupported to dynamically
// determine supported formats
const BitmapPixelFormat faceDetectionPixelFormat = BitmapPixelFormat.Gray8;
SoftwareBitmap convertedBitmap;
if (sourceBitmap.BitmapPixelFormat != faceDetectionPixelFormat)
{
convertedBitmap = SoftwareBitmap.Convert(sourceBitmap, faceDetectionPixelFormat);
}
else
{
convertedBitmap = sourceBitmap;
}
透過呼叫 CreateAsync，然後呼叫 DetectFacesAsync，傳入已縮放到合理大小並轉換為支援的像素格式的點陣圖來具現化 FaceDetector 物件。 此方法會傳回 DetectedFace 物件的清單。 ShowDetectedFaces 是協助程式方法，如下所示，繪製影像中臉部周圍的正方形。
if (faceDetector == null)
{
faceDetector = await FaceDetector.CreateAsync();
}
detectedFaces = await faceDetector.DetectFacesAsync(convertedBitmap);
ShowDetectedFaces(sourceBitmap, detectedFaces);
請務必處置在臉部偵測程序期間建立的物件。
sourceBitmap.Dispose();
fileStream.Dispose();
convertedBitmap.Dispose();
若要在偵測到的臉部周圍顯示影像和繪製方塊，請將 Canvas 元素新增至 XAML 頁面。
<Canvas x:Name="VisualizationCanvas" Visibility="Visible" Grid.Row="0" HorizontalAlignment="Stretch" VerticalAlignment="Stretch"/>
定義一些成員變數來設定將要繪製的正方形的樣式。
private readonly SolidColorBrush lineBrush = new SolidColorBrush(Windows.UI.Colors.Yellow);
private readonly double lineThickness = 2.0;
private readonly SolidColorBrush fillBrush = new SolidColorBrush(Windows.UI.Colors.Transparent);
在 ShowDetectedFaces 協助程式方法中，建立一個新的 ImageBrush，並將來源設定為從表示來源影像的 SoftwareBitmap 建立的 SoftwareBitmapSource。 XAML Canvas 控制項的背景會設定為影像筆刷。
如果傳遞到協助程式方法的臉部清單不為空，則循環存取清單中的每個臉部，並使用 DetectedFace 類別的 FaceBox 屬性來確定包含該臉部的影像中矩形的位置和大小。 由於 Canvas 控制項的大小很可能與來源影像不同，因此您應該將 FaceBox 的 X 和 Y 座標以及寬度和高度乘以縮放值，該值是來源影像大小與 Canvas 控制項實際大小的比率。
private async void ShowDetectedFaces(SoftwareBitmap sourceBitmap, IList<DetectedFace> faces)
{
ImageBrush brush = new ImageBrush();
SoftwareBitmapSource bitmapSource = new SoftwareBitmapSource();
await bitmapSource.SetBitmapAsync(sourceBitmap);
brush.ImageSource = bitmapSource;
brush.Stretch = Stretch.Fill;
this.VisualizationCanvas.Background = brush;
if (detectedFaces != null)
{
double widthScale = sourceBitmap.PixelWidth / this.VisualizationCanvas.ActualWidth;
double heightScale = sourceBitmap.PixelHeight / this.VisualizationCanvas.ActualHeight;
foreach (DetectedFace face in detectedFaces)
{
// Create a rectangle element for displaying the face box but since we're using a Canvas
// we must scale the rectangles according to the image’s actual size.
// The original FaceBox values are saved in the Rectangle's Tag field so we can update the
// boxes when the Canvas is resized.
Rectangle box = new Rectangle();
box.Tag = face.FaceBox;
box.Width = (uint)(face.FaceBox.Width / widthScale);
box.Height = (uint)(face.FaceBox.Height / heightScale);
box.Fill = this.fillBrush;
box.Stroke = this.lineBrush;
box.StrokeThickness = this.lineThickness;
box.Margin = new Thickness((uint)(face.FaceBox.X / widthScale), (uint)(face.FaceBox.Y / heightScale), 0, 0);
this.VisualizationCanvas.Children.Add(box);
}
}
}
追蹤畫面序列中的臉部
如果要偵測影片中的臉部，使用 FaceTracker 類別比 FaceDetector 類別更有效，儘管實作步驟非常相似。 FaceTracker 會使用先前處理畫面的相關資訊來最佳化偵測程序。
using Windows.Media;
using System.Threading;
using Windows.System.Threading;
為 FaceTracker 物件宣告一個類別變數。 此範例會使用 ThreadPoolTimer 在定義的間隔起始臉部追蹤。 SemaphoreSlim 用於確保一次僅執行一個臉部追蹤操作。
private FaceTracker faceTracker;
private ThreadPoolTimer frameProcessingTimer;
private SemaphoreSlim frameProcessingSemaphore = new SemaphoreSlim(1);
若要初始化臉部追蹤作業，請透過呼叫 CreateAsync 建立一個新的 FaceTracker 物件。 初始化所需的計時器間隔，然後建立計時器。 每次指定的時間間隔過去後，都會呼叫 ProcessCurrentVideoFrame 協助程式方法。
this.faceTracker = await FaceTracker.CreateAsync();
TimeSpan timerInterval = TimeSpan.FromMilliseconds(66); // 15 fps
this.frameProcessingTimer = Windows.System.Threading.ThreadPoolTimer.CreatePeriodicTimer(new Windows.System.Threading.TimerElapsedHandler(ProcessCurrentVideoFrame), timerInterval);
ProcessCurrentVideoFrame 協助程式由計時器非同步呼叫，因此該方法首先呼叫旗號的 Wait 方法來查看追蹤作業是否正在進行，如果是，則該方法傳回而不嘗試偵測臉部。 在此方法結束時，會呼叫旗號的 Release 方法，以允許後續呼叫 ProcessCurrentVideoFrame 以繼續。
FaceTracker 類別對 VideoFrame 物件進行操作。 您可以透過多種方式取得 VideoFrame，包括從正在執行的 MediaCapture 物件擷取預覽畫面或透過實作 IBasicVideoEffect 的 ProcessFrame 方法。 此範例會使用未定義的協助程式方法，這個方法會傳回視訊畫面 GetLatestFrame 做為這項作業的預留位置。 如需從執行中媒體擷取裝置預覽串流取得視訊畫面的相關資訊，請參閱取得預覽畫面。
如同 FaceDetector，FaceTracker 支援一組有限的像素格式。 如果提供的畫面不是 Nv12 格式，則本範例會放棄臉部偵測。
呼叫 ProcessNextFrameAsync 以擷取表示畫面中臉部的 DetectedFace 物件的清單。 擁有臉部清單之後，您可以以上述相同方式顯示臉部偵測。 請注意，由於 UI 執行緒上未呼叫臉部追蹤協助程式方法，因此您必須在呼叫 CoreDispatcher.RunAsync內進行任何 UI 更新。
public async void ProcessCurrentVideoFrame(ThreadPoolTimer timer)
{
if (!frameProcessingSemaphore.Wait(0))
{
return;
}
VideoFrame currentFrame = await GetLatestFrame();
// Use FaceDetector.GetSupportedBitmapPixelFormats and IsBitmapPixelFormatSupported to dynamically
// determine supported formats
const BitmapPixelFormat faceDetectionPixelFormat = BitmapPixelFormat.Nv12;
if (currentFrame.SoftwareBitmap.BitmapPixelFormat != faceDetectionPixelFormat)
{
return;
}
try
{
IList<DetectedFace> detectedFaces = await faceTracker.ProcessNextFrameAsync(currentFrame);
var previewFrameSize = new Windows.Foundation.Size(currentFrame.SoftwareBitmap.PixelWidth, currentFrame.SoftwareBitmap.PixelHeight);
var ignored = this.Dispatcher.RunAsync(Windows.UI.Core.CoreDispatcherPriority.Normal, () =>
{
this.SetupVisualization(previewFrameSize, detectedFaces);
});
}
catch (Exception e)
{
// Face tracking failed
}
finally
{
frameProcessingSemaphore.Release();
}
currentFrame.Dispose();
}