Locatable 相機概觀
HoloLens 包含安裝在裝置前端的面向世界相機，可讓應用程式查看使用者看到的內容。 開發人員可以存取及控制相機，就像在智慧型手機、可攜式電腦或桌面上使用色彩相機一樣。 在 HoloLens 上運作的相同通用 Windows 媒體擷取 和 Windows Media Foundation API， Unity 已包裝這些 Windows API ，以抽象化 HoloLens 上的相機使用功能。 功能工作包括使用或不使用全像投影 (一般相片和視訊) ，以及在場景中尋找相機的位置和檢視方塊。
裝置相機資訊
HoloLens (第一代)
已修正具有自動白平衡、自動曝光和完整影像處理管線的 PV (PV) 相機的焦點相片/視訊。
每當相機作用中時，世界就會亮起的白色隱私權 LED。
相機支援下列模式， (所有模式都是 16：9 外觀比例，) 為 30、24、20、15 和 5 fps：
影片 預覽 還 (H-FOV) 的水準檢視欄位 建議的使用方式 1280x720 1280x720 1280x720 45 度 使用視訊防震) (預設模式 N/A N/A 2048x1152 67 度 最高解析度仍然影像 1408x792 1408x792 1408x792 48 度 在防震視訊之前，過度掃描 (填補) 解析度 1344x756 1344x756 1344x756 67 度 具有過度掃描的大型 FOV 視訊模式 896x504 896x504 896x504 48 度 影像處理工作的低電量/低解析度模式
HoloLens 2
自動對焦相片/視訊 (PV) 相機，具有自動白平衡、自動曝光和完整影像處理管線。 自動對焦系統可以調整物件距離，從 30 公分到無限大。 HoloLens 2 PV 相機鏡頭的有效焦點長度為 4.87 公釐 +/- 5%。 除了因製造容錯而造成的 5% 變化之外，焦點長度也會因為自動對焦系統而動態變更。 AF 行進 (筆劃) 最多可達 0.2 公釐。
每當相機作用中時，世界就會亮起的白色隱私權 LED。
HoloLens 2支援不同的相機設定檔。 瞭解如何 探索並選取相機功能。
相機支援下列設定檔和解析度， (所有視訊模式都是 16：9 外觀比例) ：
設定檔 影片 預覽 還 畫面播放速率 (H-FOV) 的水準檢視欄位 建議的使用方式 舊版、0 BalancedVideoAndPhoto、100 2272x1278 2272x1278 15.30 64.69 高品質的視訊錄製 舊版，0 BalancedVideoAndPhoto，100 896x504 896x504 15.30 64.69 高品質相片擷取的預覽串流 舊版、0 BalancedVideoAndPhoto、100 3904x2196 64.69 高品質的相片擷取 BalancedVideoAndPhoto， 120 1952x1100 1952x1100 1952x1100 15.30 64.69 長時間持續時間案例 BalancedVideoAndPhoto， 120 1504x846 1504x846 15.30 64.69 長時間持續時間案例 VideoConferencing，100 1952x1100 1952x1100 1952x1100 15, 30,60 64.69 視訊會議，持續時間很長的案例 Videoconferencing，100 1504x846 1504x846 5, 15, 30,60 64.69 視訊會議、長時間持續時間案例 Videoconferencing、100 BalancedVideoAndPhoto、120 1920x1080 1920x1080 1920x1080 15, 30 64.69 視訊會議、長時間持續時間案例 Videoconferencing、100 BalancedVideoAndPhoto、120 1280x720 1280x720 1280x720 15, 30 64.69 視訊會議、長時間持續時間案例 Videoconferencing，100 BalancedVideoAndPhoto，120 1128x636 15, 30 64.69 視訊會議、長時間持續時間案例 Videoconferencing、100 BalancedVideoAndPhoto、120 960x540 15,30 64.69 視訊會議、長時間持續時間案例 Videoconferencing、100 BalancedVideoAndPhoto、120 760x428 15, 30 64.69 視訊會議、長時間持續時間案例 Videoconferencing、100 BalancedVideoAndPhoto、120 640x360 15, 30 64.69 視訊會議、長時間持續時間案例 Videoconferencing、100 BalancedVideoAndPhoto、120 500x282 15, 30 64.69 視訊會議、長時間持續時間案例 Videoconferencing、100 BalancedVideoAndPhoto、120 424x240 15, 30 64.69 視訊會議、長時間持續時間案例
注意
客戶可以利用 混合實境擷取 來拍攝包含全像投影的 App 影片或相片，並採用影片防震。
如果您想要讓使用者擷取的內容盡可能好看，您應該考慮一些事項。 您也可以直接從應用程式內啟用 (和自訂) 混合實境擷取。 深入瞭解 開發人員的混合實境擷取。
在世界中尋找裝置相機
當 HoloLens 拍攝相片和視訊時，擷取的畫面包括相機在世界中的位置和相機的鏡頭模型。 這項資訊可讓應用程式推斷相機在真實世界中的位置，以進行增強的影像處理案例。 開發人員可以使用慣用的影像處理或自訂電腦視覺程式庫，以創意方式變換自己的案例。
HoloLens 檔中其他位置的「相機」可能會參考「虛擬遊戲相機」， (應用程式轉譯為) 。 除非另有說明，否則此頁面上的「相機」是指真實世界 RGB 色彩相機。
失真錯誤
在HoloLens 2上，影片和仍然影像串流不會在系統的影像處理管線中解除分割，才能讓應用程式使用畫面。 預覽資料流程包含原始扭曲的畫面。 由於只有 CameraIntrinsics 可供使用，因此應用程式必須假設影像畫面代表完美的針腳相機。
在 HoloLens (第一代) 上，影像處理器中的未解析函式在畫面中繼資料中使用 CameraIntrinsics 時，仍可能會留下最多 10 圖元的錯誤。 在許多使用案例中，此錯誤並不重要。 不過，例如，如果您將全像投影對齊真實世界海報或標記，而且您注意到 < 10 圖元的位移 (大約 11 公釐的全像投影位置為 2 公尺) ，則這種失真錯誤可能是原因。
可擷取的相機使用案例
在擷取相片或影片的世界中顯示相片或影片
裝置相機畫面隨附「相機到世界」轉換，可用來顯示裝置擷取影像時的確切位置。 例如，您可以將小型全像攝影圖示放在這個位置， (CameraToWorld.MultiplyPoint (Vector3.zero) ) ，甚至繪製一點箭號，以相機正 (CameraToWorld.MultiplyVector (Vector3.forward) ) 的方向繪製一點箭號。
標記/模式/海報/物件追蹤
許多混合實境應用程式會使用可辨識的影像或視覺模式來建立可追蹤的空間點。 應用程式可以轉譯相對於該點的物件，或建立已知位置。 HoloLens 的一般用途是尋找以 fiducials 標記的實際物件。 例如，在已設定為透過 Wi-Fi 與 HoloLens 通訊的平板電腦上，可能會發生這種情況。
您需要一些事項來辨識視覺模式，並將物件放在應用程式的世界空間中：
- 影像模式辨識工具組，例如 QR 代碼、AR 標籤、臉部尋找器、圓形追蹤器、OCR 等等。
- 在執行時間收集影像框架，並將其傳遞至辨識層。
- 將影像位置取消投影回世界位置，或可能是世界光線。
- 將您的虛擬模型置於這些世界位置。
一些重要的影像處理連結：
保留互動式應用程式畫面播放速率非常重要，特別是在處理長時間執行的影像辨識演算法時。 基於這個理由，我們通常會使用下列模式：
- 主執行緒：管理相機物件。
- 主執行緒：要求非同步) 的新 (畫面格。
- 主執行緒：將新畫面格傳遞至追蹤執行緒。
- 追蹤執行緒：處理影像以收集重點。
- 主執行緒：移動虛擬模型以符合找到的關鍵點。
- 主執行緒：從步驟 2 重複。
某些影像標記系統只會提供單一圖元位置，這相當於可能位置的光線。 (其他提供完整的轉換，在此情況下，不需要本節。) 若要進入單一 3D 位置，我們可以計算多個光線，並依其近似交集尋找最終結果。 若要取得此結果，您必須：
- 建立收集多個相機影像的迴圈。
- 尋找相關聯的特徵點及其世界光線。
假設有兩個以上的追蹤標籤位置，您可以放置模型化場景，以符合使用者目前的案例。 如果您無法假設重力，則需要三個標籤位置。 在許多情況下，我們使用色彩配置，其中白色球體代表即時追蹤標記位置，而藍色球體代表模型化標記位置。 這可讓使用者以視覺化方式測量對齊品質。 我們假設所有應用程式中都有下列設定：
- 兩個或多個模型化標記位置。
- 其中一個「校正空間」，在場景中是標記的父系。
- 相機功能識別碼。
- 行為，移動校正空間以將模型化標籤與即時標籤對齊， (我們小心移動父空間，而不是模型化標記本身，因為其他連接相對於它們的位置) 。
使用 LED 或其他辨識器程式庫來追蹤或識別標記的固定或移動真實世界物件/臉部
範例：
- 具有 LED 的工業機器人 (或 QR 代碼，可讓移動物件變慢) 。
- 識別及辨識會議室中的物件。
- 識別並辨識會議室中的人員，例如，將全像攝影連絡人卡片放在臉部上。