Mixed Reality ツールキット 2 とは

MRTK-Unity は、一連のコンポーネントと機能を提供する Microsoft 主導のプロジェクトで、Unity でクロスプラットフォームの MR アプリの開発時間を短縮するために使用されます。 その機能の一部を次に示します。

• 空間操作および UI 用のクロスプラットフォーム入力システムと構成要素が提供されます。
• エディター内シミュレーションを通じてプロトタイプの迅速な作成を実現し、変更を即座に確認できるようになります。
• 開発者がコア コンポーネントを交換できる拡張可能なフレームワークとして動作します。
• 次のような幅広いデバイスをサポートします。

XR SDK プラグイン (Unity XR プラグイン管理プラグイン プロバイダー)	サポートされているデバイス
Unity OpenXR プラグイン (Unity 2020 または 2021 LTS) (特定のデバイス上の特定の機能に必要な Mixed Reality OpenXR プラグイン)	Microsoft HoloLens 2 Windows Mixed Reality ヘッドセット Meta Quest OpenXR 経由で SteamVR で実行されているデバイス
Windows XR プラグイン	Microsoft HoloLens Microsoft HoloLens 2 Windows Mixed Reality ヘッドセット
Oculus XR プラグイン (Unity 2019 以降の LTS)	Meta Quest (Oculus 統合パッケージ経由)
ARCore XR プラグイン	Android (AR Foundation 経由)
ARKit XR プラグイン	iOS (AR Foundation 経由)

サポートされるその他のデバイス:

• ハンド トラッキング用 Ultraleap Leap Motion コントローラー

注意

MRTK の次の章である MRTK3 のパブリック プレビューを導入しました。 詳細については、 MRTK3 のドキュメントを参照してください。

MRTK の概要

Unity での MRTK または Mixed Reality 開発が初めての場合は、お使いのデバイスまたはエミュレーターに MRTK Examples Hub のサンプル アプリケーションをインストール、検索することをお勧めします。

MRTK Examples Hub アプリをダウンロードする

Mixed Reality と MRTK が提供する必要のある機能が把握できたら、必要なツールをインストールし、初級レベルの HoloLens 2 チュートリアル シリーズに従ってください。

ツールのインストール

HoloLens 2 チュートリアル シリーズ

内部的なしくみを確認したい場合は、次を参照してください。

GitHub で MRTK を調べる

ドキュメント

リリース ノート	MRTK の概要	API リファレンス

ビルドの状態

[Branch]\(ブランチ)	CI の状態	ドキュメントの状態
main

機能領域

入力システム

ハンド トラッキング
(HoloLens 2)

視線追跡
(HoloLens 2)

プロファイル

ハンド トラッキング
(Ultraleap)

UI コントロール

ソルバー

マルチシーン
マネージャー

空間
認識

診断
ツール

MRTK 標準シェーダー ビューの例

音声認識
& ディクテーション

境界
システム

エディター内
シミュレーション

試験的な
機能

UX 構成要素

ボタン
HoloLens 2 の多関節ハンドを含む各種入力方法がサポートされているボタン コントロール

境界コントロール
3D 空間内のオブジェクトを操作するための標準 UI

オブジェクト マニピュレーター
片手または両手でオブジェクトを操作するためのスクリプト

スレート
多関節ハンド入力によるスクロールがサポートされている 2D スタイルの平面

システム キーボード
Unity でシステム キーボードを使用するサンプル スクリプト

対話可能
視覚的な状態とテーマのサポートを使用してオブジェクトを対話型にするためのスクリプト

ソルバー
追従、本体ロック、ビュー サイズの固定、表面吸着など、さまざまなオブジェクトの配置動作

オブジェクト コレクション
多数のオブジェクトを 3 次元形状で並べるためのスクリプト

ツールヒント
モーション コントローラーとオブジェクトのラベル付けに使用できる、柔軟なアンカーおよびピボット システムを備えた注釈 UI

スライダー
直接のハンド トラッキング操作がサポートされている、値調整のためのスライダー UI

MRTK 標準シェーダー
MRTK の標準シェーダーでは、さまざまな Fluent デザイン要素とパフォーマンスがサポートされています

ハンド メニュー
ハンド制約ソルバーを使用した、クイック アクセス用のハンドロック UI

アプリ バー
境界コントロールの手動アクティブ化のための UI

ポインター
さまざまな種類のポインターについて説明します

指先の視覚化
直接操作の信頼度を向上させる、指先の視覚的アフォーダンス

近くのメニュー
近くの対話式操作のための移動メニュー UI

空間認識ビュー
ホログラフィック オブジェクトが物理環境と相互作用するようにする

音声コマンド
音声入力を統合するためのスクリプトと例

進行状況インジケーター
データの処理または操作を伝えるための視覚的インジケーター

ダイアログ
ユーザーの確認または同意を求めるための UI

ハンド コーチ
ジェスチャが学習されていない場合にユーザーをガイドするのに役立つコンポーネント

ハンド物理サービス [試験段階]
ハンド物理サービスによって、剛体の衝突イベントおよび多関節ハンドとの対話が可能になります

スクロール可能コレクション
3D オブジェクトがネイティブでスクロールされるオブジェクト コレクション

ドック [試験段階]
ドックを使用すると、事前に定義された位置にオブジェクトを出し入れできます

視線追跡: ターゲット選択
視線、音声、ハンドの入力を組み合わせて、シーン全体からホログラムをすばやく簡単に選択する

視線追跡: ナビゲーション
視線に基づいてテキストを自動でスクロールしたり、フォーカスされたコンテンツをなめらかに拡大したりする方法について説明します

視線追跡: ヒート マップ
アプリ内でユーザーが見ていたもののログ記録、読み込み、視覚化を行う例

［ツール］

最適化ウィンドウ	依存関係ウィンドウ	ビルド ウィンドウ	入力記録
Mixed Reality プロジェクトの構成を自動化してパフォーマンスを最適化します	アセット間の依存関係を分析し、使用されていないアセットを特定します	Mixed Reality アプリケーションのエンド ツー エンド ビルド プロセスを構成および実行します	エディターで頭の移動とハンド トラッキングのデータを記録および再生します

シーンの例

MRTK には、MRTK の機能の使用方法を示すサンプルのシーンが用意されています。 サンプル シーンは Assets/MRTK/Examples/Demos フォルダーにあります。 サンプル シーンを取得して実行する方法については、シーンの例に関するページを参照してください。 手による操作のサンプル シーンは、対話式操作や UI 用の MRTK の構成要素の作業出発点として最適です。

MRTK Examples Hub

MRTK Examples Hub では、各シーンを作成したりデプロイしたりせずに、MRTK の各種シーンの例を試すことができます。 MR Feature Tool で "Mixed Reality Toolkit Examples" パッケージを選択することにより、HoloLens (x86)、HoloLens 2 (ARM)、および Windows Mixed Reality イマーシブ ヘッドセット (x64) 向けの事前構築済みアプリ パッケージをダウンロードできます。 Windows デバイス ポータルを使って HoloLens (第 1 世代) にアプリをインストールするようにしてください。 HoloLens 2 では、Microsoft Store アプリから MRTK Examples Hub をダウンロードしてインストールすることができます。

MRTK のシーン システムとシーン切り替えサービスを使用してマルチシーン ハブを作成する方法の詳細については、Examples Hub の README ページを参照してください。

MRTK を使用して作成されたサンプル アプリ

Periodic Table of the Elements は、MRTK の入力システムと構成要素を使用して HoloLens およびイマーシブ ヘッドセット用のアプリ エクスペリエンスを作成する方法を示す、オープンソースのサンプル アプリです。 移植のストーリーをご覧ください: 「MRTK v2 を使用して Periodic Table of the Elements アプリを HoloLens 2 に移植する」	Galaxy Explorer は、元は 2016 年 3 月に HoloLens 'Share Your Idea' キャンペーンの一環として開発された、オープンソースのサンプル アプリです。 Galaxy Explorer は、MRTK v2 を使用して、HoloLens 2 の新機能によって更新されました。 次のストーリーをご覧ください: 「 HoloLens 2 用 Galaxy Explorer の作成」	Surfaces は HoloLens 2 用のオープンソースのサンプル アプリです。視覚、音声、完全な多関節ハンド トラッキングを使用して、触覚が作られるしくみを調べることができます。 設計と開発の詳しいストーリーについては、Microsoft MR Dev Days のセッション「Surfaces アプリを使った学習」をご覧ください。

Mixed Reality Dev Days 2020 のセッションのビデオ

シンプルな MRTK アプリを、最初から最後まで作成する方法についてのチュートリアルです。 対話式操作の概念と MRTK のマルチプラットフォーム機能について説明します。	美しい Mixed Reality エクスペリエンスの構築に役立つ、MRTK の UX 構成要素について詳しく説明します。	パフォーマンス ツール (MRTK および外部ツールの両方) を紹介し、MRTK 標準シェーダーの概要について説明します。

その他のセッション ビデオについては、Mixed Reality Dev Days に関する記事を参照してください。

コミュニティに参加する

• Slack で MRTK に関する会話に参加します。 自動招待センダーを使用して Slack コミュニティに参加することができます。

• Stack Overflow で、MRTK タグを使用して MRTK の使用に関する質問をします。

• MRTK コード内に破損を見つけた場合は、既知のイシューを検索するか、新しいイシューを報告します。

• MRTK への投稿に関する質問については、slack の mixed-reality-toolkit チャンネルにアクセスしてください。

このプロジェクトは、「Microsoft のオープン ソースの倫理規定」を採用しています。 詳細については、倫理規定についてよくあるご質問を参照するか、opencode@microsoft.com 宛てにご質問またはコメントをお送りください。

Mixed Reality デベロッパー センターの便利なリソース

見つける	設計	開発	配布
HoloLens とイマーシブ ヘッドセット (VR) 向けの Mixed Reality エクスペリエンスを構築する方法を学習します。	デザイン ガイドを入手します。 ユーザー インターフェイスを構築します。 対話式操作と入力について学習します。	開発ガイドを入手します。 テクノロジを学習します。 科学を理解します。	他のユーザー用にアプリを準備し、3D ランチャーの作成を検討します。

Azure の便利なリソース

Spatial Anchors	音声認識サービス	視覚サービス
Spatial Anchors は、時間が経過しても複数のデバイス間で位置が維持されるオブジェクトを使用した Mixed Reality エクスペリエンスを作成できる、クロスプラットフォーム サービスです。	音声テキスト変換、話者認識、アプリケーションへの音声変換など Azure を利用した音声認識機能を検出、統合します。	コンピューター ビジョン、顔検出、感情認識、Video Indexer などのビジョン サービスを使用して画像またはビデオ コンテンツを特定、分析します。

貢献する方法

MRTK に投稿する方法については、「投稿」を参照してください。

ヘルプの表示

MRTK に起因する問題が発生した場合、または何かを行う方法について質問がある場合は、いくつかのリソースが役に立ちます。

• バグ レポートを行う場合は、GitHub リポジトリでイシューを報告してください。
• ご質問がある場合は、StackOverflow か Slack の mixed-reality-toolkit チャンネルのいずれかをご利用ください。 自動招待センダーを使用して Slack コミュニティに参加することができます。