顔で遊ぶといっても「あっち向いてホイ」をして遊ぶわけじゃあない。今回は、Microsoft Research が提供している Windows Phone 用の Face SDK の話をしよう。

Face SDK は、顔を認識するためのフレームワークで、Windows Phone でとても簡単に顔のデータを扱うことができるようになるのが特徴だ。身近な例では、人の笑顔に反応して自動的にシャッターを切ったり、複数人の顔を認識してピントを合わせたりする機能が付いているデジカメ、顔の周囲に四角が表示されるよね。アレが顔認識の基本なのだ。

難しいハナシより先に、まずはMicrosoft Research 自身が Face SDK を使って開発したアプリケーションをご紹介しよう。

「FaceMask」は自分（あるいは他人も）の顔に、ウサギの耳やライオンのたてがみなどをくっつけてしまうアプリケーションだ。これは Face SDK の「顔認識」と「顔配列」という機能を使って、このパーツは顔のどこに付くべきかを解析して自動的に画像を作成しているというわけだ。

「FaceSwap」は 2 人の顔を入れ替えてしまうアプリケーション。もちろん、ただ顔を入れ替えているわけではないのが面白いところ。このアプリは顔の輪郭や髪形などはそのままにして、顔の中身だけを入れ替えてしまうのだ。Face SDK の「顔認識」を使って 2 人の顔を特定し、「顔配列」の機能で顔の要素を取得する。あとは輪郭をそのままに、お互いの顔を入れ替えてしまうというわけ。

「FaceTouch」は写真などの表情をガラっと変えてしまうアプリケーションだ。目、鼻、口、おでこや頬をジェスチャー風に決められた順にタッチすると、表情がおもしろいように変わる。これも Face SDK の「顔配列」機能で取得した顔の各要素を元にして表情を編集しているのだ。

これらのアプリケーションの詳細は Microsoft Research FACE PARTY (https://msra.cn/faceparty_introduction/home_en.html) のページや Windows Phone Market Place で確認できる。もし Windows Phone を持っているなら、是非遊んでみてほしい。このように、Face SDK を使えば単純に顔を認識できるだけではなく、そのほかにもさまざまな機能が含まれている。まずは、簡単に顔認識についての基礎を駆け足で説明しておこう。

・顔検出 顔検出は文字通り写真などから顔を検出するための機能。写真から顔だけを自動的に切り出したり、写真の中に顔がいくつあるか、つまり何人いるかといった情報を取得したりできる。

・顔配列 顔配列は、目や眉毛、鼻、口、顔の輪郭といった顔の要素を取り出すための機能。顔配列の機能を使うと、人物を特定したり、どういった表情なのかを解析したりできる。

・顔追跡 顔追跡はビデオやカメラのライブ映像から顔の位置を特定するための機能。ライブ映像から顔だけズームするといったことが簡単にできる。

・似顔絵 似顔絵は、文字通り似顔絵を作ってしまう機能。もとになる写真をベースに、顔の特徴を解析して似顔絵をつくることができる。用意されているテンプレートを使えばメガネをかける、イヤリングを付ける、ひげ顔にするといったことがカンタンにできる。

・肌色の検出 肌色の検出は、写真などのイメージから肌色の部分だけを抜き出すための機能。顔検出や顔追跡などの機能と併用することで、精度の高い検出を高速に実行できる。

こんな感じで Face SDK では、「顔検出」、「顔配列」、「顔追跡」、「似顔絵」、「肌色の検出」の5つの機能が提供されるのだ。さて、それでは早く同僚の顔にチョンマゲを載せたくてウズウズしているあなたのために、そろそろ Face SDK の開発環境の作り方を説明しよう。

まず最初に Windows Phone 用のアプリケーションを開発するために、無料で公開されているWindows Phone SDK をインストールしよう。ここにはVisual Studio Express for Windows Phone をはじめ、開発に必要なすべてのツールが入っている。製品版の Visual Studio を持っている場合は、テンプレートが追加されるのでそのままインストールしてOKだ。さらに更新プログラムも公開されているのでインストールしておこう。そして忘れちゃいけない今回の主役、Microsoft Face SDK もインストールする。開発に必要なツールやWindows Phone用のアプリケーション開発方法などは「Windows Phone デベロッパーセンター」に詳しく書かれているので、あらかじめ目を通しておこう。

開発の準備ができたら、まずは Face SDK のサンプルコードをビルドして実行してみよう。Windows Phone を持っていない？　大丈夫、大丈夫。Windows Phone SDK には Windows Phone のエミュレータが含まれているので、PC 上で Windows Phone をエミュレートすることができる。サンプルコードには FaceAlignmentDemo (顔の検出)、FaceTrackerDemo (顔の追跡)、CartoonDemo (顔を似顔絵に変換)、FaceParty (顔検出アプリケーションのテンプレート)が含まれている。これらのサンプルを実行すれば Face SDK で大体どんなことができるのかがわかるようになっている。

CartoonDemo のサンプルコードをビルドして実行、ボタン 1 つで似顔絵が作成できる

Face SDK を使えば、アイディアしだいで実にさまざまなことができるようになる。Microsoft Reserch が提供しているいくつかのアプリケーションのように「顔で遊ぶ」ことはもちろん、もっと実用的に応用することも可能だ。たとえば、「顔の構成要素」をデータベース化しておいて、認証に使うことだってできる。さらに、「顔追跡」の機能を使って頭を左右に振るだけでページを送る電子書籍ビューアなんていう、「モノグサだけどとても便利」なアプリケーションだって作れるんだ。

……しまった、最初に「あっち向いてホイ」じゃないと言ったけど、Face SDK を使えばソーシャルな対戦型「あっち向いてホイ」ゲームを作ることができるじゃないか！　お詫びに「あっち向いてホイ」ゲームのアイディアはお譲りしたいと思う、早い者勝ちなので開発はお早めに。

Face SDK マニュアル（日本語）

Face SDK の概要とコーディング方法

Windows Phone の技術情報

Windows Phone デベロッパーセンター

Face SDKのダウンロード

Microsoft Research Face SDK

Face SDKを利用したアプリ

Microsoft Research Face Party

カフェ店長が考えたインタラクティブな看板は、Kinectセンサーで人を感知して、プロジェクターを使って床へアニメーションを表示させている。ただそれだけではなく、看板に内蔵したLEDを点滅させたり、旗を振らせたりといった楽しい仕組みが含まれているのが特徴だ。

Kinectセンサーからの情報を解析して、プロジェクターにアニメーションを表示する、ということを PCだけで実現可能なのは Part 2 の動くラテアートでも紹介したとおり。じゃあ、Kinect と連動して旗を振らせたり、LEDを点滅するにはどうしたらいいと思う？

「LEDを点灯させたり、旗を振るためのサーボモーターといったハードウェアを自作してPCに接続すればいいじゃないか」という方法がはじめに頭に浮かぶハズだ。しかし、この方法ではハードウェアや電子工作、PCとハードウェア間のインターフェースを自作するための知識が必要になる。つまり、非常に敷居が高いものになってしまう。

実はもっと簡単に、もっとお手軽に実現できる方法があるんだ。

皆さんは「.NET Micro Framework」って言葉を聞いたことがあるだろうか？ .NET Micro Framework とはマイクロコンピュータを制御するためのフレームワークで、C# や Visual Basic などの普段使い慣れた言語を使って、スマホよりももっと小さいマイクロコンピュータを制御するための技術だ。マイクロコンピュータなので、PCに接続せずとも電源さえ供給できればスタンドアロンで動作させられるという特徴も持っている。

でも、そのマイクロコンピュータも自作しなければいけないんじゃない？　そう思っている人も多いだろう。そのあたりも非常にカンタンにできる方法がある。それには、GHI Electronics 社 (https://www.ghielectronics.com) が販売している「FEZ」と呼ばれる .NET Micro Framework のコードを実行できるマイクロコンピュータのキットを使うんだ。

FEZ には小型のメインボードだけではなく、照度センサー、加速度センサー、カメラといったセンサー類、イーサネットや Wi-Fi、Bluetooth といったインターフェースなどがモジュールとして提供されている。ちなみにメインボード自体は手のひらの半分くらいの大きさだ。

FEZのメインボードにセンサーやLED、スイッチといったモジュールをケーブルで接続するだけで、あっというまにカスタムハードウェアのできあがり。ハンダ付けの必要もなく、ちょっとしたハードウェアの知識さえあれば、電子ブロック感覚で各種センサー、インターフェース付きのマイクロコンピュータを作れてしまうという優れものなのだ。

今回のインタラクティブな看板でキモになるのが、FEZ Panda II と呼ばれるメインボードと、FEZ Connect Shield と呼ばれるモジュールだ。FEZ Connect Shield にはイーサネットコントローラやインターフェースが搭載されていて、旗を動かすサーボモータや、看板のLED の点滅を制御できる。

FEZ Panda II と FEZ Connect Shield

© 2003-2012 GHI Electronics LLC

実際の仕組みはこんな感じだ。まず、FEZ Connect Shield を繋いだ FEZ Panda II と、Kinect を接続したタブレット PC とを LAN ケーブルで接続しておく。あらかじめ FEZ Panda II では .NET Micro Framework を利用して Web サーバを起動し、HTTP リクエストを受信できるようにしておく。もちろん Web サイトを表示するために起動しているわけじゃない。これは、Kinect を接続した PC が人を検出したら、人を検出したことを知らせる HTTP リクエストを Web Socket を使って FEZ Panda II 側に送信するんだ。FEZ Panda II 側では当該リクエストを受信したら、LED を点灯させたり、サーボモータを動かして旗を振らせたり、なんてことをやっているわけだ。

ところで .NET Micro Framework 関連の技術で、今一番熱いのがマイクロソフトリサーチがオープンソースで提供している .NET Gadgeteer だ。.NET Gadgeteer は .NET Micro Framework をベースにしたテクノロジーで、.NET Micro Framework よりも簡単に……本当に、思わず笑っちゃうほど簡単にハードウェア用のコードを書くことができる。

.NET Gadgeteer を Visual C# 2010 (Express Editionでも可) にインストールすると、プロジェクトテンプレートに「.NET Gadgeteer Application(NETMF 4.1)」が追加される。新規プロジェクトの作成で、このテンプレートを選択すると、新しい .NET Gadgeteer のプロジェクトが作成され、ウィンドウには (Program.gadgeteer) コードではなく FEZ のメインボードが表示されるのだ。さらに、ツールボックスウィンドウから使いたいインターフェースやセンサーなどのモジュールをドロップして、[右クリック]-[Connect All modules] をクリックするだけで、モジュールをメインボードのどのコネクタに接続すればいいのかが表示される。実際にハードウェアを接続するときは、ウィンドウに表示された通りに接続すれば配線ミスは起きないというわけだ。コード自体はハードウェアがなくとも作れるので、Visual C# 2010 をインストールしてぜひとも試して欲しい。

FEZ を動作させるためのコードも .NET
Micro Framework よりもさらにカンタンに作れるようになっている。ツールボックスからモジュールを追加してメインボードに接続すると、そのモジュールを初期化するコードが自動生成される。そのため、センサーなどのモジュールを初期化するためのコードを書く必要がない。面倒な初期化作業からカンペキに解放されるというわけだ。

たとえば、FEZ に Wi-Fi モジュール (WiFi_RS21) を追加して、Wi-Fi のアクセスポイントに接続するコードはたった 5 行で書くことができる。ものの数分もあれば、常時インターネットに接続できるデバイスが完成するのだ。また、リレーモジュールのリレーのオン・オフや、LED
を点灯させるといったコードに至っては「たった1行」追加するだけで OK だ。

こうしたパソコンやスマホよりも小さいインターネットに接続できるハードウェアは、それこそ無限の可能性を秘めていると言っても過言ではないだろう。温度センサーや湿度センサー、電力センサーで計測した値を、インターネット上の別のサーバで管理するセンサークラウドなんかも簡単に実現することができる。また、自作の「ホームオートメーション」作りに挑戦しても面白いかもしれない。たとえば、外出先からスマホでオン・オフできて、部屋の明るさや人がいるかどうかを複合検知して点灯する「ものすごくスマートな照明」や、赤外線発光モジュールを使ってインターネットからさまざまな機器をコントロールする「ものすごくスマートなリモコン」なんてものも作ることができるんだ。

もっと詳しく .NET Micro Framework の開発方法を知りたい人は、Interface 2012年8月号 で特集しているのでそちらも見てほしい。

アナログをデジタルとテクノロジで結んでみると、未来って意外とスグそこまで来てるんじゃないかな？

開発キット 発売中！

株式会社デバイスドライバーズ

開発キットの使い方

お店を繁盛させる看板を.NET MFでつくる（エバンジェリスト 太田寛）

Source Code

ビデオに登場する看板のソースコード

Video

もしもカフェ店長がソフトをつくったら

「プログラムでラテアートを動かす！」そんなことが本当にできるんだろうか？

もちろん、コーヒーカップに描かれた実際のラテアートを動かすことはできない。しかし、拡張現実 (AR)の技術を使って、カップに「ラテアートを投影」したらどうだろう？　そう、あとは投影するラテアートをアニメーションさせれば、あたかもラテアートが動いているように見せることができるよね。

ラテアートを動かすために必要な技術は、Kinect とプロジェクターのみ。Kinect は人間の動きを検出するデバイスという側面が強いが、人以外の物を検出することもできるようになっている。Kinectには高性能の深度センサー (有効範囲内の 3 次元的な形を距離として計測) が搭載されていて、そのセンサーを使えば、人だけではなくカップやテーブルといった人以外の物を検知してプログラムで利用できる。

それじゃ、カップの位置を検出する仕組みを説明しよう。

最初に、あらかじめ Kinect の深度センサーで何も置かれていないテーブルの深度情報を取得しておく。そうすれば、テーブルに物が置かれたときの深度情報と比較することで、「何か」が置かれているかどうかを知ることができるよね。

次に、テーブルの上で「一定時間動かない」「円形」の物体、つまりラテが注がれたカップだけを検出するんだ。あと、カップ以外の丸いものが置かれることも想定しておかないとね。高さや大きさからカップを判断して、それ以外の物が置かれても何も反応しないようにしておこう。さらに、２つ以上のカップが置かれても、それぞれのカップを検出できればカンペキだ。

このように Kinect を使って、カップの位置や高さ、内径が検出できたら、それに合わせてプロジェクターでアニメーションを投影するだけだ。投影機は手作りだから、カップの位置と投影位置の調整はちょっぴり試行錯誤の手作業になるけど、一度調整してしまえばあとは Kinect に任せてしまえば大丈夫。これで動くラテアートの完成だ。今回は、ラテアートだけではなく、テーブル上に吹き出しも表示してより楽しい演出を加えてみた。ちなみにアニメーションそのものは PowerPoint 2010 を使えば WMV (Windows Media Video) 形式の動画を簡単に作ることができる。

ところで、ラテアートと吹き出しといったように 2 つの動画を重ねて表示するには、上に重ねる動画の余白をマスクする必要がある。実際にプログラミングをした経験がある方ならわかるとは思うが、こうしたプログラムを一から作るのは非常に面倒な作業になる。

そこで利用したいのが、WPF (Windows Presentation Foundation) と呼ばれる技術。WPF はリッチなユーザーインターフェースを作成するための新しい技術だ。WPF を使えば、一般的なデスクトップアプリケーションが利用しているフォームによるユーザーインターフェースだけではなく、イメージや動画といったリッチコンテンツをプログラムで簡単に利用できるようになる。この WPF を使えば、動画を丸くマスクして表示するといったことが非常に簡単に実現できるんだ。

今回は Kinect とプロジェクターで動くラテアートを作ってみたけど、ちょっとしたアイディアと、簡単なプログラムを書けるスキルさえあれば、「いまそこにある技術」で日常をとても楽しくできるんだ。可能性は無限にあるといってもちっとも大げさなことなんかじゃない。考えるだけでもワクワクしてこないかい？

皆さんも日常を楽しく演出するアイディアを、いろいろと考えてみてはいかがだろうか？

■ 使用した機材

・Kinect for Windows

・小型プロジェクター TAXAN　KG-PL031W　(DLP方式 300ルーメン WXGA)

・Lenovo X200

■ 使用したソフトウェア

・Windows 7

・.Net Framework 4.0 / C# / WPF

・Kinect for Windows SDK

・Visual Studio 2010

Developer

ニコニコ技術部 ミクミンP

Source Code

準備中

Video

もしもカフェ店長がソフトをつくったら

もしも、誰でも簡単にソフトウェアを作ることができたら、どんなアイディアが生まれるだろう。今回は、カフェの店長がお店の看板を作ってみた。楽しい看板を作れば、お店の前を通り過ぎるだけではなく、きっとお店の中にも入ってくれるはずだ。

それじゃあ、どんな看板にしたらいいだろうか？

いまや町中には、さまざまなディスプレイやデジタルサイネージがあふれている。単に映像を表示させるデジタルサイネージじゃ面白くない。そこで、カフェらしく黒板風の看板、それもインタラクティブに使えるものにしてみよう。

人が近付くと LED が光る、くらいなら想定の範囲内。なら、旗がぴょこんと飛び出たらどうだろうか？　さらに足元にパッとメッセージが投影されたら？　ちょっと気になるよね、この看板。近づいてみると、実はタッチパネルが埋め込まれていて、お店のメニューが表示されている。しかも、メニューを選ぶと LED が連動して光る！　いわばデジタルとアナログ、メカトロニクスの融合だ。

こんな看板を作るには、いろいろな技術が使われているように思うかもしれない。しかし、いくつかの Windows のテクノロジーとちょっとしたソフトウェアだけでカンタンに実現できるんだ。

看板に人が近付く、人が離れるといったことを検知するには「Kinect for Windows」を使っている。そこに人がいるのかどうかといったことや、どのような動作をしているのか、何人いて誰がしゃべっているのかといったことまで検知可能だ。Kinect SDK for Windows を使えば、Visual C# で簡単なコードを書くだけでカンタンに Kinect を利用できる。

人を検知したら LED を光らせ、旗を振らせる。この動作を制御しているマイクロコンピューターも、「.NET Micro Framework」と呼ばれる技術を利用して、Windowsのプログラミングと同様に C# や Visual Basic で制御できてしまう。

あとは、Kinect を制御するパソコンと、LED や旗を制御するマイクロコンピューターを、ネットワーク接続するだけ。パソコンからマイクロコンピューターには HTTP リクエストを送って LED を光らせたり、旗を立たせたりしている。

ちなみに、この LED を光らせ旗を振るマイクロコンピューターのキットは、技術家庭科で習った程度のハンダ付けの技術さえあれば 1 万円程度でカンタンに作れてしまう。

え、もっと詳しい話？　じゃあ、そこのカフェでゆっくり話そうか。

※次回以降で、この看板で使った Kinect の仕組みや、Windows テクノロジーを使ったマイクロコンピューターの制御方法をさらに詳しく紹介していきます。お楽しみに！

Developer

面白法人カヤック

皆さんは 1 人で何台の PC を操っていますか？ メイン PC、開発環境、テスト PC、テストサーバー、サブノート……開発の現場には常に複数の PC が当たり前。でも、台数分のマウスとキーボードを机に置くわけにもいきませんよね。CPU 切替機でまとめるのが定番ですが、ケーブルは増えて机の裏はゴチャゴチャ、マシンの番号を忘れて手当たり次第にガチャガチャ切り替え、しかも一度に操作できるのは 1 台だけ……。

そんなあなたにおススメしたいのがこのソフト、「 Mouse Without Borders 」！一言で説明するとコレ、ネットワーク対応 CPU 切替ソフトなんです。最初にこのソフトをインストールした PC につながっているキーボードとマウスを、同一ネットワーク上のほかの PC でも使えるようにします。やり方はとってもカンタン、同じくソフトをインストールしてセキュリティキーを入力するだけです。

各 PC のデスクトップをシームレスに行き来できるのはもちろん、ファイルのドラッグ＆ドロップによるコピー、クリップボードの共有もできます。例えば、開発環境でスクリーンショットを撮ってメイン PC の PowerPoint に貼り付けたり、開発環境でビルドした実行ファイルをそのままテスト PC にコピーして実行したり……。しかもケーブルすっきり、もちろん無線キーボードやマウスを使えば完全ケーブルレスです。これはいろいろ捗りますよ？

開発したのは、Microsoft Corporation のラボ“ Office Labs ”で行っているプロジェクト“ The Garage ”。社内のちょっとした、でも、独創的なアイデアをカタチにする、全社を挙げた取り組みから生まれました。

そうそう、一番感動的な機能は、「接続された全 PC を同時に操れる」こと。つまり、全部の PC を同時にロックしたり、同じユーザーで同時にログオンしたりできるんです。このアイデアを考えたのは、複数の PC のロックをして回ったせいで終電逃したことがある人ですよ、きっと。一刻を争って帰りたい方に、「 Mouse Without Borders 」をどうぞ！

ダウンロード

Mouse Without Borders" [1.1mb]

URL

Mouse Without Borders (英語)

超小型機器向けのファーム ウェア、.NET Micro Framework を使って電動モーターを制御。更には、ネットワーク接続も簡単にプログラミングできるので、スマート フォンをリモコンにした、電動式モデルカーを作ってみた。.NET Micro Framework を使えば、PC アプリを開発するのと同じ感覚で、ロボットや家電の制御アプリが作れる時代が来るかもしれない。

Developer

日本マイクロソフト