このイベント、日本時間では深夜1時開始となかなかつらい時間帯だったのですが、一張羅のHPC Azure Tシャツに着替えて都内某所のパブリック・ビューイング会場へと乗り込みましたよっと。

いろいろな新サービスの発表がありましたが、個人的にこれだ！と思ったものをピックアップして紹介します。網羅的な内容は、Jason Zanderのブログ↓などをご覧ください。
Building the Intelligent Cloud: Announcing New Azure Innovations to Transform Business

GPUインスタンス!

これですよ、これ。このためにHPC Azure Tシャツを着てきたのです。皆さんから多くの要望をいただいていた、GPUインスタンスがAzureにやってきます。
その名も「Nシリーズ」です。きっとNVIDIAの”N”ですね。

このNシリーズに関しては、Jason ZanderのブログよりもNVIDIAさんの発表のほうに少し詳しく書かかれていますので、そちらを見てみましょう。

NVIDIA GPUs to Accelerate Microsoft Azure

これによると、

Azure is the first cloud computing platform to provide NVIDIA GRID 2.0 virtualized graphics for enterprise customers.
AzureはGPU仮想化ソリューションであるNVIDIA GRID 2.0を企業向けに提供する最初のクラウドコンピューティングプラットフォームです。

とあるので、RemoteFXで活用できるような「グラフィックのためのGPU」（って変な表現ですが）のインスタンスが提供されるようです。

一方、こうも書かれています。

Azure will also offer customers supercomputing-class performance, with the addition of the NVIDIA Tesla® Accelerated Computing Platform's flagship Tesla K80 GPU accelerators, for the most computationally demanding data center and high performance computing (HPC) applications.
AzureはTesla GPUの最高峰であるK80による、スーパーコンピューター級のパフォーマンスを、大きな計算能力を必要とするデータセンターや、HPCアプリケーション向けに提供するでしょう。

つまり、「NVIDA GRID 2.0のvGPUインスタンス」と「計算のためにTesla K80を積んだGPGPUインスタンス」という二つの側面を、この新しいNシリーズは持っているようです。

と、ここまで書いたところでわかりやすいスライドが出てきましたよっと。

Tesla M60 と K80 が使えます！

また、このスライドにあるように、RDMAによる高速ネットワークが搭載されているようです。おそらくA8/A9のようにInfiniBandがついているものと思われます。GPUノードでクラスタ組んでRDMA over InfiniBandで高速並列計算ができるわけですね。これは楽しみです！

[更新] 朝起きたらインスタンスの情報が出てたことを知りました。じゃじゃーん。

https://azure.microsoft.com/en-us/documentation/videos/azurecon-2015-applications-that-scale-using-gpu-compute/

すべてCPUはE5-2690 v3.Haswellですねー。GPUはN1がM60、それ以外はK80です。そして、N21にはInfiniBandがついてると。A8/A9はQDRだったので、ここも進化してると良いですね！

既存のHPCインスタンス、値下げ！

現在Azureには下図のような4種類のHPCインスタンスがあるわけですが、これらを2015年10月1日より60%(!)値下げします。詳しくは10/1以降、価格のページをご覧ください。
(9/30日時点では、まだ新価格が表示されていません)

Dシリーズのversion 2が登場！

昨年登場して好評をいただいている D シリーズの次世代バージョンが登場です。DのVersion 2でDV2です。Dシリーズとの大きな違いは、CPUの世代。HaswellのE5-2673 v3が載っています。クロックは2.4GHzで、3.2GHzまでターボブーストします。用途によってはA10/A11より速そうですね。

こちらはすでに価格のページに反映されています。「D5 v2」というやつ以外は対応するDシリーズのインスタンスと同じコア数、メモリサイズです。D5の「16コア、56GBメモリ」というのはなかなかちょうどよいサイズですねー

File StorageがSMB3.0をサポートしてGA!

「AzureのストレージがSMBをしゃべる」サービスであるところのFile StorageがGAしました。SMB 3.0をサポートします。そして、今までは「File Storageのストレージアカウントと同じリージョンの仮想マシンからのみSMBアクセス可能」だったのが、オンプレからもアクセス可能に変わったようです。より実用的になりますよね。

SMBが3.0になったということは、 クラスタの共有ストレージとして使えるようになったのかな？（つまり、SQL Server AlwaysOn FCIが構成可能になったのかな？）この点についてJason Zanderのセッションでは言及がなかった ので、今後確認しようと思います。

まとめ

Nシリーズ、待ってた。ようこそ！

関連情報

Azurecon 2015 

Building the Intelligent Cloud: Announcing New Azure Innovations to Transform Business

NVIDIA GPUs to Accelerate Microsoft Azure

Virtual Machines Pricing

__END__

なにせ今年でいったんおしまい、という話だったので「これは最後に行っておかねば」と、個人スポンサーにもなってみました。YAPC::AsiaのTシャツとパーカーとタンブラーカッコいいぜ！

正直に言って、私にとってYAPC::Asiaはわりとアウェイな世界。多少なりとも面識ある人は同じ会社の @myfinder さんと TDの @repeatedly, @tagomoris 両氏ぐらいでしたが、しかしとても楽しい空間でした。トークを聞きながら Twitter の #yapcasia で実況ツイートを追っかけて、ところどころ自分もコメントしてるとだんだんアウェイ感薄れてきましたよ。

というわけで参加したトークは以下の通りです。(1日目は参加できなかったので、土曜日のトークのみ)

1時間目: @kazunori_279 さんの Deep Dive into the "Out of place Artifacts" of Google Cloud Platform

この謎技術の話はいつ聞いても面白い。Azureのデータセンターも結構頑張ってるはずなんですが、Googleのはホントに（社畜的に自粛）

そういえば、トーク中
「他社のロードバランサは暖機の申請が必要だったりしますがGoogleのは不要です！」
という話がありましたが、Azureのも暖機は不要ですよ！どんと来い！というのを呟いたりしました。

 https://twitter.com/ksasakims/status/634902336377192448

「暖気」って漢字間違ってしまった恥ずかしいわい。

あ、こちらでさらに解説されてますね。
YAPC Asia 2015「Google Cloud Platformの謎テクノロジーを掘り下げる」のまとめ

2時間目: @myfinder さんの Discover the Microsoft Azure 

いつの間にかマイクロソフト社員になってた @myfinder さんによる Microsoft Azure の紹介。これは応援せねばと駆けつけました。Stream AnalyticsやPower BIのような分析系テクノロジ推し。さすが目の付け所がシャープ！です。 資料は docs.com にあります。

本人のブログ: YAPC::Asia 2015でAzureの話をした件とハッカソンの運営をした件

なお、このセッションのQ&Aに割り込んで
「AzureのドキュメントはGitHubで管理されてるから間違ってたらPRください」
と言ったのが私です。ここですここ。

3時間目: @repeatedly さんの Technologies for Data Analytics Platform

Treasure Data の  @repeatedly さんによるデータ分析系テクノロジ・サービスのハイレベルな紹介。とても分かりやすくて勉強になりました。ちらっと Azure にも触れてくださって感謝であります！

 https://www.slideshare.net/repeatedly/technologies-for-data-analytics-platform

そして、「分散キューは Apache Kafka 以外はだいたい淘汰された」というシーンで泣きながらツイートしたのがこちら。

 https://twitter.com/ksasakims/status/634952026879725568

天下の @oza_x86 さんがフォローしてくださった。ありがとうございます。

5時間目、@tsubasaxZZZ さんの About Windows for OSS Enginner

なんとも珍しい Windows の紹介セッションを発見したので参加してみると、なんとスピーカーは個人参加している弊社のエンジニアでしたよっと。There is more than one way to work at Microsoft! ですな。
「UNIXならこうやる操作、Windowsではこう」とマッピングする形での、わかりやすい説明でした。

伝統的な UNIX がデバイスやソケットも「ファイル」の形に抽象化することでそれらを統一的に扱える仕組みを提供しているように、Windows NT  (今の Windows はすべて NT です)ではあらゆるものが「オブジェクト」という形で統一管理されているのですが、そのオブジェクトのエクスプローラもあるんですよ、とか Windows Vista世代からイベントログの仕組みは大幅に刷新されたんですよ、などと Twitter で加勢しながら聞いてました。

https://twitter.com/ksasakims/status/634983972045459456

 https://twitter.com/ksasakims/status/634983063815081984

何でもありで楽しいな YAPC は！

日曜日はハッカソン

@myfinder さんが暗躍したおかげで、今年のハッカソンはなんと日本マイクロソフト品川本社のセミナールームで開催されました。こりゃー行くしかない。プログラムあんまり書けないけど…というわけで行ってきました。

さて、必ずしも Perl 感ないYAPCですが、せっかくなので Perl で何か書こう。そうだ、昨日つぶやいた Event Hubs と Storm のあたりがいいな、

「Azure Event Hubs からデータをガンガン読み取って、それを HDInsight (Azure 上の Hadoop)上の Apache Storm で動かした Perl トポロジで処理する！ 」

というのをやってみよう！と思ったわけです。そもそも Perl で Storm のトポロジを書けるのか全然わからなかったので、その調査から始めました。

あ、その前に Storm 界の登場人物を整理しておきましょう。

Spout (蛇口) を何らかのデータソースにぶすっと刺してやります。そこから流れ出てくるデータの粒が “Tuple” で、Tuple を処理するプログラムロジックが “Bolt” です。 Bolt は複数定義して多段に構成できますよ。

これら、Spout と一連の Bolt の組み合わせが「Topology」と呼ばれるもので、トポロジを Storm クラスタにデプロイしてスタートすることで Storm のメッセージ処理が始まります。

さて、Perl で Storm のトポロジを書くには、、、と調査を始めたとこり、ちゃんと CPAN にあるじゃないですか、こういうのが！

IO::Storm - IO::Storm allows you to write Bolts and Spouts for Storm in Perl.
https://metacpan.org/pod/IO::Storm

これ使えば簡単じゃん！と安心したのですが、そう簡単にはいかないのでした。今回の場合、Azure の Event Hubs からデータを読みたかったのですが、 Event Hubsに対応した Spout は Java で書かれたものしかないんですよね → storm-eventhubs

Java の Spout と Perl の Bolt を組み合わせてハイブリッドなトポロジを作る方法がよくわからず、情けない私はここでギブアップしました。そのうち社内ハッカソンでリベンジしてやる…

また参加したい！

そんなこんなで YAPC::Asia Tokyo 2015 最高でした。今後、少なくとも YAPC という名前では開催されなくなるのだと思いますが、またぜひ参加したいなと思います。

__END__

autoexec.bat あるいは /etc/rc 的なやつ

HDInsight は「ジョブを繰り返し実行する間だけクラスタを動かしておき、使わなくなればクラスタを削除」という使い方が一般的です。「次回も使う(かもしれない)からとっておきたいデータ」はデフォルトファイルシステムである BLOB ストレージへ置いておくわけです。

こういう使い方をする以上、頻繁に「クラスタの作成」を繰り返すことになりますが、そうなると「クラスタ作成時に行う環境設定処理を自動化」したくなるのが人情というものです。最近追加された ”Script Action” で、これが可能になりました。

Script Action を試してみる

最近の Azure 新機能の例にもれず、Script Action も現時点(2014/12/01)では管理ポータルから設定できません。Azure PowerShell  を使う必要があります。

具体的には、下記のように New-AzureHDInsightClusterConfig の出力を Add-AzureHDInsightScriptAction にパイプして、スクリプトのURIなどを指定します。

New-AzureHDInsightClusterConfig <ゴニョゴニョ> |
Add-AzureHDInsightScriptAction `
-Name スクリプト名 `
-ClusterRoleCollection 実行するノードの指定 (HeadNode|WorkerNode|HeadNode,WorkerNode)`
-Uri スクリプトのURI

-Name はスクリプト定義に対して付ける名前です。スクリプトファイル名ではありません。処理の内容が分かりやすい名前を付けておくのがよいと思います。

-ClusterRoleCollection には、スクリプトを実行したいノードの種別を指定します。”HeadNode”はHadoopのネームノード(HA構成なので2台)、DataNodeはデータノード達です。
※ ヘッドノードとデータノードの両方を指定するときは、書き方に注意してください。

1. ○ -ClusterRoleCollection HeadNode,WorkerNode
2. ○ –ClusterRoleCollection “HeadNode”, “WorkerNode”
3. × –ClusterRoleCollection “HeadNode,WorkerNode”

3番目の書き方は、“HeadNode,WorkerNode”という一つの文字列になってしまいますので、正しく解釈されません。このオプションには配列を渡す必要があるのです。

–Uri  にスクリプトのフルパス名、というか URL を指定します。
https://アカウント.blob.core.windows.net/scripts/hdistartup.ps1
という感じで。

スクリプトは、PowerShell で記述してどこか適当な所 (全ノードからHTTPでアクセス可能なところ) に置いておきます。HDInsight なのでデフォルトの BLOB ストレージへ置いておくのが簡単です。私は、Set-AzureHDInsightDefaultStorage で指定するストレージアカウントに、 scripts というコンテナを作成して、そこへ置いています。 内容は、たとえばこんな感じです。(実際今日試したもの)

全然 PowerShell である必要がない一行ですね…これを “hdistartup.ps1”などと名付けて BLOB ストレージへ置いておくわけです。
 

権限！

さて。賢明なる読者諸氏はすでにお気づきかもしれません。先ほどのスクリプト例、 setx に /M をつけて「システム環境変数」をセットしていますが、これは管理者権限が必要な操作です。

HDInsight のヘッドノードへログオンできるユーザーには管理者権限が付与されず、システム環境変数の設定やシステムロケールの変更、あるいはノードの再起動など様々な操作を封じられてしまっていますが、Script Action なら管理者権限が得られるわけです。これはいろいろ応用の幅が広そうですね！

注意点！ 

Script Action によって実行されるスクリプトは、Azure の Cloud Services におけるスタートアップタスクと同様に、「何度も実行される」ことがあるという点に留意してください。HDInsight のクラスタは Worker ロールの塊ですから、何らかのタイミングで reimage 処理が走り、ロールインスタンスの再作成が起こることがあります。この際、Script Action のスクリプトも再実行されるわけです。

現在の状態に依存せず、何度実行しても同じ結果が得られる、 idempotent な処理を記述するように心がける必要があります。

クラスタ作成スクリプトをどうぞ

さて、Azure 管理ポータルからの GUI によるクラスタ作成に比べると、 PowerShell スクリプトによる作成は若干面倒です(特に不慣れなうちは)。そこで、私が Script Action の実行を試す際に作成したクラスタ作成スクリプトを、GitHub へ置いておきました。よろしければご覧ください。

New-HDInsightClusterWithScriptAction.ps1

Script Action 以外にも、

• クラスタの仮想ネットワークへの配置
• Hive/Oozie メタストアとしての SQL Database の指定

などやっておりますので、パクって使いやすいかと。

関連情報

まだ英語しかないのですが、割とわかりやすい情報がいくつか出ておりますので、ご覧下さい。

基本的な使い方は、こちら
Script Action (Preview) Development with HDInsight

Apache Spark をインストールする例！
Install and use Spark 1.0 on HDInsight clusters (Preview)

そしてこちらは R をインストールする例！
Install and use R on HDInsight Hadoop clusters (Preview)

ぜひ、Script Action をご活用ください。

__END__

HPC Pack 2012 R2の更新版、"Update 1"のプレビューが出ました。今回は、Azure IaaSでのクラスタ展開に関する改良点が多いようですが、スケジューラやMPIライブラリなどのコア部分も地味に手が入っています。
What's Newをドキュメントから主なものを抜き書きしてみると:

IaaS関連

Azure IaaSでヘッドノードや計算ノードを作成する、「IaaSクラスタ」関連の新機能です。IaaS計算ノードは、HPC Pack的にはオンプレミスの計算ノードと同じ扱いで、ノードテンプレートもオンプレと同じ奴を使います(Azureノードテンプレートではありません)

• Azure IaaSのイメージギャラリーに HPC Pack インストール済みイメージが増えました！
  • ヘッドノードをAzure IaaSで作成するためのイメージです。HPC PackとSQL Server 2014 Expressがインストールされています。
  • イメージ名は "96316178b0644ae08bc4e037635ce104__HPC-Pack-2012R2-Update1-4.3.4596.1-WS2012R2-ENU"
• HPC IaaS展開スクリプトの提供
  • 仮想ネットワーク、ストレージアカウント、クラウドサービス、ドメインコントローラ、SQL Serverデータベース等といった構成要素の作成を自動化し、手間いらずでHPC IaaSクラスターができあがっちゃうスクリプトが付いてきます。
• HPC IaaS管理スクリプトの提供
  • ノードの追加・削除、需要に応じた開始・停止用のPowerShellスクリプトも登場。

PaaS関連

「 Azureノードテンプレート」でWorkerロールのインスタンスがデプロイされる、PaaS計算ノード関連の新機能です。

• 新しいロールのサイズを自動認識！
  • これまでのHPC Packでは、Azureのインスタンスサイズ一覧を固定的に保持していました。昨年A5,A6,A7が登場したときや、今年A8,A9が追加されたとき、その時点のHPC Packはそれに対応できず、次のバージョンが出るまで新しいインスタンスを計算ノードとして選択できなかったのですが、今後はそういうことがなくなるようです。
    ※ ってことは、またインスタンスが増えるのかもしれませんね！
• リージョナルVNETへの対応
  • かつて、Azureの仮想ネットワーク(VNET)は、VNET作成時に指定したアフィニティグループ内に存在するものでした。現在は、アフィニティグループではなく、リージョン全体をスコープとする仮想ネットワーク=「リージョナルVNET」が標準です。
    しかし、現在のHPC Packでは、計算ノードを仮想ネットワークに配置する際に「計算ノードを配置するクラウドサービスと同じアフィニティグループに属する仮想ネットワーク」だけを対象とするので、リージョナルVNETは選択肢に出てこず、選ぶことができません。この点が解消されます。
• Azure計算ノードの部分的な起動
  • Azureノードテンプレートを使って作成したノード群を開始する際、今まではそのテンプレートで作成した全てのノード(これがAzure的には1デプロイメント)を一度に開始することしかできませんでした。
  • HPC Pack 2012 R2から、「停止」に関しては1ノードずつ個別に操作できるようになりましたが、今回「開始」操作も個別に可能となりました。

ダウンロード

まだプレビュー版なので、ダウンロードはConnectサイトから。https://connect.microsoft.com/HPC/Downloads/DownloadDetails.aspx?DownloadID=54095

とはいえ、Azure上で試す場合は800MBもある"HPCPack2012R2_Update1-Full.zip"をダウンロードする必要はありません。前述の通り、今回から「HPC Packインストール済みAzure VMイメージ」がギャラリーにありますから！

ヘッドノードを作ってみる。

というわけで、早速Azure上ヘッドノードを作ってみました。ヘッドノードがドメインコントローラとデータベースサーバも兼ねるスタンドアロン構成です。管理ポータルでポチポチクリックしても良いのですが、今回はAzure PowerShellでスクリプトを作って実行してみましたよ。

Azure PowerShellを使う準備が面倒！という方。そんなことないのでこちらをご覧ください↓
「Windows Azure PowerShell を使うには」とブログに書くまでもないほど簡単になってしまった話
※ なお、Azure PowerShellの最新バージョンは0.8.6です。(2014年8月17日現在)

では、スクリプトです。前半の変数に適当な値を設定して、実行してみてください。

$storage = "VHDを格納するストレージアカウント名"
$imgname = "96316178b0644ae08bc4e037635ce104__HPC-Pack-2012R2-Update1-4.3.4596.1-WS2012R2-ENU"

$vmname  = "ヘッドノードのホスト名"
$service = $vmname                 # 仮想マシンを配置するクラウドサービス名。ホスト名と同じである必要はない。
$vmsize  = "仮想マシンのサイズ"    # Large以上がオススメ

$location= "配置するリージョン"    # 日本(東) なら "Japan East"
$vnetname= "仮想ネットワーク名"
$subnet  = "配置するサブネット名"
$ipaddr  = "ヘッドノードに指定する内部IPアドレス"

$admin   = "管理者ユーザー名"
$passwd  = "パスワード"

New-AzureVMConfig -Name $vmname -InstanceSize $vmsize -ImageName $imgname -MediaLocation https://${storage}.blob.core.windows.net/vhds/${vmname}-osdisk.vhd `
|Add-AzureProvisioningConfig -Windows -AdminUsername $admin -Password $passwd `
| Set-AzureSubnet -SubnetNames $subnet `
| Set-AzureStaticVNetIP -IPAddress $ipaddr `
| New-AzureVM -ServiceName $service -VNetName $vnetname -Location $location

なお、上のスクリプトですが、

• あらかじめ、ストレージアカウントと仮想ネットワークを作っておくことが前提です。
  ※ HPC Packのドキュメントには、スタンドアロンのヘッドノードを作る際には仮想ネットワークは不要的なことが書かれており、確かになくても動くのですが、Azure IaaS上にドメインコントローラーを作る場合は仮想ネットワーク上に構築することが推奨されています。つまりドメインが必須なHPC Pack的には仮想ネットワークも必須と思ってください。
• クラウドサービスは仮想マシンと一緒に新たに作られます。
• Set-AzureStaticVNetIP でDIPを指定するのは必須ではありませんが、お勧めします。(ドメインコントローラー兼DNSサーバーにもなりますから、今後IaaSノードを追加したときなんかにアドレスが変わると困ります)

10分前後でヘッドノードのできあがり。ここまでは通常のAzure仮想マシンの作成と何も変わらないのですが、便利になったのはここからです。ヘッドノードにログオンして、インストール済みのソフトウェアを一覧してみましょう。

PS C:\> Get-WmiObject win32_product | sort name | ft Name,Version

Name                                                        Version
----                                                        -------
Microsoft HPC Pack 2012 R2 Client Components                4.3.4596.0
Microsoft HPC Pack 2012 R2 Server Components                4.3.4596.0
Microsoft HPC Pack 2012 R2 Services for Excel 2010          4.3.4596.0
Microsoft MPI (5.0.12435.2)                                 5.0.12435.2
Microsoft ODBC Driver 11 for SQL Server                     12.0.2000.8
Microsoft ReportViewer 2010 SP1 Redistributable             10.0.40219
Microsoft SQL Server 2008 Setup Support Files               10.3.5500.0
Microsoft SQL Server 2012 Native Client                     11.0.2100.60
Microsoft SQL Server 2014 RsFx Driver                       12.0.2000.8
Microsoft SQL Server 2014 Setup (English)                   12.0.2000.8
Microsoft SQL Server 2014 Transact-SQL ScriptDom            12.0.2000.8
Microsoft SQL Server Compact 4.0 SP1 x64 ENU                4.0.8876.1
Microsoft Visual C++ 2010  x64 Redistributable - 10.0.40219 10.0.40219
Microsoft Visual C++ 2010  x86 Redistributable - 10.0.40219 10.0.40219
Microsoft VSS Writer for SQL Server 2014                    12.0.2000.8
SQL Server 2014 Common Files                                12.0.2000.8
SQL Server 2014 Common Files                                12.0.2000.8
SQL Server 2014 Database Engine Services                    12.0.2000.8
SQL Server 2014 Database Engine Services                    12.0.2000.8
SQL Server 2014 Database Engine Shared                      12.0.2000.8
SQL Server 2014 Database Engine Shared                      12.0.2000.8
SQL Server Browser for SQL Server 2014                      12.0.2000.8
Sql Server Customer Experience Improvement Program          12.0.2000.8

HPC Pack 2012 R2一式ととSQL Server 2014が入ってますね～。MSMPIはバージョン5になってます。

ドメインコントローラーにする

しかし、この段階ではまだヘッドノードとして機能していません。HPC PackはActive Directoryドメインの存在を前提としていますが、まだそれがありません。そこで、「管理者として実行」したPowerShellで以下のコマンドを実行しました。

まず、機能を追加して、

Add-WindowsFeature -name ad-domain-services -IncludeManagementTools

次にドメインを作成。ドメイン名は「hpc2012r2.local」にしてみました。パスワードは何か適当に指定してください。

Install-ADDSForest -CreateDnsDelegation:$false -DomainName "hpc2012r2.local" -DomainNetbiosName "HPC2012R2" -DomainMode "Win2012R2" -ForestMode "Win2012R2" -InstallDns:$true -NoRebootOnCompletion:$false -Force:$true -SafeModeAdministratorPassword (ConvertTo-SecureString -String パスワード -AsPlainText -Force)

HPC関連サービスの準備

ドメインコントローラーができあがり再起動が完了したら、もう一つ。HPC Packがどのデータベースを使用するのか指定するためのスクリプトを実行します。これは%CCP_HOME%\binに用意されています。

これまた「管理者として実行」したPowerShellで以下のコマンドを。

& $env:CCP_HOME\bin\HPCHNPrepare.ps1 –DBServerInstance “.\ComputeCluster”

すると、DB接続設定ほか諸々の処理が行われ、HPC関連サービスが起動してきます。最後に
"HPC head node is now ready for use"
と出てくれば準備完了です。

アプリ一覧にHPC Cluster Managerがいますから、スタート画面やタスクバーにピン留めしてやってください。

起動！

見た目は今まで通りですね、何も変わっていません。

最初に実施する必要のある構成タスクについては、以前の記事をご参照ください↓
HPC Pack 2012 R2で最新のクラスタ！InfiniBandも使えます - その2: 計算ノードデプロイ編

というわけで、今回は最新のギャラリーイメージによるヘッドノードの構築手順をお伝えしました。

次回は

IaaS計算ノードの追加方法や、今回提供される新機能の紹介をしたいと思います。お楽しみに！

__END__

この記事は、「Windows Azure アドベントカレンダー」の3月21日分です。

Azure仮想マシンの静的IPアドレス設定機能について書こうかと思ったのですが、3月10日の「Windows Azure仮想マシンのStatic IPアドレス設定」で既に詳しく解説されていますね。

ならば題材を変えて、最近導入された「仮想マシンのゲストエージェント」と、それを使った「リモートデスクトップ接続の再有効化およびパスワードリセット」機能について書こうと思います。

ゲストエージェントと VMAccessAgent 拡張

先月(2014年2月)から、Azure で仮想マシンを作成すると、ゲストOSに「ゲストエージェント」というプログラムがインストールされるようになりました。これは、Azure仮想マシン環境において、ホスト(Hyper-Vの土台側)とゲスト(我々が利用する仮想マシン)間の緊密な連携を可能にする仕組みです。

ゲストエージェントを持たない旧来の仮想マシンは、そもそも「自分がAzure上で動いている仮想マシンである」ことを意識していません(認識できません、といったほうが良いかもしれません)。そのため、例えば「自分が属しているクラウドサービスの名前」とか、「自分のデプロイメントが持っているパブリックIPアドレス」といった情報を取得することはできませんでした。ゲストエージェントが導入されると、こういった「ホスト側でしか知りえない情報」をゲストへ伝えることができるようになります。

下の図をご覧ください。ゲストエージェントが導入された仮想マシンにログオンすると、デスクトップにこのような情報が表示されるようになっています。SysinternalsのBgInfo を実行したんだな、というのはすぐわかりますが、単にゲストOSでBgInfoを実行しても、こうはなりません。デプロイメントIDや、パブリックIPアドレス(VIP)は、ゲストOSだけでは取得できない情報です。

このBgInfoは、ゲストエージェントが持つプラグイン機構を利用した BGInfo 拡張(Extension)として動いています。ゲストエージェントからホスト側の情報をもらって、ゲストOSのデスクトップにそれを表示することができているわけです。

そして、デフォルトで登録されているプラグインがもう一つあります。それが今回のお題、 VMAccessAgent 拡張です。
これは、

1. 誤ってリモートデスクトップ接続を無効化してしまうと、ログオンできなくなってしまう
2. ログオンするためのパスワードを忘れると、再設定する方法がない。

という、Azure仮想マシンの弱点を解消してくれるものなのです。

論より証拠

では、VMAccessAgent 拡張のご利益を実感してみましょう。

1. RDP接続をわざと無効化してAzure仮想マシンから締め出されてみる。
2. その後、VMAccessAgentに助けてもらい華麗に再度ログオンをキメる。 ※ この際ついでにパスワードも変えてみる。

という感じで行きましょう。

Windows Azure PowerShell 0.7.4

VMAccessAgent によるリモートデスクトップ接続関連操作は、”Set-AzureVMAccessExtension”という新しい PowerShell コマンドレットを使って実行します。(現時点では、管理ポータルからはできません) また、このコマンドレットは、3/11にリリースされた Windows Azure PowerShell 0.7.4 が必要です。まずはこの最新のWindows Azure PowerShellをインストールしてください。

インストール方法は、Windows Azureアドベントカレンダーの3/19分であるこちら「Windows Azure PowerShell のコマンドレットを分類してみた」に詳しく解説されていますので、ご覧下さい。

あ、もちろんこっちを見てもらっても良いんですよ。「Windows Azure PowerShell を使うには」とブログに書くまでもないほど簡単になってしまった話」

とにかく、こういう風に 0.7.4 の Windows Azure PowerShell が入ればOKです。

PS C:\work> Get-Module

ModuleType Version    Name                                ExportedCommands
---------- -------    ----                                ----------------
Binary     0.7.4      Azure                               {Add-AzureAccount, Add-AzureCacheWorkerRole, Add-AzureCert...

リモートデスクトップを無効化して締め出されてみる

まずは、Azure仮想マシンで「あえてリモートデスクトップ接続を無効化する」わけですが、間違ってゲストエージェントの入っていない仮想マシンでこれをやってしまうと大変面倒なことになるので、まずは実験対象の仮想マシンに、確実にVMAccessAgent拡張が入っているか、確認してみましょう。Windows Azure PowerShellでこのようなコマンドを実行します。

Get-AzureVM -ServiceName ksvm01 -Name ksvm01 | Get-AzureVMExtension
※ ksvm01というのは私の環境での名前なので、適宜置き換えてください。

こんな風に↓ VMAccessAgentが出てくればOKです。

ExtensionName        : BGInfo
Publisher            : Microsoft.Compute
Version              : 1.0
PrivateConfiguration :
PublicConfiguration  :
ReferenceName        : BGInfo
State                : enable

ExtensionName        : VMAccessAgent
Publisher            : Microsoft.Compute

では、ちょっと緊張しますが、リモートデスクトップ接続を無効にしてみようと思います。

さて、「OK」をクリックしますよ…

ｷﾞｬｰ!

あまり心臓によくありませんね。

リモートデスクトップ接続を有効にする

では、この状態を修復してみたいと思います。簡単です。VMAccessAgentがあればね。

Get-AzureVM -ServiceName ksvm01 -Name ksvm01 | Set-AzureVMAccessExtension | Update-AzureVM

※ 例によってksvm01部分は適宜置き換えてください。

OperationDescription                    OperationId                             OperationStatus
--------------------                    -----------                             ---------------
Update-AzureVM                          7323d775-f63b-8a3d-994a-c412b542c0ec    Succeeded

こんな風に”Succeeded”と表示されれば完了です。

ただし、VMAccessAgentの効果を発揮させるには、仮想マシンを再起動する必要があります。

Get-AzureVM -ServiceName ksvm01 -Name ksvm01 | Restart-AzureVM

※ 例によってksvm01部分は適宜置き換えてください。

リモートデスクトップ接続を有効にし、管理者のユーザー名とパスワードを再設定する

さて、これで「誤ってリモートデスクトップを無効化した」ケースからは生還できることがわかりました。では、「パスワード忘れちゃった」ケースはどうでしょうか。

実はこれも、先ほどと同じ Set-AzureVMAccessExtension コマンドレットで対処できます。管理者ユーザー名とパスワードを、こんな風に再設定できるのです。

Get-AzureVM -ServiceName ksvm01 | Set-AzureVMAccessExtension -UserName ユーザー名 -Password パスワード  | Update-AzureVM

「パスワード忘れちゃったんだけど、どうしたら復活できる？」というお問い合わせは、実際何度か頂いたことがあります。これからは簡単に復旧できますね。

関連情報

ゲストエージェントとVMAccessAgentに関しては、下記の二つのブログ記事に非常に詳しく、わかりやすく書かれています。こちらもぜひご参照ください。

VM Agent available for Azure VMs

Enable RDP or Reset Password with the VM Agent

__END__

前回の記事では、Azure上に仮想ネットワークと仮想マシンを作成して、HPC Pack 2012 R2をインストールし、ヘッドノードを構築するところまでを解説しました。今回は、計算ノードをデプロイしてMPI診断テストを流すところまでです。

証明書設定

Windows Azure計算ノードをデプロイするためには、Windows Azureの「サービス管理API」というやつを呼び出す必要があります。この、面倒なAPI呼び出しそのものはHPCクラスタマネージャがやってくれるので楽ちんなのですが、サービス管理APIを呼び出すためには、クライアント証明書による認証が必要です。

Windows Azure サービス管理 API では、サービスに対して行われた要求が安全であることを保証するために、SSL を介した管理証明書の相互認証が必要です。匿名の要求は許可されません。
https://msdn.microsoft.com/ja-jp/library/windowsazure/ee460782.aspx

そのため、

• APIを呼び出す主体を表す公開鍵証明書と、それに対応する秘密鍵を準備する。
• 上記証明書を、Azure管理ポータルに「管理証明書」として追加する。

という二つの作業が必要です。面倒ですね。しかしご安心ください。「とりあえず簡単に試してみたい」という方のために、HPC Packのインストールと同時に自己署名証明書がWindowsの証明書ストアにインストールされるようになっています。今回はこれを使いましょう。

証明書の確認

まずは、証明書の存在を確認してみましょうか。PowerShellで。あ、GUIじゃないと...っていう人は、certlm.mscを使ってください。

PS C:\> dir Cert:\LocalMachine\My | ?{$_.Subject -match "HPC Azure"} | ft Subject,Thumbprint,HasPrivateKey -AutoSize

Subject                                   Thumbprint                               HasPrivateKey
-------                                   ----------                               -------------
CN=Default Microsoft HPC Azure Management B6D115671BBD3E6C028803AF9E9DE8DBC0DDD6F2          True
CN=Microsoft HPC Azure Client             4D1664C80F2233F8C226DB1866CDD2CD496E26F0          True

PS C:\> dir Cert:\LocalMachine\Root | ?{$_.Subject -match "HPC Azure"} | ft Subject,Thumbprint,HasPrivateKey -AutoSize

Subject                                   Thumbprint                               HasPrivateKey
-------                                   ----------                               -------------
CN=Default Microsoft HPC Azure Management B6D115671BBD3E6C028803AF9E9DE8DBC0DDD6F2         False
CN=Microsoft HPC Azure Client             4D1664C80F2233F8C226DB1866CDD2CD496E26F0         False
CN=Microsoft HPC Azure Service            1F679606346CC62187600E7CD6AA4966EB83EA90         False

赤字部分の”Default Microsoft HPC Azure Management”がHPC Packと共にインストールされた、テスト用証明書です。LocalMachine\Myに鍵ペアが、LocalMachine\Rootに公開鍵証明書が入ってます。

証明書のエクスポート

Rootに入っている方を.cerファイルにエクスポートして、Azure管理ポータルにアップロードします。このコマンドは「管理者として実行」したPowerShellでお願いします。あ、GUIじゃないと...っていう人は、またしてもcertlm.mscを使ってください。

• 証明書のThumbprint部分は、環境に応じて適切に置き換えてください。
• ”c:\sasahpc.cer”の部分は出力されるファイル名です。これも適切に置き換えてください。

PS C:\> Get-Item Cert:\LocalMachine\Root\B6D115671BBD3E6C028803AF9E9DE8DBC0DDD6F2 | Export-Certificate -Type CERT -FilePath c:\sasahpc.cer

    Directory: C:\

Mode                LastWriteTime     Length Name
----                -------------     ------ ----
-a---         2/19/2014   9:54 AM        822 sasahpc.cer

エクスポートできましたか？

証明書のアップロード

次に、これをアップロードするためにブラウザでWindows Azure管理ポータルへアクセスし、「設定」→「管理証明書」タブで「アップロード」ボタンをクリックします。

先ほどエクスポートした.cerファイルを選択します。

こうなれば完了です。

クラウドサービスとストレージアカウントの準備

Azure管理ポータルを開いたついでに、HPC用のクラウドサービスとストレージアカウントを作っておきましょう。Windows Azure計算ノードはAzureの「クラウドサービス」機能(PaaS)におけるWorkerロールのインスタンスとしてデプロイされます。それを配置するためのクラウドサービスです。ストレージアカウントは、そのパッケージファイルなどを置くために使われます。

作り方は非常に簡単なので詳しく書きませんが、一つ大事な大事な注意点があります。

HPC用インスタンスであるA8,A9は、（いまのところ）
US North Central（米国中北部）と
Europe West（西ヨーロッパ）にしかありません！

というわけで、計算ノードを収めるクラウドサービスは、上記2リージョンのどちらかに作ってください。私はUS North Centralに作ってみました。これはシカゴです。シカゴのHPCインスタンスといえば、TOP500に載ったクラスタそのもの！(だと思います)

同様に、ストレージアカウントも作成します。

これでAzure側の準備は完了です。

HPCクラスタの初期設定

ようやくHPCの設定ができまね。ヘッドノードでHPCクラスタマネージャを起動します。

“Required deployment tasks (Incomplete)”というのが出ているかと思います。これをすべてクリアしなければ、使い始めることができません。面倒ですね。

サクサクと片付けましょう。

ネットワーク構成 (Configure your network)

まず、ネットワーク構成の選択です。ヘッドノードはNICを一枚しか持っていませんので、ここはトポロジ5しか選択できません。このまま進んでください。

次の画面もこれしか選択しようがありませんので、そのまま進みます。

次にファイアウォールの設定が出てきますが、これはオンプレミスのクラスタ用で、Windows Azure計算ノードにはあまり関係がありません。デフォルトのまま進みましょう。

完了！

次行きましょう。

インストール資格情報 (Provide installation Credentials)

これも実はWindows Azure計算ノードを使うだけならあまり関係ありません。ここではドメインの管理者を入力してみました。

新規ノードの命名規則 (Configure the naming of new nodes)

これまたオンプレミス用の設定です。WDSで計算ノードにOSを注入するときのホスト名生成規則です。Windows Azure計算ノードには適用されませんので、デフォルトのままでも構いません。

ノードテンプレートの作成(Create a node template)

さぁ、ようやくWindows Azureに関係する設定です。Windows HPCでは、計算ノードをデプロイするために「ノードテンプレート」というものを使うのですが、Windows Azure計算ノードをデプロイするためには、「Windows Azure計算ノードテンプレート」というものを作ります。

”Windows Azure node template”を選びます。

つぎに、ノードテンプレートに名前を付けます。

• 後々コマンドラインで打つこともある(かもしれない)名前なので、英数字で短めにつけておくことをお勧めします。

さて、ここからが肝心です。

• Subscription IDはAzureのサブスクリプションIDです。管理ポータルからコピペしましょう。

管理証明書は、先ほどの”Default Microsoft HPC Azure Management”を選択します。

次の画面に進んで、クラウドサービスとストレージアカウントの選択をします。先ほど作成したやつを選んでください。

次に、プロキシノードの配置ポリシーを設定します。プロキシノードとは、ヘッドノードと計算ノードのやり取りを仲立ちする役目を果たすものですが、良くわからなければつまりデフォルトが最善です。

今度は計算ノードのゲストOSのバージョンを選択します。

ここもぜひ最新バージョンで！といいたいところなのですが、一つ注意点があります。

A8,A9を使う場合は、Windows Server 2012 R2を選択しないでください。

残念なことに、2012 R2ではInfiniBandが使えないのです。ここでは2012を選んでみました。

次にスタートアップスクリプトの設定です。これは、計算ノードの起動時に毎回実行されるバッチファイルを指定できる、という項目です。今回は特に設定せずに進みます。

次は、Windows Azure仮想ネットワーク (VNET)への参加設定です。今回は計算ノードをVNETに参加させませんので、空欄のまま進みます。

まだあるんです。今度はリモートデスクトップの資格情報設定。これを設定しておくと、計算ノードにRDPでログオンできるようになります。新しいA8,A9にログオンしてタスクマネージャとか見てみたいですよね！というわけで設定しました。

もうすぐ終わりです。計算ノードを任意のタイミングで手動起動・停止するか、あるいはスケジュールに従って自動起動・停止するか、という選択です。ここはデフォルトの「手動」のままいきます。

ようやく完了です！”Create”をクリッキングしてください。

Azure計算ノードのデプロイ

いよいよ！計算ノードをデプロイしてみましょう。HPC用の新インスタンスA9を！

HPCクラスタマネージャの左ペインで”Node Management”をクリックし、今度は右ペインから”Add Node…”をクリックします。

“Add Windows Azure nodes“を選んで次へ。

A9行っちゃいましょう！(でもちょっとビビッて4ノード…)

”Finish”でウィザードを完了させると、ノード一覧に今追加したノードが出てきましたね。しかし、”Not-Deployed”となっている通り、この状態ではまだAzureにデプロイされていません。課金も発生しません。

ノードを右クリックして、”Start”します。

次に出てくる確認画面で”Start”をクリックすると、Azureへのデプロイが始まります。

たぶん10分くらいはかかるので、プロビジョニングログでも眺めながら待ちましょう。

Windows Azure管理ポータルのほうから覗いてみるのも良いですね。プロキシノードと計算ノード、2種類のロールが定義されていることがわかります。

っていうか、HPCインスタンスの場合はプロキシノードもA8にグレードアップされるんですね！(課金が怖い…)

あ、できました。10分かかりませんでしたね！

MPI診断テストを実行してみる

Windows HPCにはクラスタの状態を診断する様々なテストが内蔵されています。その中に、Azure計算ノードのMPI性能テストがあります。これを試してみましょう。

下の図のように、Diagnostics → Windows Azure → Windows Azure MPI Communication Test をダブルクリックします。

Azure計算ノードたちは、”Azures Nodes”というノードグループに所属していますので、このグループを選択して”Run”します。

こんなダイアログが出てきたら、”ドメイン名\ユーザー名”形式のユーザー名と、そのパスワードを入力してください。

見せてもらおうか。InfiniBand QDR with RDMAの性能とやらを！

正常に完了したらここ(下図)の”Success”が増えますので、わかります。

テスト結果には、各ノードで計測された「もっとも遅延の大きかった(＝成績悪かった)」結果が報告されます。おおむね4マイクロ秒前後だからなかなかやるじゃなぁい！仮想マシンのくせに。

MPIピンポンもやってみる

mpipingpongというのは、HPC Packに含まれるツールで、MPI通信の遅延と帯域を計測してくれます。これをジョブとしてクラスタに投入してみましょう。

ヘッドノードでコマンドプロンプトを開いて、次のコマンドを実行してください。

job submit /numnodes:4 /nodegroup:azurenodes mpiexec -c 1 -affinity mpipingpong -pb -op -s nul

すると、クラスタへジョブが投入されますので、HPCクラスタマネージャで確認してみましょう。左ペインで”Job Management”をクリックします。

動いてますね！(ジョブID 13が”Running”です)

先ほどのジョブはすぐ終わって”Finished”になります。ダブルクリックして結果を確認してみましょう。

“View Tasks”でジョブの出力を確認できます。

クリップボードにコピーする機能もあるので、ここに貼ってみましょうか。パケットサイズを変えて2回のテストが行われています。

1回目は4バイト、遅延が3マイクロ秒ぐらい。なかなかやるじゃなぁい！

Testing packet size 4 (1024 iterations per link)

Ping Node            Pong Node                   Latency     Throughput
                                                  (usec)       (MB/sec)
-----------------------------------------------------------------------
AZURECN-0001         AZURECN-0002                  3.151          1.211
AZURECN-0001         AZURECN-0003                  3.112          1.226
AZURECN-0001         AZURECN-0004                  3.131          1.218
AZURECN-0002         AZURECN-0003                  3.246          1.175
AZURECN-0002         AZURECN-0004                  3.196          1.194
AZURECN-0003         AZURECN-0004                  3.170          1.203

2回目は４Mバイト、スループットが3.6GB/sでてますね。QDR InfiniBandで実効帯域が32Gbps(=4GB/s)なので、なかなかやるじゃなぁい！

Testing packet size 4194304 (16 iterations per link)

Ping Node            Pong Node                   Latency     Throughput
                                                  (usec)       (MB/sec)
-----------------------------------------------------------------------
AZURECN-0001         AZURECN-0002               1101.581       3631.144
AZURECN-0001         AZURECN-0003               1100.841       3633.587
AZURECN-0001         AZURECN-0004               1100.122       3635.961
AZURECN-0002         AZURECN-0003               1100.263       3635.496
AZURECN-0002         AZURECN-0004               1102.538       3627.995
AZURECN-0003         AZURECN-0004               1100.262       3635.496

というわけで、次回はLizardでLinpack流してみましょうか！

関連情報

• HPC Pack 2012 R2 - 日本語
  https://www.microsoft.com/ja-jp/download/details.aspx?id=41630
• Run MPI Applications with HPC Pack on the A8 and A9 Compute Intensive Instances
  https://msdn.microsoft.com/library/windowsazure/dn592104.aspx
• Microsoft MPI
  https://msdn.microsoft.com/en-us/library/bb524831(v=vs.85).aspx

__END__

HPC Pack 2012 R2 が登場しました。今回の目玉はズバリこれです。

Windows Azureの新インスタンス A8 と A9 に対応！

A8,A9とは、コアあたり7GBのメモリと40GbpsのInfiniBandを備えた、HPC用の新インスタンスです。そう、2012年11月のTOP 500ランキングに登場したやつですよ！ずいぶん時間がかかってしまいましたが、ようやく皆さんにお使いいただけるようになりました。

というわけで今回は、HPC Pack 2012 R2でWindows Azure上にクラスタを作り、A8, A9のInfiniBandを試す！という手順をお伝えします。

この記事で作成するクラスタの概要

オンプレミスとクラウドにまたがるハイブリッドクラスタを構築できるのがHPC Packの特徴ですが、今回はヘッドノードも含めてすべてAzure上に配置する「完全クラウド構成」を作ってみます。構成要素は次の通り。

• ヘッドノード

• 「Windows Azure 仮想マシン (WAVM)」機能で作ります。
• ゲストOSは最新のWindows Server 2012 R2を使います。
• HPC Packでのクラスタ構築にはActive Directoryのドメインが必須なので、ヘッドノードはドメインコントローラも兼務します。

• Windows Azure仮想ネットワーク (VNET)

• WAVMでドメインコントローラを作成する場合、VNETへの配置がMUSTです。

• 計算ノード

• Windows Azureの「クラウドサービス (PaaS)」機能で作ります。
• IaaS (WAVM)で作成する仮想マシンを計算ノードにすることもできますが、A8,A9は今のところPaaSでのみ利用可能であるため、今回はIaaS計算ノードは利用しません。

絵にするとこんな感じです↓ 計算ノードを仮想ネットワークへ配置することも可能ですが、必須ではありません。

仮想ネットワークの作成

ヘッドノードを作る前に、仮想ネットワークを作成する必要があります。

Windows Azure管理ポータルの「新規」ボタンから「ネットワークサービス」→「仮想ネットワーク」→「カスタム作成」とたどります。

仮想ネットワークの名前や配置場所を決めます。

• 名前は、ここでは”vnet-hpc2012r2”としました。
• アフィニティグループは、既存のものを再利用できないこともありませんが、特にその必要がない限り、「新しいアフィニティグループの作成」をしたほうが面倒がありません。
• リージョンは、ヘッドノードの配置場所としてだけ考えればどこでもOKです(なにせヘッドノードはAzure上にある必要すらないので)。が、A8やA9のインスタンスをこの仮想ネットワークに配置したい(＝ヘッドノードとLANで結びたい)場合は、注意が必要です。A8,A9は今のところ「米国中北部(US North Central)」, 「西ヨーロッパ (Europe West)」の2か所でしか使えませんので、仮想ネットワークもそのどちらかに作る必要があります。
  今回はA8,A9を仮想ネットワークに配置する予定はないので、ここではリージョンとして「東アジア」を選択しました。

次に、DNSとVPNの設定ですが、はっきり言って不要です。何せ今回仮想ネットワークに乗っかるのはヘッドノード1台きりなので…
(じゃ、なぜ仮想ネットワークが必要かといえば、Active Directoryのためで、なぜ一台のためにADが必要かといえば、オンプレミスのHPCクラスターでは計算ノードをすべてドメインへ参加させるため、HPC PackはAD必須なのです。)

ここが肝心のところです。仮想ネットワークのアドレス空間とサブネットを定義します。

• 今回は、192.168.0.0/16というアドレス空間の中を確保し、
• 192.168.10.0/24というサブネットを一つだけ定義しました。ここにヘッドノードを載せます。

出来上がるまで数分かかりますのでお待ちください。

ヘッドノードの仮想マシン作成

では、いよいよヘッドノードを作ります。

Windows Azure管理ポータルの「新規」ボタンから「コンピューティング」→「仮想マシン」→「ギャラリーから」とたどります。

せっかく最新のHPC Packと最新のA8,A9インスタンスを使うので、土台になるOSも最新のWindows Server 2012 R2にしましょう。

仮想マシンの名前やインスタンスサイズを決めます。

• サイズは、Lにしてみました。

• ヘッドノードではSQL Serverも動きますので、Mサイズ以上が良いと思います。

• 「新しユーザー名」のところは、このマシンの管理者となるユーザー名を決めます。

次に、クラウドサービス名や配置場所を決めます。

• 「リージョン/アフィニティグループ/仮想ネットワーク」の項目で、先ほど作成した仮想ネットワークを選んでください。
• 「仮想ネットワーク サブネット」は、今回はサブネットが一つしかないので自動的に決まります。
• 「ストレージ アカウント」は自動生成でOKです。(もちろん、既存のものを使ってもかまいません)
• 「可用性セット」は、今回はマシンを一台しか作りませんので「なし」でOKです。

最後に、エンドポイント設定となりますが、これはデフォルトでOKです。

仮想マシンが出来上がるまで10分程度お待ちください。

ドメインコントローラにする

さて、出来上がったWindows Server 2012 R2で最初に行うべき作業は、こいつをドメインコントローラにすることです。「管理者として起動」したPowerShellで、次のようにコマンドを入力してください。

Add-WindowsFeature -name ad-domain-services -IncludeManagementTools

これで、AD DSの機能がインストールされたので、次にこのマシンをドメインコントローラにして新しいフォレストを作ります。

Install-ADDSForestコマンドレットを使います。下記の通りそのまま実行すると、

• ドメイン名: hpc2012.local
• ドメインの機能レベル: Windows Server 2012 R2
• フォレストの機能レベル: Windows Server 2012 R2

で作成されます。最新ピカピカですね。

Install-ADDSForest -CreateDnsDelegation:$false -DomainName "hpc2012r2.local" -DomainNetbiosName "HPC2012R2" -DomainMode "Win2012R2" -ForestMode "Win2012R2" -InstallDns:$true -NoRebootOnCompletion:$false -Force:$true

実行すると、こんな風に管理者パスワードの設定を求められますので、適当に設定してください。

放っておくと自動的にサーバーが再起動されます。再起動したら、再びログオンして下さい。

※ なお、ここに書いたドメイン構築コマンドは以前の記事からほぼコピペしました。

HPC Packをインストールする

いよいよ、HPC Packをインストールしてこのマシンをヘッドノードにします。方法そのものはいつも通りなので、以前の記事を参考にして適当にインストールしてください。

・・・

というのもあまりといえばあんまりなので簡単に書きます。まずは下記のページからHPCPack2012R2-Full.zipをダウンロードしてください。680MBほどあるので、そこそこ時間がかかるかもしれません。

HPC Pack 2012 R2 - 日本語

ダウンロードできたらZIPを展開します。私はD:\HPCPack2012R2-Fullに展開しました。

次に、setup.exeを実行します。簡単に済ませたいので、これも無人インストールしましょう。CMDでもPowerShellでも良いですが、とにかくこういうコマンドを打ちます。(ここではPowerShellを使いました)

PS D:\HPCPack2012R2-Full> .\setup.exe -unattend -headnode

時間はそこそこかかります。DHCPやWDSのようなWindows Serverの機能を有効化したり、SQL Serverをインストールしたりしますから。(WDSなんかはAzure上では無意味なのですが、オンプレのクラスタではノード展開に大活躍するのです)

-unattend を付けた無人インストールでは「終わりました」というお知らせは特にありません(誰も見てないのが前提ですから)。インストーラのウィンドウが消えたら、完了しています。アプリケーション一覧に、”Microsoft HPC Pack 2012”というカテゴリができていますので、そこの”HPC Cluster Manager”をスタート画面とタスクバーにピンしておいてください。

さて、少し長くなってしまったので、HPC Packのインストールが完了したところで一旦区切ります。次回は計算ノードをデプロイするための証明書設定から解説します！

次回: 計算ノードデプロイ編！

__END__

この記事は Windows Azure Advent Calendar 2013 の23日目です。

さて。今年は @dankogai さんにお会いできたり、YAPC::Asia Tokyo 2013で話す機会を頂いたり したために、実に久しぶりにPerl熱が(自分の中で)再燃した年でした。また、 @junnama さんが Net::Azure::StorageClient なるモジュールをCPANに登録するという嬉しい出来事もあったのです。これは、 Perl 版の Azure ストレージクライアントライブラリです。私もさっそくこれを使って、「ページBLOBの割り当て済みサイズを取得するツール」という小さなスクリプトを書いてみたりしました。

RA-GRS is here!

ところで、Azureのストレージといえば、「読み取りアクセス地理冗長」(RA-GRS) のプレビューが始まりましたね。今までは、地理冗長(同一ジオ内への別リージョンへの自動的な複製)がデフォルトで有効になっていたものの、セカンダリ側のデータに普段はアクセスできず、ジオフェールオーバーが発生しない限り複製は役に立たなかったわけですが、RA-GRS を使うとセカンダリ側のデータをいつでも読み取ることができます。(セカンダリ側には書き込めません。それ故 ”RA”-GRS)

プレビュー機能ページからの申し込みが有効になっていれば、ストレージアカウントの「構成」タブでこんな風に設定できます↓

すると、セカンダリエンドポイントが使えるようになります。ストレージアカウント名に ”-secondary” を付けたホスト名となります。

また、「最終の同期時刻」(LastSyncTime)という項目も増えます。セカンダリへの同期は非同期ですから、「どの時点の内容までは伝わっているのか」をこれで示しているわけです。

# 23日の内容なのにギリギリになってから慌てて書いているのがバレバレですね。

There is more than one way to do it.

となれば、業界標準かつクロスプラットフォームでアワードウィニングなスクリプト言語であるところの Perl で RA-GRS してみようと思うのは極めて自然であると言えましょう。もちろん、.NET版のストレージクライアントライブラリ 等を使えば簡単にアクセスできるわけですが、それではオモシロミに欠けるというものです。

そこでまずは、前述の「ページBLOBの割り当て済みサイズを取得するツール」である get-usedsize.pl を使って、自分のストレージアカウントのセカンダリ側を調べてみることにしました。なお、@junnama さんのストレージクライアントモジュールの名前が、当初の WindowsAzure::Blob から Net::Azure::StorageClient::Blob へ変わっているので、それに合わせて get-usedsize.pl も直しました。

さて、試してみます。get-usedsize.pl は第1引数としてストレージアカウント名をとるのですが、ここに ”-secondary” を付けた名前を指定してみます。

C:\>perl get-usedsize.pl ksasiaeast02c-secondary アクセスキー vhds
ERROR: 400: ・ｿ<?xml version="1.0" encoding="utf-8"?><Error><Code>OutOfRangeInput</Code><Message>One of the request inputs is out of range.
RequestId:xxxxxxxx-e22f-43a2-xxxx-8df6717a4e7e
Time:2013-12-23T05:08:57.9803639Z</Message></Error> at get-usedsize.pl line 22.

あれ、エラー・・・

最初に疑ったのはプロトコルバージョンです。RA-GRS はリクエストの x-ms-version フィールドに ”2013-08-15” を指定しなければ使えません。そこで、Net::Azure::StorageClient::Blob のコンストラクタで api_version を指定してみました。

my $client = Net::Azure::StorageClient::Blob->new(
    account_name        => $account_name,
    primary_access_key  => $primary_access_key,
    container_name      => $container_name,
    api_version         => '2013-08-15',
);

が、同じエラー・・・

しかし ”-secondary” を付けずにいつも通りプライマリ側へアクセスする場合は何の問題も起きないので、やはり ”-secondary” の指定が関係していると思わざるを得ません。はてどこを直せば、、、もしかしてセカンダリ側へアクセスするときには何か追加の設定が必要なのかも、とストレージサービスのREST APIリファレンスを調べてみたりしたのですが、特にそういうものはなさそうです…

接続先としては ”-secondary” を指定しなければ意味が無い、しかし、どこかに ”-secondary" を指定してはいけない場所がある気がする…

あ、もしかして？

ストレージの認証ヘッダ

Windows Azureストレージ の REST API を呼び出す際は、Authorization ヘッダフィールドに複雑怪奇な呪文を唱えながら生成した署名をくっつけてやる必要があるのですが、これは以下のような形をしています。

Authorization: SharedKey ストレージアカウント名:署名

この「ストレージアカウント名」というのは、ひょっとして “-secondary” 付きの名前では無く、List Storage Accountsが返してくるアカウント名そのものなのでは、と推測したわけです。現状のNet::Azure::StorageClientは account.blob.core.windows.net のようなFQDNから、「最初のピリオドより前」を切り取ってストレージアカウント名としているので、”-secondary” がくっついてきちゃうのです。

試しに、ストレージアカウント名を取り出している部分のコードを、ちょびっといじってみました。

赤い部分を緑部分のように変えたわけです。文字クラス \w に ’-‘ (ハイフン) は含まれませんので、\w+ は ’-‘ の直前までを消費して $1 には ”-secondary” を除いたストレージアカウント名が入ります。

※ なお、簡単な文字列処理も全部正規表現でやっちゃうのはPerl星人のごく一般的な習慣です。indexofとかsubstringとかめんどくさくて…

さぁ、これでうまく動くようになりました！

C:\>perl get-usedsize.pl ksasiaeast02c-secondary vhds
3637658112/32212255232 3.4/30 (11.3% used) 0nl5kzo5.2cz201308300518360065.vhd
1677476352/68719477248 1.6/64 (2.4% used) centdb01-centdb01-0706-1.vhd
68712944128/68719477248 64.0/64 (100.0% used) centdb01-centdb02-0706-1.vhd
3271582208/32212255232 3.0/30 (10.2% used) keazt1ai.g5h201307031712170126.vhd

“vhds” というコンテナの中にある BLOB 達すべてにつき、BLOB のサイズのうち実際にページが書き込まれているのはどの程度なのか、数え上げるスクリプトです。上記実行例ではセカンダリ側にアクセスしてこの数え上げ処理をやっています。

@junnama さんに pull request 出しておきました。正規表現をちょびっと直すだけなのですが、Gitあまり使ったこと無かったので、pull requestというのをやってみたかったのです…

RA-GRS情報取得API

さて、セカンダリエンドポイント目がけて API を呼び出せるようになったところで、もう一つ何か試してみたいと思います(もちろん Perl でね！)

題材としては、RA-GRSの登場とともに増えたAPI Get Blob Service Stats (REST API) を使って、セカンダリ側の状態を問い合わせてみるというのはどうでしょうか。これを呼び出すと、以下のようなレスポンスが返って来るようです。

<?xml version="1.0" encoding="utf-8"?>
< StorageServiceStats>
  <GeoReplication>     
      <Status>live|bootstrap|unavailable</Status>
      <LastSyncTime>sync-time|<empty></LastSyncTime>
  </GeoReplication>
< /StorageServiceStats>

この API を呼び出し、返ってくる XML を解析し、Status と LastSyncTime を表示する簡単なスクリプト “get-blobstats.pl” を書いてみましょう。

まず、スクリプト冒頭に以下の2行。これはお約束。

use strict;
use warnings;

次に、必要なモジュールをuseします。

use LWP::UserAgent;
use XML::Simple;
use Net::Azure::StorageClient::Blob;

Get Blob Service Stats (REST API)はかなり新しいAPIなので、まだNet::Azure::StorageClientには対応するメソッドが存在しません。そこで、Net::Azure::StorageClientはその一部の機能を使い、実際のAPI呼び出し処理と結果の解析は自前で行います。とはいえ、HTTP は LWP::UserAgent に、XML 解析は XML::Simple に任せてしまえるので、楽なものです。

では、処理開始、まずはストレージクライアントをインスタンス化します。コマンドライン引数で、対象のストレージアカウント名(“-secondary”を付けて)と、アクセスキーを指定する想定です。

my ($account_name, $access_key) = @ARGV;

my $client = Net::Azure::StorageClient::Blob->new(
    account_name        => $account_name,
    primary_access_key  => $access_key,
    api_version         => '2013-08-15',
);

次に、HTTP::Request オブジェクトを作ります。赤字部分で呼び出し API を指定しているわけです。

my $req = new HTTP::Request("GET", "https://${account_name}.blob.core.windows.net/?restype=service&comp=stats");

そして、次に Net::Azure::StorageClient の便利機能を活用します。sign メソッドが面倒な Authorization ヘッダを作ってくれるので楽ちん。

$req = $client->sign($req);

いよいよ API を呼び出します。HTTP レスポンスは $res に返ってきます。

my $res = LWP::UserAgent->new->request($req);

返ってきた $res はいろんな要素が詰まったハッシュ(のリファレンス)なのですが、この中の {_content} キーに HTTP のレスポンスボディが入っています。これは前述の通り XML 形式なので、XML::Simple を使って扱いやすい Perl のデータ構造に変換してやります。

my $result = XML::Simple->new->XMLin($res->{"_content"});

これで、$result には API のレスポンスを表すハッシュリファレンスが入ります。こんなの↓

0  HASH(0x48ac208)
   'GeoReplication' => HASH(0x48b01a0)
      'LastSyncTime' => 'Mon, 23 Dec 2013 14:46:00 GMT'
      'Status' => 'live'

後はこれを整形して表示するだけですね。

print "Status: $result->{GeoReplication}->{Status}\n";
print "LastSyncTime: $result->{GeoReplication}->{LastSyncTime}\n";

では、実行してみましょう。

C:\>perl  get-blobstats.pl ksasiaeast02c-secondary アクセスキー
Status: live
LastSyncTime: Mon, 23 Dec 2013 14:47:41 GMT

RA-GRS は有効(live)で、最終同期時刻は日本時間の 23:47 だということがわかります。

いやー！やっぱり Perl で書くと簡単ですね!?

関連情報

Windows Azure ストレージの冗長オプションと読み取りアクセス地理冗長ストレージ

Authentication for the Windows Azure Storage Services

Get Blob Service Stats (REST API)

Net::Azure::StrageClientモジュールを書いてCPANデビューした話。

Strawberry Perl

__END__

どんな ID で管理ポータルへアクセスするかによって設定方法が異なるのですが、まずは今のところ多数派であると思われる Microsoft アカウント (旧称: Windows Live ID) を利用する場合の方法について説明します。

今後は、 Windows Azure Active Directory のアカウントを利用することも増えてくると思いますので、それに関してはまた別の記事で説明します。

Microsoft アカウントの2段階認証設定方法

Microsoft アカウントで「2段階認証」という認証方式を有効にすると、ユーザーは、通常のユーザー名、パスワードの他に何らかの手段で受け取った「セキュリティコード」（ワンタイムパスワード）を入力することで初めてログオンできるようになります。具体的に方法を見ていきましょう。

まずは https://account.live.com/ へアクセスします。

「概要」→「セキュリティ情報」から「2段階認証のセットアップ」をクリックします。

次の画面では単に「次へ」をクリックします。

認証アプリのセットアップ画面が出てきます。

「認証アプリ」というのは何かといえば、スマートフォンにこのアプリケーションを導入して、Microsoft アカウントと関連付けると、スマートフォンがセキュリティコード（ワンタイムパスワード）の生成器になるのです。Windows Phone用にはマイクロソフト製の認証アプリがあります。

iPhoneやAndroid用は、マイクロソフト製のものはありませんがご安心ください。これは要するに TOTP (Time-based One-time Password Algorithm) 準拠のワンタイムパスワード生成アプリであれば良いので、例えば Google Authenticator 等が利用できます。それらのアプリで下図の画面の QR コードを読み取れば、関連付けができます。

次にこんな画面が出てきます。

「アプリパスワード」というのは、Web ブラウザ以外の「セキュリティコードを入力できない既存のアプリケーション」を使うときに、代わりに利用するパスワードです。例えばスマートフォンのメールアプリ等で利用します。ブラウザで Windows Azure 管理ポータルへアクセスすることだけを考えるなら、ひとまずこれは無視してかまいません。

以上で2段階認証のセットアップは完了です。早速、Windows Azure管理ポータルへアクセスしてみましょう。

2段階認証を使用したログオン

通常通り、まずは Microsoft アカウントログオン画面へ。

次に、こんなのが出てきます。ここに「セキュリティコード」を入力するわけです。

先ほどの手順でスマホに認証アプリをセットアップ済みであれば、アプリの画面に表示されているコードを入力します。(iPhone で前述の Google Authenticator を使った場合の画面です）

これで、めでたく管理ポータルへのログオンが完了します。

認証アプリ以外の方法

なお、セキュリティコード入力欄の隣にある「別の確認オプションを使う」をクリックすると、コードを取得する別の方法が選択できます。

• 「電話をかける」を選ぶと、あらかじめ Microsoft アカウントに登録しておいた携帯電話番号に自動音声電話がかかってきて、コードを(機械の)お姉さんが教えてくれます。
• 「メールを送信」を選ぶと、これもあらかじめ登録しておいたメールアドレス宛に、 account-security-noreply@account.microsoft.com からコードを知らせるメールが来ます。

いずれにせよ、Microsoft アカウントとパスワードを「知っている」ということのほかに、パスコードを生成ないしは受け取ることができる『デバイスを持っている』という別の要素を組み合わせて認証の安全性を高めているわけです。設定も以上の通り簡単なので、ぜひお試しください。

関連情報

Microsoft Account Gets More Secure

__END__

Windows Azure PowerShell は実に便利です。

例えば「動いてる VM 全部シャットダウンしたい」時、管理ポータルで一台ずつポチポチしてると空しくなりますよね。コンピュータに使われている気がして。そこで、PowerShell です。

Get-AzureVM | ?{$_.Status -eq "ReadyRole"} | Stop-AzureVM -Force

これで「あとやっとけよ、お前ら」と機械をこき使うことができるわけです。

また、以前「エンドポイントに ACL を！」で書いたエンドポイントACLのように、PowerShell を使わねければ（今のところ）設定できない機能もあったりします。

証明書の設定が面倒だった

この Windows Azure PowerShell、便利なのは前述の通りなのですが、使い始めるまでがちょっと面倒でした。マイクロソフトアカウントでログオンするだけの Azure 管理ポータルと違って、サービス管理 API を呼び出すためにクライアント証明書による認証の準備が必要だったからです。

Windows Azure サービス管理 API では、サービスに対して行われた要求が安全であることを保証するために、SSL を介した管理証明書の相互認証が必要です。匿名の要求は許可されません。
https://msdn.microsoft.com/ja-jp/library/windowsazure/ee460782.aspx

このために、

1. 鍵ペアを生成して、
2. 公開鍵証明書を証明書ストアからエクスポートして
3. それを Azure 管理ポータルへアップロードして
4. Set-AzureSubscription で設定する

という作業をする必要がありました。

また、これを楽に行うために Get-AzurePublishSettingsFile とImport-AzurePublishSettingsFile というコマンドレットが用意されていたのですが、これは実行するたびに新たな証明書を生成するので、テキトーにあちこちのコンピュータで実行した結果、

管理ポータルが管理証明書だらけになる

という残念な現象が起きがちでした。こんなふうに:

こんな面倒とも、もうおさらばです。Windows Azure PowerShell が

Windows Azure Active Directory (WAAD) 認証に対応した

からです。実際にやってみましょう。

最新の Windows Azure PowerShell をインストール

まずは、Windows Azure Active Directory 認証に対応した最新の Windows Azure PowerShell (0.7.0) が必要です。WebPI でインストールしてください。Azure SDK 2.2 など必要なもの一式が同時に入りますから、インストールはそこそこ時間がかかりますがお待ちください。

インストールが完了するとこんな感じです。
※ 余談ですが、Windows Azure Storage Tools も一緒に入っていますね。これには便利な azcopy コマンドが含まれています。

バージョンを確認するには、次のコマンドを実行してください。Azure が 0.7.0 であれば OK です。
Get-Module | ft name,version

Windows Azure PowerShell初期設定

さて、今までならここで証明書の設定をするところですが、これからは簡単です。Windows Azure PowerShell を起動して、次のコマンドを打ち込んでください。

Add-AzureAccount

するとこんなのが出てきますので、Windows Azure管理ポータルへログオンする際に使っているアカウントでログオンしてください。マイクロソフトアカウントだけでなく、Windows Azure Active Directoryのアカウントや、フェデレーションしてる企業アカウントでもOKです。

こんなふうに出れば成功です。

じゃ、一つコマンド打ってみましょう。

Get-AzureVM

無事に実行できましたね。以前に比べると簡単に Windows Azure PowerShell を活用できるようになりました。

※ 補足: 「既定のディレクトリ」について

さて、WAAD で認証ができるようになったとはいっても、

WAAD にユーザーなんか作った覚えはない 

という方が多いのではないでしょうか。実は、この機能を有効に活用していただくために、次のような変更が行われています。

その 1

• 現在のアカウント (管理ポータルにログオンするときに利用しているマイクロソフトアカウントなど) に WAAD のディレクトリ(テナント) がなければ、「既定のディレクトリ」という名前で新規作成。

管理ポータルをご確認ください。こんな「既定のディレクトリ」というやつができていると思います。

その 2

• 現在のアカウントを、WAAD のテナントに登録
• 既存のテナントがあればそちらに、無い場合は自動的に作成された「既定のディレクトリ」に登録

私の場合、下図のようにマイクロソフトアカウントが登録されています。

「勝手にディレクトリとユーザーなんか作りやがって課金はどうなる！」と思われるかもしれませんが、 WAAD は 500,000 オブジェクトまでは無料、標準状態ではそもそも 150,000 オブジェクト以上は作れないようになっているので、今回自動作成された「既定のディレクトリ」による課金が発生することはありません。

それでは、Windows Azure PowerShellをご活用ください。

関連情報

How to install and configure Windows Azure PowerShell

Windows Azure: Backup Services Release, Hyper-V Recovery Manager, VM Enhancements, Enhanced Enterprise Management Support

Windows Azure SDK for .NET 2.2 Release Notes

Manage Windows Azure accounts, subscriptions, and administrative roles

__END__