青い空の向こうへ https://docs.microsoft.com/archive/blogs/bluesky/feed.xml クラウド、クラウドコンピューティング や Microsoft Azure にまつわる話題を取り上げます Tue, 04 Jun 2019 08:42:14 GMT ja hourly 1 de:code 2019 Microsoft Azure Cognitive Services 最新情報 https://docs.microsoft.com/archive/blogs/bluesky/decode-2019-microsoft-azure-cognitive-services-update Fri, 31 May 2019 11:31:40 GMT https://blogs.msdn.microsoft.com/bluesky/?p=20835 Cognitive Services 最新情報 AI01: "Everyday AI" 時代の人工知能使いこなし ～ Azure Cognitive Services を効果的に利用するための基礎知識 2019年、Cognitive Services は皆様の "データ分析アシスタント" と言える存在に成長しました。 新たに追加された Decision (決定) グループのサービス、Form Recognizer などのビジネス要件を含んだサービスの発表、NLPを更に簡単に利用できる機能の拡充、エッジデバイスの利用を想定した Container サービス (10種) など、また大きなサービス拡充があった中、新規サービスを中心に以下の API をデモを交えてご紹介いたしました。
  • Anomaly Detector
    • 時系列データの異常検知 (教師なし。バッチ or リアルタイム)
    • Demo: PowerBI で Anomaly Detector の結果を視覚化する
  • Personalizer: 強化学習を使ったパーソナライズエンジン作成＆再学習 (リコメン回答取得、リワード結果の送信とモデルの再学習自動化)
  • Form Recognizer 
    • 画像から帳票などのフォームを認識、Key-Value および テーブル データを抽出
    • Demo: 学習データ用画像を送信してフォーム認識エンジン作成、テスト画像からデータを取得
  • Ink Recognizer
    • ペンタッチを使った描画ストロークから図形や文字を認識
    • Demo: Web で絵画ストロークを取得し、図形と文字を認識
  • Speech to Text - Conversation Transcription
  • Language Understanding : 自然言語の処理、意味やエンティティの推測を行うエンジン(分析モデル)の作成&利用
    • Dashboard, List Entity の利用、Entity Role、外部情報の注入
  • QnA Maker : FAQ リストからの NLP 検索エンジンの作成＆利用
    • 学習データの Context 取得、特定シナリオにおける複数ターン回答

コーチング × #Azure & Cognitive Services 活用事例

AI09 : そのコーチングを ”見える化” するソリューション「Coaching AI」 〜 オムロン株式会社における現場の現場による現場の課題を解決するための AI 利用 社員の生産性やチームワーク向上のための方法として注目されている 1 on 1 (1対1 による対話セッション) の際によく用いられる手法がコーチングです。一方的に情報や解決方法を伝える "ティーチング" と異なり、コーチングは、あくまでもコーチ側がクライアント側から話を引き出し、自律的に解決方法などを考えさせるという自律性の育成に注目が集まっています。 会社組織の中で、コーチ役 (上司や先輩などが担当することが多いと思われます) を任される側が必ずしもコーチング手法を習得しているとは限らないため、オムロン株式会社では 1 on 1 の内容をモニターしてガイドを行う "Coaching AI" を研究開発されました。 サービスの概要はこちらのお客様事例に掲載されています。 マイクロソフト お客様事例: オムロン株式会社様 セッションでは、Coahing AI の開発に至った経緯や、Azure の各サービスの活用や Cognitive Services を利用して収集したデータをどのように分析しているか、といった内容をご紹介いたしました。

Chatbot チョークトーク

AI53: All About Chatbot! ～ チャットボット構築 & 実践 Chatbot Chalk Talk   【追記】セッションのレポートを書いていただきました。有難うございます！ ]]> Microsoft Build 2019 アップデート in Conversational AI ~ Cognitive Services & Bot Framework https://docs.microsoft.com/archive/blogs/bluesky/build2019update-ja Tue, 07 May 2019 07:11:13 GMT https://blogs.msdn.microsoft.com/bluesky/?p=20815 [go to English ver] 2019/5/6–8 (現地時間) に Microsoft Build 2019 が開催されており、Day1 から 3つの Keynote が行われました。先週からの情報先出し(?)が行われていた通り、Cognitive Services の一層の強化が行われています。また、Bot Framework は会話による新たな UI/UX 、チャットボット および Virtual Assistant & Skills (AIアシスタント や スマートスピーカーなどのスキル) を構築するためのコアテクノロジーと位置付けられています。 Azure Blog > Making AI real for every developer and every organization Microsoft News Center > Microsoft delivers new advancements in Azure from cloud to edge ahead of Microsoft Build conference The AI Blog > As AI explodes in popularity, Microsoft aims to make adoption as simple as possible  The AI Blog > What’s Microsoft’s vision for conversational AI? Computers that understand you

Cognitive Services 関連アップデート

Cognitive Services は AI (認知機能、 pre-build モデル) 機能を Web API で利用できる Managed Services (SaaS) です。

Microsoft Azure > Cognitive Services (Top Page)

今回、Cognitive Services はカテゴリーが見直され、Vision, Speech, Language, Decision, Search の5つとなりました。新規追加となった “Decision” の API は、データを用意すればすぐに意思決定を行うアルゴリズムを利用できるサービスです。

このカテゴリー変更と新規追加サービスを合わせると、Cognitive Services は以下のラインアップとなりました。(太字は新規)

  • [Vision] : Computer Vision, Custom Vision, Face, Video Indexer, Ink Recognizer, Form Recognizer
  • [Speech] : Speech Services, Speaker Recognition
  • [Language] : Text Analytics, Translator Text, Language Understanding, QnA Maker, Bing Spell Check
  • [Decision] : Content Moderator, Personalizer, Anomaly Detector
  • [Search] : Bing Web Search, Bing Image Search, Bing Video Search, Bing News Search, Bing Visual Search, Bing Custom Search, Bing Entity Search, Bing Autosuggest, Bing Local Business Search

Decision のサービス群は機械学習のアルゴリズムがベースとなっており、データや利用シナリオに合わせた調整が可能です。

  • Personalizer : 強化学習を用いて AI モデルを構成するためのデータ収集およびモデル生成ツール
  • Anomaly Detector : 時系列データを用いた異常検知を行うアルゴリズムを利用可能

新しく追加になったサービスの中でも Vision のサービス群では手書きを含む図表や文字から、その構成や目的を抽出することができるようになりました。

  • Ink Recognizer : digital ink (63 言語/地域対応の手書き文字、図形(円、四角…))の検出
  • Form Recognizer : ドキュメントの様式(文書、申込書、レシートなど) とデータ (key-value、テーブル)の検出

既存のサービスでもいくつか機能強化が行われています

  • Speech Service : Conversation Transcription による話者認識機能の追加
  • QnAMaker : Multi-turn Conversations 複数回のやり取りを想定した会話のデザイン(1:1 の返答ではなく、連続 and/or 絞り込む会話形式)
  • Language Understanding (LUIS) : Entity Roles, External Entities, Dynamic Lists による柔軟なモデルの構築
 

Bot Framework 関連アップデート

Build 2019 での Bot Framework 関連のアップデートは Github のドキュメントとしてまとめられており、サンプルコードにも反映されています。 Github > What's New Github > microsoft/BotBuilder-Samples
  • Adaptive Dialog : 複雑な会話ダイアログの構成 (Bot Framework v4.3 から 大幅なアップデートありのため、Dialogs library をご確認ください)
  • Language Generation : ユーザーの入力を簡易に抽出して分類する機能
  • Direct Line Speech : Azure Bot Service の一つの Bot Channel としての機能強化、音声入力を利用可能に (Cognitive Services Speech Service を利用)
  • SDK Channel adapters : 3rd Party を含むメッセージングツール (Web, Slack, Facebook messenger, Hangouts, WebEx …) と Bot を接続するための SDK

Semantic Machines Showcases として Video で紹介されましたが、 すぐに利用可能な Bot Framework ソリューションテンプレートが公開されており、Microsoft Graph で Microsoft 365 情報を活用し、認知機能に Cognitive Services を利用した Virtual Assistant Template および Skills Template をダウンロード可能です。

Github >microsoft/AI : Bot Framework Solutions]]> Azure Bot Service からノンコーディングで SNS に接続する ～ Bot Channel に LINE 追加 https://docs.microsoft.com/archive/blogs/bluesky/azure-bot-service-line-channel-ja Fri, 08 Mar 2019 11:56:03 GMT https://blogs.msdn.microsoft.com/bluesky/?p=20725 公式ドキュメントの手順書はこちら: docs.microsoft.com > Azure Bot Service > ボットを LINE に接続する さらに詳しい手順はこちら: 祝 LINE チャンネル追加！Azure Bot Service で翻訳チャットボット作成 (1)Azure Bot Service から LINE 接続 編

Azure Bot Service の利点

Azure Bot Service に用意されているテンプレートでチャットボットを簡単作成

Azure Bot Service にはいくつかのテンプレートが用意されており、これを利用すると簡単にチャットボット本体を作成できます。 最近 Preview で公開された Healthcare Bot は、病院や医師の検索や予約、保険請求などのシナリオをサポートするチャットボットのテンプレートがカスタマイズ可能で用意されています。(残念ながら日本はロケーション未対応ですが．．．。)  

Bot Framework ベースのアプリケーションでより高度で複雑な会話を構成

チャットボットとしての入出力を司るアプリケーション部分は、Bot Framework をベースとする C# / Node.js / TypeScript / Java / Python の Web アプリであり、Cognitive Services などのマイクロソフトのテクノロジーはもちろんのこと、他社 Web サービスと連携するなど、ご自身で自由に拡張ができます。 Bot Framework 側に会話のフローやネストを構成 (Dialog Flow) したり、ユーザー情報や状態 (State)、ログ情報を収集したりする仕組みなど、チャットボットに必要な構成を構築できるフレームワークが用意されています。

ひとつのアプリから複数のツールにノンコーディングで接続できるチャンネル

自分でその接続部分を構築しなくとも、設定するだけで、今利用している (または利用を広げたい) クライアントツールに接続できるのは大きな利点です。 2019/3 現在提供されているチャンネルは以下の通りです:
  • Web Chat
    • ブラウザーベース、iframe で Web ページに貼り付け可能
  • Cortana
    • スキルとして Cortana クライアントから呼び出し可能
  • SNS クライアントツール
    • Facebook, GroupMe, Kik, LINE, Skype for Business, Microsoft Teams, Skype, Slack, Telegram, Twilio
  • Direct Line
    • Web API として会話の入出力が可能
例えば、Web Chat と LINE アプリから同じBot アプリを利用可能です docs.microsoft.com > Azure Bot Service > ボットをチャネルに接続する]]> Azure Bot Services ではじめるチャットボット開発 ～ 構成、新規作成からデプロイまで https://docs.microsoft.com/archive/blogs/bluesky/chatbot-solution-architecture-using-azure-bot-services-ja Fri, 07 Dec 2018 11:55:25 GMT https://blogs.msdn.microsoft.com/bluesky/?p=20295

Azure Bot Service を構成する Azure の各サービス

Azure Bot Service は
  • チャットボット開発フレームワーク Microsoft Bot Framework をベースとした Web アプリを、Azure App Service (Web App) で稼働させるテンプレート
  • さまざまなチャットツールへの接続を提供する Bot Channel への登録 (とその登録条件となる Microsoft Application Registration)
を提供するサービスです。 例えば、Microsoft Azure の各サービスを組み合わせると、このようなチャットボット用の構成が考えられます。 そして、その中のメインの部分を Azure Bot Service が担っていることになります。  

Azure Bot Services 新規作成時のパラメーター、および作成エラーの対処方法

Azure Portal から Azure Bot Service を新規作成するときに必要なパラメーター (設定項目) は、それぞれ上記に挙げた Azure の各サービスに対応しています。 ボット名 (Bot Name) に入力された名前は、Bot Channel 登録名、および Azure WebApp のアプリ名(=URL) として利用されます。いずれも Azure の全サービスの中でユニークに設定する必要があり、いずれかで使用済みの場合、Azure Bot Service の作成エラーとなります。 また、Azure サブスクリプション内で付与されている権限が制限されて、Azure App Service の新規作成や変更、Azure Storage の新規作成ができないなどの場合も、Azure Bot Service 作成エラーの原因になります。これは、Azure App Service や Azure Storage は権限があるアカウントで作成し、既存のサービスを選択して設定することで回避できます。 そして、Azure サブスクリプションを利用するアカウントが 組織(企業、学校向け)アカウントの場合、Microsoft Application Registration での新規アプリの登録を制限している場合があり、その場合も Azure Bot Service が作成できせん。この場合も、権限があるアカウントで作成した アプリID/パスワード を指定することで回避できます。  

Azure Bot Service をコアとしたチャットボット開発

Azure Bot Service は Bot Framework をベースとした Web アプリであり、ソースコードをダウンロード→開発、テスト→再度デプロイ の手順で構築を進めることができます。 手順としてはこのようになります;
  1. Azure Bot Service を作成
  2. ソースコード(zip) をダウンロード
  3. ローカルで開発、Bot Framework Emulator で確認
  4. Azure Bot Service 側にデプロイ
  5. 必要に応じて　CI/CD設定など
 

Azure Bot Service のソースコードをダウンロードして、ローカルで開発とテストを行う

Azure Portal から Azure Bot Service を作成すると、**Build(ビルド)** のページからソースコード(zip)をダウンロードできます。 こちら C# の場合は Visual Studio のソリューションファイルになっていますので、NuGet パッケージを復元してビルド、Node.js の場合もローカルで必要なライブラリーをインストールすれば、すぐに稼働させることができます。 Azure App Service としての機能である Azure App Service Editor を使うと、ダウンロードせずにソースコードをそのまま Azure 上で修正できます。 ローカル開発では Bot Framework Emulator を使うと、チャットサービスのクライアントとして簡単にテストができます。Emulator にダウンロードした zip に含まれる BotConfigrations.bot を設定ファイルとして読み込ませれば、チャットボットのテストがすぐ始められます。 Production と Development、2種類のプロファイルがあり、Production は作成済みの Azure Bot Service (Azure 上で稼働中) にアクセスを行います。 Development としてローカルで稼働させる Azure Bot Service に接続したい場合は、Azure Bot Service アプリ(ローカル)側に少々設定が必要です。 Azure Bot Service (Azure側)の設定から Bot File Path & Bot File Secret を取得し、Azure Bot Service アプリ(ローカル) 側に設定する必要があります。 C#: appsettings.json, node.js: .env (※新規作成) し、Bot File Path & Bot File Secret を記載します。

 

Azure Bot Service の継続的な開発とデプロイ

ローカルで開発した Azure Bot Service アプリを Azure 側に再度デプロイするには、Visual Studio の Azure Tools を用いたデプロイが一番簡単です。zip でダウンロードしたファイル群に含まれるデプロイスクリプトが利用できます。エラーとなる場合は、 ご自身で Azure Web App の発行プロファイルを新規に作成してデプロイを行ってください。(Visual Studio に Azure サブスクリプションが紐づいているアカウントでサインインしていれば、自動でプロファイルを取得、作成できます。) また、Azure App Service の機能である Deploy Center (デプロイセンター) を利用すると、Git や Azure DevOps などのレポジトリへの接続を設定でき、ソースコードが更新されると、自動で Azure へのデプロイを行います。 ]]> Microsoft Connect(); 2018 : Cognitive Services Container に LUIS 追加 & Tranlsator のカスタム機能 https://docs.microsoft.com/archive/blogs/bluesky/microsoft-connect-2018-cognitive-services-container-luis-support-custom-translation-in-translator-ja Wed, 05 Dec 2018 11:47:16 GMT https://blogs.msdn.microsoft.com/bluesky/?p=20555 English Ver] 米国時間 2018/12/4 (日本時間 12/5 早朝) に開催された Microsoft Connect(); 2018 にて、これらの Cognitive 関連の発表がありました;
  • Cognitive Services Container に Language Understanding (LUIS) を追加
  •  Translator Text に Custom translation 機能を追加
Azure Updates > Language Understanding Container Support: Preview Azure Updates > Custom Translation capability of Text Translator

Language Understanding (LUIS) Container

早速プレビュー使用が可能になっている LUIS Container を利用する方法をご紹介します。

準備

 - Container Services

以下の Docker 環境で Cognitive Services Container を利用可能です:
  • Local on Windows*/macOS/Linux (*be configured to support Linux containers on Windows)
  • Azure Kubernetes Service
  • Azure Container Instances
  • Kubernetes cluster deployed to Azure Stack
今回は local PC (Windows) にインストールした Docker 環境を使用します。

 - Azure Potal で申し込んだ LUIS サービス

F0(無料版) で大丈夫ですので、Azure Portal から LUIS サービスを作成します。 作成した LUIS サービスの Endpoint (アクセス URL) と API key を取得しておきます。これらは課金のためにContainer からアクセスされます。(分析データなどのデータは一切送られません。)

- LUIS App

Language Understanding は 簡易自然言語処理サービス (モデリング用 と分析用のGUI およびAPI) ですので、LUIS App (NLP モデル)を作成して、それをローカルの Container にExport します。 Export してダウンロードした LUIS App は ZGIP のまま Docker からアクセスできるフォルダに保存しておきます。

LUIS containerの準備、設定と利用

LUIS container のダウンロード

Docker コマンドで LUIS container image を pull します。"latest" オプションで最新版を取得できます。 docker pull docker pull mcr.microsoft.com/azure-cognitive-services/luis:latest

LUIS container の起動

LUIS container image をダウンロードしておいた LUIS app をマウントして起動します。 docker run --rm -it -p 5000:5000 --memory 4g --cpus 2 --mount type=bind,src=c:\demo\container\luis,target=/input --mount type=bind,src=C:\demo\container\luis,target=/output mcr.microsoft.com/azure-cognitive-services/luis Eula=accept Billing=https://westus.api.cognitive.microsoft.com/luis/v2.0 ApiKey=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 上記ではこのような設定になっています:
  • Port 5000, 2 CPU, Memory 4GB
  • Mount LUIS App in input folder (c:\demo\container\luis in this case)
  • Save log in output folder (c:\demo\container\luis in this case)
  • Billing (set your endpoint copied from Azure Potal - West US in this case)
  • ApiKey (set your ApiKey copied from Azure Portal)

LUIS container を試す

Docker image が起動したら、https://localhost:5000 をブラウザーに入力して動作を確認できます。 Swagger (https://localhost:5000/swagger) のページで API の仕様や、実際にGET/POST を行って自然言語の分析結果を取得できます。  

詳細

Microsoft Azure Blog > Getting started with Cognitive Services Language Understanding container Github > Azure Samples - Container support for Azure Cognitive Services]]> Microsoft Connect(); 2018 : Cognitive Services Container LUIS support & Custom Translation in Translator https://docs.microsoft.com/archive/blogs/bluesky/microsoft-connect-2018-cognitive-services-container-luis-support-custom-translation-in-translator-en Wed, 05 Dec 2018 11:45:31 GMT https://blogs.msdn.microsoft.com/bluesky/?p=20465 日本語版はこちら] At Microsoft Connect(); 2018 event, these cognitive-related news announced;
  • Cognitive Services Container offers Language Understanding (LUIS) service for use in your container
  • Custom translation available for Translator Text
Azure Updates > Language Understanding Container Support: Preview Azure Updates > Custom Translation capability of Text Translator

Language Understanding (LUIS) Container

How to use

Prerequisite

 - Container Services

You can use these Docker environments:
  • Local on Windows*/macOS/Linux (*be configured to support Linux containers on Windows)
  • Azure Kubernetes Service
  • Azure Container Instances
  • Kubernetes cluster deployed to Azure Stack
This time I introduce it with Docker in local PC (Windows).

 - LUIS subscription from Azure Portal

It's OK to use free F0 tier. Please get endpoint (access URL) and API key, which is for billing when you use it in container. (No data except count usage shouldn't be send to Microsoft.)

- LUIS App

Language Understanding is instant NLP services (modeling GUI tools and APIS for its management and use). Once you congfigure LUIS App (NLP model), you can export it locally for container. Store into local folder where Docker can access.  

Configure and use LUIS in container

Copy and download LUIS container to local

Using docker command, pull LUIS container image with "latest" option. docker pull docker pull mcr.microsoft.com/azure-cognitive-services/luis:latest

Run LUIS container

Run LUIS image with your downloaded LUIS app. docker run --rm -it -p 5000:5000 --memory 4g --cpus 2 --mount type=bind,src=c:\demo\container\luis,target=/input --mount type=bind,src=C:\demo\container\luis,target=/output mcr.microsoft.com/azure-cognitive-services/luis Eula=accept Billing=https://westus.api.cognitive.microsoft.com/luis/v2.0 ApiKey=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx This is sample to set parameters as:
  • Port 5000, 2 CPU, Memory 4GB
  • Mount LUIS App in input folder (c:\demo\container\luis in this case)
  • Save log in output folder (c:\demo\container\luis in this case)
  • Billing (set your endpoint copied from Azure Potal - West US in this case)
  • ApiKey (set your ApiKey copied from Azure Portal)

Try LUIS container

Once docker image started, you can access using browser at https://localhost:5000 See swagger (https://localhost:5000/swagger), and you can try analyzing natural sentence by LUIS container.  

In detail

Microsoft Azure Blog > Getting started with Cognitive Services Language Understanding container Github > Azure Samples - Container support for Azure Cognitive Services]]> Cognitive Services Containers プレビュー提供開始 https://docs.microsoft.com/archive/blogs/bluesky/container-support-for-cognitive-services-ja Thu, 15 Nov 2018 11:47:15 GMT https://blogs.msdn.microsoft.com/bluesky/?p=20145 [English Ver] Cognitive Services の一部機能を Docker コンテナにダウンロード、構築して利用できる Azure Cognitive Services Containers がプレビュー提供開始となりました。 これにより、ご自身の(ローカルを含む) Docker 環境で Cognitive Services を利用でき、データの送受信に関する対応、インターネット接続による遅延などの問題が解消されることになります。 Microsoft Azure Blog > Bringing AI to the edge Microsoft Azure Blog > Getting started with Azure Cognitive Services in containers Microsoft Azure Updates > Azure Cognitive Services Containers are in preview

利用可能な Docker 環境

以下の Docker 環境が利用可能です:
  • Local on Windows*/macOS/Linux (*Windows OS では Linux コンテナ―で利用)
  • Azure Kubernetes Service
  • Azure Container Instances
  • Kubernetes cluster deployed to Azure Stack

プレビュー提供される Cognitive Services の機能

Cognitive Services Containers で提供されるサービスは以下になっています:
  • Computer Vision (preview request サインアップ 要)
    • 活字 OCR - 画像→文字の認識 (現在は英語のみ)
  • Face (preview request サインアップ 要)
    • 顔認識
      • 顔のパーツの位置 (目, 鼻, 口, ...), 性別/年齢, etc
    • 顔認証(同一人物の判定), 顔識別(DBからの識別)
  • Text Analytics (※即時利用可能)
    • キーフレーズの抽出
    • 言語判定 (120 言語)
    • センチメント分析

Cognitive Services Containers の利用方法

Cognitive Services Containers を利用するには
  1. Computer Vision および Face は preview request へのサインアップ (Computer Vision Recognize Text & Face: 一度に申請できます) (Text Analytics は即利用可能)
  2. Azure Portal で Cognitive Services　のサービスを作成
  3. Cognitive Services コンテナイメージをダウンロード, コンテナの起動
詳細: これで Docker コンテナに構築された Cognitive Services に以下の Endpoint で アクセスできます (ex: Face AI, hosted port 5000)。 
POST https://localhost:5000/face/v1.0/detect
これを既存の Cognitive Services の Web API アクセスの Endpoint である 
POST https://westus.api.cognitive.microsoft.com/face/v1.0/detect
と入れ替えて替えると、 Rest API またはこれまでの Cognitive Services クライアントライブラリで利用できます。]]> Container support for Cognitive Services APIs https://docs.microsoft.com/archive/blogs/bluesky/container-support-for-cognitive-services-en Thu, 15 Nov 2018 11:47:00 GMT https://blogs.msdn.microsoft.com/bluesky/?p=20135 [日本語版はこちら] Now Azure Cognitive Services Containers is available for preview, which enables you to deploy Cognitive Services in Docker container (including local container). It means you can use cognitive features in your own containers, be free from delay due to internet connection, or get feature to keep your data stored locally. Microsoft Azure Blog > Bringing AI to the edge Microsoft Azure Blog > Getting started with Azure Cognitive Services in containers Microsoft Azure Updates > Azure Cognitive Services Containers are in preview

Compatible Docker Environments

You can use these Docker environments:
  • Local on Windows*/macOS/Linux (*be configured to support Linux containers on Windows)
  • Azure Kubernetes Service
  • Azure Container Instances
  • Kubernetes cluster deployed to Azure Stack

Available Cognitive Services features in containers

Available Cognitive Services features in containers are:
  • Computer Vision (sign-up for preview request)
    • OCR - Recognize Text Extracts printed text (currently works English only)
  • Face (sign-up for preview request)
    • Face Detection
      • with attribute identification such as face landmarks (noses, eyes, ...), gender, age, etc
    • Face Verification, Face Identification
  • Text Analytics (now available)
    • Key Phrase Extraction
    • Language Detection (120 languages)
    • Text Analytics Sentiment Analysis

Process to use Cognitive Services Containers

To use Cognitive Services Containers,
  1. Sign-up for preview request (Computer Vision Recognize Text & Face)
  2. Create Cognitive Services on Azure Portal
  3. Download Cognitive Services container image, instantiate a container
details: Cognitive Services Face API Documentation > Install and run containers now you can access your Cognitive Services (ex: Face AI, hosted port 5000) using endpoint such as 
POST https://localhost:5000/face/v1.0/detect
intead of accessing via (current) Web API endpoint: 
POST https://westus.api.cognitive.microsoft.com/face/v1.0/detect
Access as Rest API, or you can still use same Cognitive Services Client Libraries. Enjoy!]]> Microsoft Ignite 2018: Cognitive Services Video Indexer & Speech Service GA + Bot Framework v4 https://docs.microsoft.com/archive/blogs/bluesky/microsoft-ignite-2018-cognitive-services-bot-framework Tue, 25 Sep 2018 06:50:58 GMT https://blogs.msdn.microsoft.com/bluesky/?p=19965 Microsoft Ignite & Envision 2018 が米国オーランドにて2018/9/24-28 (現地時間) の日程で開催されています。(オンライン配信あり)　日本では 11/5-7 で Microsoft Tech Summit 2018 として開催いたします。 本日(?) からセッションが始まっていますが、Cognitive Services & Bot Framework 関連のアップデートが発表されています

Cognitive Services & Bot Framework 関連アップデート

Video Indexer : GA (*repro)

先週アナウンスされていた Video Indexer の GA を再掲です。  

Speech Services : GA

  • What is Speech Services
    • Speech-to-Text (STT: 音声→テキスト)、Text-to-Speech (TTS: テキスト→音声)、音声翻訳 を提供
    • Custom Speech Model (カスタム音声モデル), Custom Voice Font(カスタム音響モデル) を利用可能 (ドメイン特化した用語の認識向上など)
    • Speech Searvices (Azure Webサイト)
  • Speech Services 情報
  • GA 後の利用方法
    • 大きな変更はありません。Web サイトからの無償試用、または Azure Portal から Azure サブスクリプション内でサービスを作成して利用可能。
 

Azure Bot Framework : GA (V4)

Bot Builder SDK V4 がリリースとなりました。 Azure Portal 上では 英語版で Preview 表示なしになっています (9/24現在)。また、V4 の画面では Enterprise Bot Template などカスタマイズする利用方法も記載されています。

Microsoft Search

 

Vision Keynote

Satya Nadella による Vision Keynote での AI 関連の情報をピックアップします。 "Tech Intensity"、Microsoft AI 活用事例目白押しでした: https://twitter.com/Microsoft/status/1044215769847013377

Azure 関連のアップデート

Azure Web サイトも Ignite 2018 仕様になっています。 Azure 関連のアップデートをまとめたものはこちら。

Announcing AI for Humanitarian Action

これまでにAI for Earth、AI for Accessibilityといった取り組み行ってきましたが、今回は人道支援への AI の活用についてのアナウンスがありました。災害からの復興支援 (helping the world recover from disasters)、子どもへの支援(addressing the needs of children)、難民支援(protecting refugees and displaced people)、人権の尊重(promoting respect for human rights) の4カテゴリーについての支援を行う内容になっています。  ]]> Custom Vision の WinML モデル Export を利用した ユニバーサル Windows アプリ の開発 https://docs.microsoft.com/archive/blogs/bluesky/developing-universal-windows-app-using-winml-model-exported-from-custom-vision-ja Wed, 11 Jul 2018 07:28:33 GMT https://blogs.msdn.microsoft.com/bluesky/?p=19935 [English Ver] Cognitive Services Custom Vision Service は 画像分類 および 物体認識を行う ML (機械学習) モデル を数枚の写真から作成できるサービスです。作成した ML モデルは Web API として利用できるだけでなく、アプリ等で利用できる形でダウンロードすることも可能です。これにより、Web API ではなく、ローカルの環境で (=インターネット接続なしで) Custom Vision を利用できることになります。 ONNX 形式で定義された WinML を利用すると、ユニバーサル Windows  アプリ (UWP: Universal Windows App) に MLモデルによる分析機能を簡単に追加することが可能です。 Custom Vision Service を用いて WinML フォーマットの ML モデルを作成するには、Custom Vision Service の新規 Project 作成で、"compact" タイプの Domain を選択する必要があります。作成済みの Project でも、設定で Domain Type を compact に変更し、再度 Train を行うことでモデルを再作成可能です。 "compact" タイプのモデルを作成、学習が完了すると、"export" ボタンから ML モデルをダウンロード可能になります。"WinML" を選択すると、"*.onnx" という形式のファイルがダウンロードできます。 Visual Studio 2017 に加えて  Visual Studio Tools for AI (無償) をインストールすると、 Visual Studio プロジェクトに ONNX ファイルを追加するだけで、それを利用するためのライブラリが自動で作成されます。Custom Vision Service 上の認識番号でクラスが作成させているため、名前を変更してみると分かりやすくなります。 自動作成されたライブラリは Windows.AI.MachineLearning というライブラリを使用ししており、LearningModel を作成して (CreateXXXXXModel)、EvaluateAsync メソッドで投入された ModelInput を判定して、ModeOutput を出力します。この ModelInput は Video Frame 型になります。 "FruitDetection.onnx" という名前の ONNX モデルを呼び出すサンプルコードはこちら; [csharp] private async Task EvaluateVideoFrameAsync(VideoFrame inputFrame) { if (inputFrame != null) { try { // Get ONNX file string modelPath = Path.Combine(Windows.ApplicationModel.Package.Current.InstalledLocation.Path, "FruitDetection.onnx"); var modelFile = await StorageFile.GetFileFromPathAsync(modelPath); // Create WinML Model var model = new FruitDetectionModel(); var learninModel = await model.CreateFruitDetectionModel(modelFile); // Set image(VideoFrame) var input = new FruitDetectionModelInput { data = inputFrame }; // Detect image var output = await learninModel.EvaluateAsync(input); ResultText.Text = output.classLabel[0]; ResultText.Visibility = Visibility.Visible; } catch(Exception ex) { } } } [/csharp] FruitDetection.onnx は Custom Vision Service から以下のようにフルーツの種類を判別するモデルです。 こちらを利用して、以下のようにローカルの写真を選択して判別を行う UWP アプリ (ソースコード) を作成できます。 ]]>