HDInsight 是 Azure 上所提供的 Apache Hadoop 服務

Azure HDInsight 所提供的 Hadoop 服務可以用來處理巨量的資料，Azure 把 Hadoop 包裝在 Windows Server 下，並提供 PaaS 的服務，所以使用者不用從頭開始架設 Hadoop 的叢集 (Cluster) ，省去繁雜的建置過程。Azure HDInsight 的服務在數分鐘之內即會建立完成。同時，除了可以透過傳統的方式匯出資料外，Azure HDInsight 也能與 Excel 連結，讓您可以透過 Power Query 來撈取 MapReduce 執行後的結果，並且可以利用 Excel 的 Power Pivot 和 Power View 來呈現並分析結果。

Hadoop Ecosystem

Apache Hadoop 是一個開源的分散式且可擴展的分散式運算系統，簡而言之就是一套可以跨叢集 (cluster) 處理大量資料的框架系統。下圖是 Hadoop 在運用上的生態系，底層的 HDFS (Hadoop Distributed File System) 提供一個分散式的檔案存取系統；MapReduce 是一個平行的運算系統，可以利用它來處理分散和收斂的過程；而在資料處理方面， NoSQL 設計的 HBase 也適合儲存大量且分散的資料；Hive 也是 Hadoop 中類似 SQL 的查詢語言。在資料整合的部分也可以利用 ODBC 或是 SQOOP 等工具把資料連接到 Hadoop。

HDInsight Ecosystem

Azure HDInsight 底層原本的 HDFS 部分是利用 Azure 的儲存體 (Storage) 來實作，使用 Azure Blob Storage 的好處除了比傳統的儲存方式較便宜外，傳統的HDFS是存在於叢集中，因此只能透過本機的 HDFS API 來存取。使用 Azure Blog Storage 的話，除了可以透過 HDFS API 來存取，也可以透過 Blob Storage REST API 來存取資料。因此，許多不同的應用程式都可以來存取這些資料。另外，異地備援以及彈性擴展也是使用 Azure Storage 的好處。

Hadoop Core 的部分是透過 Hortornworks 合作所提出的解決方案，將 Hadoop 建置在 Azure Windows Server 的虛擬機器上。同時，也支援使用 Powershell 來操控 Hadoop 、用Sqoop 來撈取 SQL Server 的資料等等。

Azure 完整的文件介紹和示範

Microsoft Azure 提供了完整的中文化文件介紹，包括了巨量資料的介紹，HDInsight 生態系以及 HDInsight 的運用範例等等。

詳細的情形可以參考 Azure HDInsight 的文件。

參考資料

1. Azure HDInsight (Hadoop) 文件

2. HDInsight 中 Hadoop 的簡介

3. Query big data from Hadoop-compatible Blob storage for analysis in HDInsight

Azure API 管理開發者入口網站

本篇文章接續上一篇  Microsoft Azure API  管理預覽功能簡介 (上)  的內容

在這裡主要向您介紹 API 管理開發人員入口網站的內容客製化選項與方法，讓您可以透過 Azure 的 API 管理功能製作出更彈性的 API 開發人員入口網站。

開發人員入口網站介紹：

Content

Content 編輯提供您很好的編輯頁面，讓您可以輕鬆編輯開發者首頁顯示的文字內容。

Widgets

Widgets 頁面讓您可以客製化開發者首頁顯示的各項元件。您可以編輯該元件的顯示內容、位置、顏色等等。

當然，您也可以新增或移除元件。

Navigation

Navigation 讓您可以編輯首頁的超連結項目，並且讓您可以客製化文字和順序、以及新增其他項目等等。

Delegation

這項服務允許您使用您現有的網站來處理登入和註冊的操作，您可以設定驗證的 URL 以及提供產生簽名的加密字串。

詳細的操作步驟可以參考此份文件。

External identities

此外，此開發者入口網站也提供了多個知名社群網站的身分驗證機制，讓開發者可以利用 Facebook、Google、Microsoft、Twitter 等帳戶來進行身分驗證。

Settings

在設定這邊，可以調整此開發者入口網站的顯示名稱、URL、以及預設的時區。

透過 API 開發者入口網站，開發者可以更方便地發現並了解貴組織的 API，並且可以註冊並開始測試開發此產品。

而 Azure API 管理的管理者平台讓您可以輕鬆的客製化給開發者使用的入口網站，

並提供各種不同的驗證機制來登入和註冊，讓您可以更彈性且更快速地的進行 API 開發管理。

參考資料

1)      客製化 Azure API 開發者入口網站平台

https://azure.microsoft.com/en-us/documentation/articles/api-management-customize-portal/

2)      API Management 委派或指定產品註冊

https://azure.microsoft.com/en-us/documentation/articles/api-management-howto-setup-delegation/

Microsoft API 管理架構

在眾多平台盛行的情況下，商業服務都紛紛地提出 API 來迎合這些不同的平台，Azure 上提供了一個新的 API 管理預覽功能，提供使用者整合外部的、partner、以及內部的 API，
並且提供了一個很好的管理者平台以及開發者的入口網站。讓您的組織可以更快速地提供穩定的服務。

 本文章將包括以下內容：

1)建立 API 管理服務

2)管理主控台功能介紹

3)開發人員入口網站介紹

建立 API 管理服務：

1)在 Azure portal 中的左下方點選 「建立」，並點選 「應用程式服務」、 「建立」來建立一個新的 API 管理服務。

2)您可以輸入您欲設定的 URL ，並且可以依照您的使用量來選擇定價方案。

詳細的定價方案可以參考此網站。

3)接著請輸入您的組織名稱以及管理員的電子郵件信箱，按下「確認」，即建立完成。

管理主控台

在服務提供者擴大他們的業務，創造新的管道、尋找新的客戶的同時。API 管理提供的核心能力，以確保成功的 API 程式通過開發者的參與、商業洞察力、 分析、安全和保護。

• 點選進入 API 管理服務當中，可在開始使用頁面選取「管理主控台」進入到 API 管理頁面。另外，開發者也可以點選「開發人員入口網站」來使用客製化的 API 操作介面。

Dashboard

• 在 Dashboard 頁面可以看到貴組織中所有的 API 使用紀錄、產品的訂閱狀態以及應用程式的發行狀態。

API

• 在 API 頁面可以看到貴組織所有加入的 API，您可以按下「ADD API」新增一個 API 服務、點選項目進入設定，或是按下 「DELETE」將該 API 刪除。

在設定頁面中，您也可以輸入功能以及標題的描述。

在 Operations 的頁面，您可以設定呼叫此 API 的操作方法；設定此操作的 HTTP 動詞；同時也可以改寫呼叫的 URL。

URL template：

顯示您想要呼叫的方式，並在 “{ }” 內放入您的參數名稱。

Rewrite URL template：

        顯示原本要被改寫的 URL。 “{ }” 中的參數名稱要和 URL template 中的一樣。

Display name 和 Description 則是顯示的 API 名稱以及內容描述。

Products

• Product 是 API 被包裝給開發者的一種形式，一個 Product 底下包裝了許多同型態的 API，而開發者可以訂閱某個特定 Product ，使用該 Product 底下的 API 來進行開發。

在這個 Product 內的 summary 可以新增和編輯 API ，並且可以設定將此 API 發行。 

每個 Product 底下都可以設定開發者的權限，限定開發者的檢視權限。

同時也可以看到這個 Product 的訂閱者。

Policy

• 在 Policies 中可以設定該 Product 內不同的 API，並且從右側的 Policy statement 加入配置的模板。
• 這些模板的內容，可以參考完整的 模板配置清單。

Analytics

• Analytics 提供了 API 的用量分析，並且提供了各個產品、API、開發者的使用狀況排行分析。
• 用量分析包含了呼叫次數、回覆時間、頻寬以及錯誤。

 

 

使用量分析可分國家別和顏色來呈現

 

 

Users

• 使用者管理的功能可讓您新增或邀請使用者進入專案當中，管理者也可以利用此頁面來管理使用者權限。

 

 

Groups

• 在 Groups 內可以新增開發者群體，把開發者依照類別或專案內容歸類在一起。

 

 

Notification

Notification 功能提供了管理者在處理開發者的訂閱時，可以更快速地回覆和處理需求。此功能提供了 email 的回覆模板以及處理訂閱需求的管理回覆信箱。

 

Applications

這項功能可讓開發者在開發者平台上傳應用程式；而管理者可以在後台介面審核開發者上傳的應用程式。

 

System Settings

在系統設定內可以讓您透過 API Management REST API 來執行在開發者和管理者的各項操作，包括配置貴組織的 API、存取 API 使用量分析資料等。

 

 

API 管理的開發者入口網站功能將在下一篇文章中介紹：

 Microsoft Azure API 管理預覽功能簡介 (下)

 

 

參考資料

1)      Azure API 管理

https://azure.microsoft.com/zh-tw/services/api-management/

 

2)      Azure API 管理概念

https://azure.microsoft.com/zh-tw/documentation/articles/api-management-key-concepts/#groups

圖一、Git (左) 及 GitHub (右) 是原始碼版本控制的解決方案

本篇文章主要介紹如何使用原始碼版本控制軟體在 Microsoft Azure 上發行網站。

Git 是一個很常用的版本控制軟體，而 GitHub 則是線上最大的版本控制服務，

當多人一同開發專案時，許多開發者常常利用 Git 來當作程式碼管理的工具。GitHub 也成為分享開源程式碼的主要線上資源。

Azure 提供的原始碼發行方案

Azure 上提供了眾多版本控制方案讓開發者發行網站，

包含了：

序號	名字	圖像	描述
1.	Visual Studio Online		Visual Studio Online 提供軟體管理、 原始檔控制、問題追蹤、建置和測試自動化 等作業的完整解決方案。
2.	Git		您的本機電腦上已經有 Git 儲存機制嗎? 只要將您的本機 Git 儲存機制發行至 Windows Azure 中的遠端儲存機制，您的網站 就會立即自動上線。
3.	GitHub		GitHub 最適合用來與朋友、同事、同學 或陌生人分享程式碼。超過三百萬的使用者 一起使用 GitHub 來建立美好的事物。
4.	Dropbox		Dropbox 是一個免費服務，可讓您將所有相片、 文件和影片帶到任何地方，並且輕鬆地與他人分享。 透過使用 Windows Azure 可快速地從 Dropbox 資料夾同步處理並部署您的程式碼。
5.	Bitbucket		Bitbucket 是 Git 和 Mercurial 分散式版本控制系統 的主控網站。Bitbucket 包括問題追蹤程式、 Wiki，以及與熱門服務 (例如 Basecamp、Flowdock 和 Twitter) 的整合。
6.	CodePlex		CodePlex 是 Microsoft 的開放原始碼專案主控網站。 您可以免費建立公用專案，將您的程式碼與全世界分享。
7.	外部儲存機制		輸入任何公用外部儲存機制的 URL，即可自動從該位置 進行部署。支援 Git 和 Mercurial 儲存機制。

使用 Git 及 GitHub 上傳網站

1. 在 Azure Portal 中點選「新增」

2. 選取「計算」 > 「網站」 > 「自訂建立」

3. 點選「從原始檔控制發行」

4. 選取原始碼來源

接下來的部分將會分成兩部分進行：

使用本機 Git 發行網站

1. 進入網頁後點選「部屬」，在頁面下方即可看到您的 Git URL

 2.下載並安裝 Git

若您的電腦尚未下載 Git ，請先行至此路徑下載安裝。

3. 將本機原始碼檔案加入 Git 目錄中

• 若是第一次進行專案

請打開 PowerShell，進入您應用程式的根目錄，並輸入以下指令 。(若是第一次使用 Git 的開發者，請先將 C:\Program Files (x86)\Git\bin 設定為環境變數)

git init
git add .
git commit -m "First commit"

上述指令會將您的應用程式底下所有檔案加入 Git 目錄中，同時將這些改變提交到 Git 的 master 中。

• 若不是第一次發布到 Azure

則您可以從 Azure 上下載當下最新版本的原始碼到本機編輯，請輸入以下指令：

git clone https://YOUR_GIT_URL.git

*YOUR_GIT_URL 請換成您的 Git URL。

• 若是本機已經有 Git 目錄，但還尚未發佈到 Azure 上

則跳過此步驟，直接進行步驟 4

 4. 加入遠端 Microsoft Azure 儲存機制並推送您的資料

此步驟是設定您的遠端路徑，並將您在本機 Git 目錄下的檔案上傳至 Azure 中。

您可以參考以下指令： 

git remote add azure https://YOUR_GIT_URL.git
git push azure master 

 *YOUR_GIT_URL 請換成您的 Git URL。

在推送資料之前請先輸入您的密碼

推送完成後即可在 Azure Portal 中看到您的部屬紀錄

5. 點選 「瀏覽」，即可以連到網頁。

使用 GitHub 發行網站

1. 點選原始碼位置為 「GitHub」

2. 登入 GitHub 的帳號資訊來授權

<GitHub 上可用的目錄>

4. 同步完畢之後即可以看到 Azure Portal 上的部屬紀錄

若沒有即時同步或是之後有修改的情況，請點選 portal 下方的「同步」

5. 點選 「瀏覽」，即可以連到網頁。

透過 Microsoft Azure 的原始檔發行功能，您可以使用自己喜愛的版本控制軟體，並且快速地與 Azure 連結。對於開發者來說是快速開發專案相當有利的工具，歡迎大家多多利用！！