進階區塊 Blob 儲存體帳戶

進階區塊 blob 儲存體帳戶可透過高效能硬體提供資料。 資料會儲存在固態硬碟 (SSD) ,其已針對低延遲進行優化。 相較於傳統硬碟,SSD 提供更高的輸送量。 檔案傳輸的速度會快許多,因為資料是儲存在可立即存取的記憶體晶片上。 磁碟機的所有部分可一次存取。 相較之下,硬碟 (HDD) 的效能取決於資料與讀取/寫入頭之間的距離。

高效能工作負載

進階區塊 Blob 儲存體帳戶非常適用於需要快速且一致回應時間的工作負載,和/或每秒具有大量輸入輸出 (IOP) 作業的工作負載。 範例工作負載包括:

  • 互動式工作負載。 高度互動式和即時應用程式必須快速寫入資料。 電子商務和地圖應用程式通常需要立即更新和使用者意見反應。 例如,在電子商務應用程式中,可能不會快取的較少瀏覽的項目。 不過,它們必須視需要立即向客戶顯示。 互動式編輯或多玩家線上遊戲應用程式提供即時更新,以維持品質體驗。

  • IoT/串流分析。 在 IoT 案例中,有許多較小的寫入作業可能會在每秒間被推送至雲端。 大量資料可能會在其中進行,並匯總以供分析之用,之後立即刪除。 進階版區塊 blob 儲存體的高擷取功能讓這種類型的工作負載更有效率。

  • 人工智慧/機器學習 (AI/ML)。 AI/ML 會處理不同資料類型的使用量和處理過程,例如視覺效果、語音和文字。 這種高效能運算類型的工作負載處理大量資料,需要快速回應和有效率的資料分析擷取時間。

成本效益

相較於標準一般用途 v2 帳戶,進階區塊 Blob 儲存體帳戶的儲存體成本較高,但是交易成本較低。 如果您的應用程式和工作負載執行大量交易,進階區塊 Blob 儲存體可能會符合成本效益,特別是在工作負載需要大量寫入的情況下。

在大部分情況下,執行超過 35 至 40 筆交易每秒每 TB (TPS/TB) 的工作負載,是適用於此類型帳戶的理想候選項目。 例如,如果您的工作負載在一個月當中執行 5 億個讀取作業和 1 億個寫入作業,您可以如下所示計算 TPS/TB:

  • 每秒寫入交易 = 100,000,000 / (30 x 24 x 60 x 60) = 39 (四捨五入至最接近的整數)

  • 每秒讀取作業 = 500,000,000 / (30 x 24 x 60 x 60) = 193 (四捨五入至最接近的整數)

  • 每秒交易總數 = 193 + 39 = 232

  • 假設您的帳戶平均有 5TB 資料,則 TPS/TB 會是 230 / 5 = 46

注意

每個作業和每個區域的價格不同。 使用 Azure 定價計算機來比較標準和進階效能層之間的定價。

下表示範進階區塊 Blob 儲存體帳戶的成本效益。 此資料表中的數字是根據已啟用 Azure Data Lake Storage Gen2 的進階區塊 Blob 儲存體帳戶 (也稱為 Azure Data Lake Storage 的進階層)。 每個資料行代表一個月的交易數目。 每個資料列代表讀取交易的交易百分比。 資料表中的每個資料格顯示與讀取交易百分比和所執行交易數目相關聯的成本降低百分比。

例如,假設您的帳戶位於美國東部 2 區域,帳戶的交易數目超過 90M,而這些交易的 70% 是讀取交易,進階區塊 Blob 儲存體帳戶會更符合成本效益。

Performance table

注意

如果您想要根據每一 TB 資料的每秒交易數目來評估成本效益,可以使用出現在資料表底部的資料行標題。

進階案例

本節包含一些 Azure 儲存體合作夥伴如何使用進階區塊 Blob 儲存體的真實世界範例。 其中有一些合作夥伴也會啟用 Azure Data Lake Storage Gen2,其會引進階層式檔案結構,在某些情況下進一步增強交易效能。

提示

如果您有分析使用案例,強烈建議您使用 Azure Data Lake Storage Gen2 以及進階區塊 Blob 儲存體帳戶。

本區段包含下列範例:

快速資料序列化

進階區塊 Blob 儲存體可協助您快速序列化或啟動環境。 在銀行這類的產業中,某些法規需求可能會要求公司定期拆除其環境,然後再從頭開始建立。 用來序列化其環境的資料必須快速載入。

我們的部分合作夥伴會每週將其 MongoDB 執行個體複本儲存到進階區塊 Blob 儲存體帳戶。 接著讓系統中斷。 為了讓系統快速恢復上線,會讀取和載入最新的 MongoDB 執行個體複本。 基於稽核目的,先前的複本會在雲端儲存體中保留一段時間。

互動式編輯應用程式

在多位使用者編輯相同內容的應用程式中,更新的速度對於順暢的使用者體驗會變得很重要。

我們的一些合作夥伴開發影片編輯軟體。 使用者對影片進行的任何更新都會立即顯示給其他使用者。 使用者可以專注於其工作,而不是等待內容更新出現。 與進階區塊 Blob 儲存體相關聯的低延遲有助於建立順暢且共同作業的體驗。

資料視覺效果軟體

如果轉譯時間很快,使用者就可以使用資料視覺效果軟體提高生產力。

我們已經看到地圖產業中的公司使用地圖編輯器來偵測地圖的問題。 這些編輯器會使用客戶全球定位系統 (GPS) 資料所產生的資料。 為了建立地圖重疊,編輯軟體會快速執行索引鍵查閱,以轉譯地圖的小型區段。

其中一個案例是在使用進階區塊 Blob 儲存體之前,合作夥伴使用了由標準一般用途 v2 儲存體所支援的 HBase 叢集。 不過,要讓大型叢集隨時都能持續運作,代價很高。 此合作夥伴決定離開此架構,而改為使用進階區塊 Blob 儲存體進行快速索引鍵查閱。 為了建立重疊,他們使用 REST API 來呈現對應至 GPS 座標的圖格。 進階區塊 Blob 儲存體帳戶提供了一種符合成本效益的解決方案,而且延遲更容易預測。

電子商務企業

除了支援其對應客戶的商店之外,電子商務企業也可以為內部小組提供資料倉儲和分析解決方案。 我們已經看到合作夥伴使用進階區塊 Blob 儲存體帳戶,以支援這些資料倉儲和分析解決方案的低延遲需求。 其中一個案例是目錄小組會針對與供應項目、價格、出貨方法、供應商、存貨和物流相關的資料,維護資料倉儲應用程式。 針對多個使用案例來查詢、掃描、擷取和挖掘資訊。 小組會對此資料執行分析,將相關深入解析和資訊提供給各個商品化小組。

互動式分析

幾乎每個產業都需要企業以互動方式查詢及分析其資料。

資料科學家、分析師和開發人員可以藉由對儲存在進階區塊 Blob 儲存體帳戶中的資料執行查詢,更快地衍生有時效性的深入解析。 當這些儀表板中顯示的資料來自進階區塊 Blob 儲存體帳戶,而不是標準一般用途 v2 帳戶時,主管可以更快速地載入其儀表板。

其中一個案例是分析師需要快速分析來自數百萬個裝置的遙測資料,以進一步了解其產品的使用方式,並且進行產品發行決策。 在 SQL 資料庫中儲存資料的成本很高。 為了降低成本並增加可查詢的介面區,他們使用已啟用 Azure Data Lake Storage Gen2 的進階區塊 Blob 儲存體帳戶,並在 Presto 和 Spark 中執行計算,以從 Hive 資料表產生深入解析。 如此一來,即使鮮少存取的資料都具有與頻繁存取資料相同的計算能力。

若要縮短對於外部儲存體的 SQL 少於一秒效能與 Presto 每秒輸入輸出作業 (IOPs) 之間的差距,一致性和速度很重要,尤其是在處理小型已最佳化的單欄式資料列 (ORC) 檔案時。 搭配 Data Lake Storage Gen2 使用進階區塊 Blob 儲存體帳戶時,在此案例中已重複展示相較於標準一般用途 v2 帳戶 3 倍的效能改進。 查詢執行速度快速到像是在電腦本機一樣。

在另一個案例中,合作夥伴會儲存並查詢從其安全性解決方案產生的記錄。 這些記錄是使用 Databricks 產生,然後儲存在已啟用 Data Lake Storage Gen2 的進階區塊 Blob 儲存體帳戶中。 終端使用者可以使用 Azure 資料總管來查詢及搜尋此資料。 他們選擇這種類型的帳戶來提高穩定性並提高互動式查詢的效能。 他們也會將生命週期管理 Delete Action 原則設定為幾天,這有助於降低成本。 此原則可防止永久保留資料。 而是當不再需要資料時,就會刪除資料。

資料處理管線

幾乎每個產業的企業都有處理資料的需求。 必須清理和處理來自多個來源的原始資料,以便用於資料儀表板等工具中的下游使用量,以協助使用者進行決策。

在處理資料時,雖然處理速度不一定是最重要的考量,但是有些產業需要。 例如,金融服務產業的公司通常需要盡快以可靠的方式處理資料。 為了偵測詐騙,這些公司必須處理來自各種來源的輸入、識別客戶的風險,以及採取 Swift 動作。

在某些案例中,我們看到合作夥伴使用多個標準儲存體帳戶來儲存來自不同來源的資料。 然後,部分資料會移至已啟用 Data Lake Storage 的進階區塊 Blob 儲存體帳戶,其中資料處理應用程式會頻繁讀取新抵達的資料。 此帳戶中的目錄清單呼叫速度會比在標準一般用途 v2 帳戶中的執行速度更快且更一致。 帳戶所提供的速度和一致性可確保新資料一律會盡快提供給下游處理系統。 這樣可協助他們立即攔截潛在的安全性風險並採取行動。

物聯網 (IoT)

IoT 已成為每日生活的重要部分。 IoT 可用來追蹤汽車移動、控制燈光,以及監視我們的健康情況。 也有產業應用程式。 例如,公司會使用 IoT 來啟用其智慧工廠專案、改善農業輸出,以及在鑽油平台上進行預測性維護。 進階區塊 Blob 儲存體帳戶會在這些案例中增加顯著的價值。

我們有採礦產業的合作夥伴。 他們使用已啟用 Data Lake Storage Gen2 的進階區塊 Blob 儲存體帳戶以及 HDInsight (Hbase),從多個採礦設備類型擷取時間序列感應器資料,具有負擔很大的負載設定檔。 進階區塊 Blob 儲存體已協助滿足其對高採樣速率擷取的需求。 這也符合成本效益,因為進階區塊 Blob 儲存體是針對執行大量寫入交易的工作負載進行成本最佳化,而此工作負載會產生大量的小型寫入交易 (每秒數萬個)。

Machine Learning

在許多情況下,必須處理大量資料來定型機器學習模型。 若要完成此處理,計算機器必須長時間執行。 相較於儲存體成本,計算成本通常在您的帳單中佔據更大的百分比,因此減少計算機器執行的時間量可能會大幅節省成本。 使用進階區塊 Blob 儲存體取得的低延遲,可大幅縮短時間並且降低您的成本。

我們有合作夥伴將資料處理管線部署至 Spark 叢集,他們在其中執行機器學習定型和推斷。 他們會將 Spark 資料表 (parquet 檔案) 和檢查點儲存至進階區塊 Blob 儲存體帳戶。 Spark 檢查點可以建立大量的巢狀檔案和資料夾。 其目錄清單作業的速度很快,因為結合了進階區塊 Blob 儲存體帳戶的低延遲,以及 Data Lake Storage Gen2 所提供的階層式資料結構。

我們也有半導體產業的合作夥伴,具有 IoT 與機器學習交集的使用案例。 連結至製造廠機器的 IoT 裝置會取得半導體晶圓的影像,並將這些影像傳送至其帳戶。 使用深度學習推斷,系統可以通知內部部署機器,生產環境是否有問題,以及是否需要採取動作。 他們必須可以快速且可靠地載入及處理影像。 使用已啟用 Data Lake Storage Gen2 的進階區塊 Blob 儲存體帳戶有助於付諸實現。

即時串流分析

為了近乎即時支援互動式分析,系統必須擷取和處理大量資料,然後將該資料提供給下游系統。 使用已啟用 Data Lake Storage Gen2 的進階區塊 Blob 儲存體帳戶最適合用於這些類型的案例。

媒體和娛樂產業中的公司在廣播活動時,可以在短時間內產生大量的記錄和遙測資料。 我們的一些合作夥伴依賴多個內容傳遞網路 (CDN) 合作夥伴進行串流。 他們必須針對將流量配置給哪些 CDN 合作夥伴,進行近乎即時的決策。 因此,資料必須在擷取之後數秒內即可供查詢。 為了促進這項快速決策,他們使用儲存在進階區塊 Blob 儲存體內的資料,並在 Azure 資料總管 (ADX) 中處理該資料。 所有上傳至儲存體的遙測都會在 ADX 中轉換,您可以在其中以熟悉的格式儲存,讓操作員和主管可以快速且可靠地進行查詢。

資料會上傳至多個進階效能 Blob 儲存體帳戶。 每個帳戶都會連線到事件方格和事件中樞資源。 ADX 會從 Blob 儲存體擷取資料、執行任何必要的轉換以正規化資料 (例如:解壓縮 zip 檔案或從 JSON 轉換為 CSV)。 然後,資料會透過 ADX 和 Grafana 中顯示的儀表板,提供查詢。 Grafana 儀表板是由操作員、主管和其他使用者使用。 客戶會在進階效能儲存體中保留其原始記錄,或將其複製到一般用途 v2 儲存體帳戶,以便儲存在經常性存取層或非經常性存取層,以供長期保留及未來分析之用。

開始使用進階

首先,請檢查以確定您最愛的 Blob 儲存體功能與進階區塊 Blob 儲存體帳戶相容,然後建立帳戶。

注意

您無法將現有的標準一般用途 v2 儲存體帳戶轉換為進階區塊 Blob 儲存體帳戶。 若要移轉至進階區塊 Blob 儲存體帳戶,您必須建立進階區塊 Blob 儲存體帳戶,並將資料移轉至新的帳戶。

檢查 Blob 儲存體功能相容性

某些 Blob 儲存體功能尚未受支援,或在進階區塊 Blob 儲存體帳戶中有部分支援。 選擇進階之前,請先參閱 Azure 儲存體帳戶中的 Blob 儲存體功能支援一文,以判斷您要使用的功能在帳戶中是否完全受支援。 功能支援會一直擴充,因此請務必定期檢閱本文中的更新資訊。

建立新的儲存體帳戶

若要建立進階區塊 Blob 儲存體帳戶,請務必在建立帳戶時選擇 [進階] 效能選項和 [區塊 Blob] 帳戶類型。

Create blockblobstorageacount

注意

某些 Blob 儲存體功能尚未受支援,或在進階區塊 Blob 儲存體帳戶中有部分支援。 選擇進階之前,請先參閱 Azure 儲存體帳戶中的 Blob 儲存體功能支援一文,以判斷您要使用的功能在帳戶中是否完全受支援。 功能支援會一直擴充,因此請務必定期檢閱本文中的更新資訊。

如果您的儲存體帳戶要用於分析,則強烈建議您使用 Azure Data Lake Storage Gen2 以及進階版區塊 Blob 儲存體帳戶。 若要解除鎖定 Azure Data Lake Storage Gen2 功能,請在 [建立儲存體帳戶] 頁面的 [進階] 索引標籤中,啟用 [階層命名空間] 設定。

下圖顯示 [建立儲存體帳戶] 頁面中的這項設定。

Hierarchical namespace setting

如需完整的指引,請參閱建立儲存體帳戶帳戶。

另請參閱