分享方式:


載入 Analytics Platform System 的伺服器容量規劃工作表

此容量規劃工作表可協助您判斷載入伺服器將資料載入到 SQL Server PDW 的需求。 使用它來建立購買或佈建現有載入伺服器的計畫。

工作表附注

  1. 此工作表適用於將使用 dwloader 命令列載入工具載入資料的伺服器。

  2. 對於使用 Integration Services 或協力廠商載入工具載入資料,需求可能會因載入程序的差異而有所不同。

  3. 大多數需求適用於載入壓縮或未壓縮的資料檔案;需求中的任何差異均以粗體註明。

Clipboard 容量規劃工作表

列印此工作表,並填入您自己的需求。

元件 需求 將您自己的需求填入此資料行 建議
儲存體 您計劃在任何指定的時間週期儲存在載入伺服器上的最大位元組數目。 Pencil icon 若要確定儲存體需求,請計算出您打算在任何指定時段儲存在載入伺服器上的資料量。 容量需求僅適用於載入檔案;作業系統和載入檔案應位於不同的磁碟陣列上。

例如:如果您計劃每天 3 次從磁碟載入 100 GB 的資料,但要到週末才刪除資料檔案,則至少需要 2.1 TB 來儲存資料檔案。 我們建議保守一點,多增加大約 30% 的儲存空間以應對變化和成長。 對於此範例,2.73 TB 的儲存空間會更好。
載入速率 每小時載入到 PDW 中的資料的位元組數上限。 Pencil icon 這是預估值。 在計算此需求時,假設檔案已在載入伺服器上,並且其他載入條件盡可能好。

例如:無需考慮資料壓縮性,因為 dwloader 一律將未壓縮的資料傳送至 PDW。 無需考慮資料類型轉換和目標資料表的大小。
網路 網路連線類型。 Pencil icon 確定最適合您的載入速率需求的網路連線類型。

例如:InfiniBand 或 10 Gbit 乙太網路將提供最佳載入速率。 1 Gbit 乙太網路會將載入速率限製為每小時 360 GB 或更少。
I/O 每小時讀取和寫入的位元組數。 Pencil icon 若要載入資料,dwloader 必須先從磁碟讀取所有資料​,然後再將其傳送至 PDW。

每個載入伺服器載入資料的速度不能快於設備從所有載入來源接收資料的速度。 為了節省成本,請規劃用於載入的 I/O 讀取容量,使其不超過設備的載入容量。

例如:
PDW 以每小時 1.8 TB 的最大速率接收資料並將其載入到 1 機架的設備中。 對於具有 2 個或更多機架的設備,最大載入速率為每小時 3.6 TB。

如果您計劃同時從多部載入伺服器載入,則每個載入伺服器的 I/O 需求將會小於一部伺服器執行所有載入作業時的需求。

例如:對於 1 個機架的設備,一部載入伺服器每小時最多可載入 1.8 TB 的資料。 兩部載入伺服器每小時可同時將 900 GB 資料載入到 1 個機架的設備中。 較高層級的並行可能會降低效率和最大輸送量。

針對 I/O 容量,請考慮載入伺服器上發生的所有 I/O。 如果載入伺服器除了資料載入之外,還有其他 I/O 流量,例如從 ETL 伺服器接收資料檔案,I/O 需求將會增加。

針對壓縮的資料,I/O 需求取決於資料壓縮速率。 dwloader 會讀取壓縮資料,然後將其解壓縮,再將其傳送至 PDW。 壓縮比例越高,載入伺服器需要從磁碟讀取的資料就越少。

例如:如果所需的載入速率為每小時 1.8 TB,且資料以 2:1 壓縮儲存在載入伺服器上,則載入伺服器每小時只需要從磁碟讀取 900 GB 資料,而不是 1.8 TB 資料。 3:1 壓縮比率表示載入伺服器每小時需要從磁碟讀取 600 GB 資料。
CPU 通訊端數目。 Pencil icon 若要載入未壓縮的資料,dwloader 不是一個 CPU 密集型應用程式。 作為最低需求,建議使用最近製造的 2 通訊端伺服器。

為了載入壓縮資料,您需要足夠的 CPU 能力來解壓縮資料,然後再將其傳送至 PDW。 dwloader 可以一次執行 10 個作用中的執行緒。 如果您打算同時載入 10 個壓縮檔,我們建議伺服器至少具有一個 10 核心 CPU 或兩個 6 核心 CPU。
RAM 允許 Windows 在載入期間快取檔案的記憶體的 GB 數。 Pencil icon dwloader 在載入伺服器上使用很少的 RAM。 為了提高效能,Windows 在從磁碟讀取載入檔案後使用記憶體快取載入檔案。

若要確定 RAM 需求,請參閱 Windows Server 安裝需求和任何第三方應用程式需求。 如果您沒有其他來源的需求,建議至少有 32 GB。

對於壓縮資料,更快的 RAM 很有用,因為它可以加快解壓縮速度。

另請參閱

取得及設定載入伺服器dwloader 命令列載入器