Azure OpenAI 佈建 2024 年 8 月更新
Microsoft 在 2024 年 8 月中旬推出了佈建輸送量供應項目的改進,旨在解決客戶對可用性和操作靈活性的意見反應,從而開啟新的付款選項和部署案例。
本文適用於佈建輸送量供應項目的現有使用者。 新客戶應參閱 Azure OpenAI 佈建上線指南。
有哪些變更項目?
以下是針對「佈建受控」供應項目推出的功能。
重要
本文中的變更不適用於舊版「佈建傳統 (PTU-C)」供應項目。 只會影響「佈建」(也稱為「佈建受控」) 供應項目。
使用性增強功能
功能 | 優點 |
---|---|
模型獨立配額 | 涵蓋所有模型/版本的單一配額限制可減少配額管理,並加速新模型的實驗。 |
自助配額要求 | 不需要與銷售團隊互動,即可要求增加配額 - 可自動核准許多要求。 |
預設許多區域中的佈建受控配額 | 不需要先要求配額,即可快速開始使用。 |
關於即時容量可用性 + 新部署流程的透明資訊 | 減少與可用性相關的交涉,以加快上市時間。 |
新的每小時/保留商業模型
功能 | 優點 |
---|---|
每小時未認可的使用量 | 沒有必要承諾用量的每小時付款選項可實現短期部署案例。 |
透過 Azure 保留的期限折扣 | Azure 保留除了提供一個月和一年期限每小時費率的大幅折扣,還提供彈性的範圍來將管理降到最低,並與目前的資源繫結承諾用量建立關聯。 |
預設許多區域中的佈建受控配額 | 不需要先要求配額,即可在新區域中快速開始使用。 |
現有佈建客戶的彈性付款模型選擇 | 具有承諾用量的客戶可以留在承諾用量模型至少到 2024 年底,也可以選擇透過自助或受控程序,將現有的承諾用量移轉至每小時/保留模型。 |
支援最新一代模型 | 每小時/保留模型必須部署在 2024 年 8 月 1 日之後發行的模型。 |
可用性改進詳細資料
佈建配額細微性將從模型專屬變更為模型獨立。 相較於訂用帳戶和區域內的每個模型和版本都有自己的配額限制,每個訂用帳戶和區域會有單一配額項目來限制可跨所有支援模型和版本部署的 PTU 總數。
模型獨立配額
自 2024 年 8 月 12 日起,現有客戶的目前模型專屬配額已轉換成模型獨立配額。 此作業會自動進行。 轉換過程中不會遺失配額。 現有的配額限制會加總並指派給新的模型獨立配額項目。
新的模型獨立配額會顯示為名為佈建受控輸送量單位的配額項目,名稱中不再包含模型和版本。 在 Studio 的 [配額] 窗格中展開配額項目,仍然會顯示參與配額項目的所有部署。
預設配額
新的和現有的訂用帳戶會在許多區域中獲指派少量的佈建配額。 這可讓客戶不需要先要求配額,即可開始使用這些區域。
對於現有的客戶,如果區域已指派配額,則不會變更該區域的配額限制。 例如,新的預設數量不會自動增加配額限制。
自助配額要求
客戶不再透過連絡銷售團隊來取得配額。 相反地,他們會使用自助配額要求表單,並指定 PTU 受控配額類型。 您可以從配額項目右側的連結存取該表單。 目標是在兩個工作天內回應所有配額要求。
下列配額螢幕擷取畫面顯示不同部署類型所使用的模型獨立配額,以及要求額外配額的連結。
配額限制
在 8 月更新之前,只有少數客戶可以使用 Azure OpenAI 佈建,並已配置配額來將部署和使用配額的能力提到最高。 由於這些變更,所有使用者都能輕鬆取得配額,因此嘗試部署時更有可能遇到服務容量限制。 新的 API 和 Studio 體驗可協助使用者尋找訂用帳戶具有配額且服務具有容量可支援所需模型部署的區域。
我們也建議使用承諾用量的客戶立即建立其部署,再建立或擴充承諾用量以涵蓋部署。 這可確保在建立承諾用量之前有容量可用,並防止超額購買承諾用量。 為了支援這項作業,已移除防止建立大於其承諾用量之部署的限制。 這個新的配額、容量可用性和承諾用量方法符合每小時/保留模型下提供的內容,而且兩者都採用相同的指引,即先進行部署,再購買承諾用量 (若是每小時模型則為保留)。
如需詳細資訊,請參閱下列連結。 保留指引與承諾用量指引相同:
新的每小時保留付款模型
注意
下列付款模型描述不適用於舊版「佈建傳統 (PTU-C)」供應項目。 只會影響「佈建」(也稱為「佈建受控」) 供應項目。 「佈建傳統」會繼續由未變更的每月承諾用量付款模型所控管。
Microsoft 為佈建部署引進了新的「每小時/保留」付款模型。 這是目前承諾用量付款模型的擴增,對承諾用量付款模型的支援將繼續至少到 2024 年底。
承諾用量付款模型
需要區域性、每月承諾用量才能使用佈建 (可透過合約延長期限)。
承諾用量已繫結至 Azure OpenAI 資源,因此很難跨資源移動部署。
無法在期限內取消或變更承諾用量,只能新增 PTU。
支援在 2024 年 8 月 1 日之前發行的模型。
每小時保留付款模型
此付款模型符合 Azure 對其他產品的標準。
支援每小時使用量,沒有承諾用量。
可購買一個月和一年期限折扣作為區域性 Azure 保留。
可彈性地設定保留範圍來涵蓋多個訂用帳戶,並可在中期變更範圍。
支援所有新舊模型。
重要
在 2024 年 8 月 1 日之後發行的模型需要使用每小時/保留付款模型。 您無法在具有作用中承諾用量的 Azure OpenAI 資源上部署這些模型。 若要部署在 8 月 1 日之後發行的模型,現有的客戶必須:
- 在沒有承諾用量的 Azure OpenAI 資源上建立部署。
- 將現有的資源移出其承諾用量。
付款模型架構
隨著每小時/保留付款模型的發行,付款選項變得更具彈性,而且佈建付款的相關模型已有所變更。 當一個月承諾用量是購買佈建的唯一方式時,模型需要:
- 向您的 Microsoft 帳戶小組取得 PTU 配額。
- 從您要部署之資源上的承諾用量「購買」配額。
- 在資源上建立部署,最多可達承諾用量上限。
此模型與新模型之間的主要差異在於,先前購買佈建的唯一方式是透過一個月期限折扣。 現在,您可以選擇每小時部署並支付部署費用,然後另外決定是否要透過一個月承諾用量 (照舊) 或 Azure 保留來進行折扣。
洞悉這點,付款模型有了下列新的思維方式:
- 使用自助表單取得 PTU 配額。
- 使用您的配額建立部署。
- 選擇性地購買或延長承諾用量或保留,以將期限折扣套用至您的部署。
在所有情況下,步驟 1 和 2 都相同。 差別在於是使用承諾用量還是 Azure 保留作為提供折扣的方法。 在這兩種模型中:
您可以部署比折扣更多的 PTU (例如建立短期部署,藉由部署而不購買折扣來試用新模型)。
折扣方法 (承諾用量或保留) 會將折扣價格套用至固定數目的 PTU,並設定範圍來定義哪些部署會計入折扣。
折扣類型 可用範圍 (區域內) 承諾 Azure OpenAI 資源 Row2 資源群組、單一訂用帳戶、管理群組 (訂用帳戶群組)、共用 (計費帳戶中的所有訂用帳戶) 折扣價格會套用至已部署的 PTU,最多可達折扣中的折扣 PTU 數目。
超過折扣 PTU (或任何折扣未涵蓋) 的已部署 PTU 數目會按每小時費率收取費用。
最佳做法是先建立部署,再套用折扣。 這是為了保證有可用的服務 容量來支援您的部署,再為您無法使用的 PTU 建立期限承諾用量。
注意
當您遵循最佳做法時,您可能必須支付建立部署到增加折扣 (承諾用量或保留) 這段期間的每小時費用。
因此,建議您準備好在部署之後立即增加折扣。 購買 Azure 保留的必要條件與承諾用量不同,建議您如果打算使用這兩者來對部署進行折扣,請在部署之前先進行驗證。 如需詳細資訊,請參閱檢視和管理 Azure 保留的權限
將部署對應至折扣方法
在 2024 年 8 月之前使用 Azure OpenAI 佈建的客戶,可以在訂用帳戶內同時使用這兩種付款模型或其中之一。 每個部署所使用的付款模型取決於其 Azure OpenAI 資源:
資源具有作用中的承諾用量
- 承諾用量會對資源上的所有部署進行折扣,最多可達承諾用量的 PTU 數目。 任何額外的 PTU 會每小時計費。
資源沒有作用中的承諾用量
- 此資源下的部署符合 Azure 保留的折扣資格。 這些部署必須存在於作用中的保留範圍內,才能進行折扣。 保留範圍內的所有部署 (包括可能部署在相同或其他訂用帳戶中其他資源上的部署) 會成組進行折扣,最多可達保留的 PTU 數目。 任何額外的 PTU 會每小時計費。
現有付款模式的變更
目前擁有承諾用量的客戶可以繼續使用這些承諾用量至少到 2024 年底。 這包括以新的或現有的承諾用量購買新的 PTU,以及管理承諾用量續約行為。 不過,8 月更新已變更承諾用量作業的某些層面。
只有在 2024 年 8 月 1 日之前發行的佈建模型,才能部署在具有承諾用量的資源上。
如果承諾用量下已部署的 PTU 數超過已認可的 PTU 數,則會按與新每小時/保留付款模型所使用相同的每小時計量,發出每小時超額費用。 這可透過 Azure 保留對超額費用進行折扣。
您可以部署比在資源上已認可還要多的 PTU。 這讓您能夠保證容量可用性,再增加承諾用量大小以涵蓋部署。
將現有的資源移出承諾用量
現有的客戶可以選擇將現有的資源從承諾用量付款模型移轉至每小時/保留付款模型,以利用部署最新模型的能力,或將各種部署的折扣彙總到單一保留下。
客戶有兩種方法可將使用承諾用量模型的資源移轉至每小時/保留模型。
自助移轉
自助移轉方法可讓客戶藉由允許承諾用量逾期,以有組織地將資源移出其承諾用量。 移轉資源的程序如下所示:
將現有的承諾用量設定為不自動續約,並記下到期日。
在到期日之前,客戶應該購買 Azure 保留,以涵蓋每個訂用帳戶已認可的 PTU 總數。 如果現有的保留範圍內已有該訂用帳戶,則可以增加大小來涵蓋新的 PTU。
當承諾用量到期時,資源下的部署會自動切換至每小時/保留模式,並享有保留的使用折扣。
此自助移轉方法會導致保留和承諾用量同時作用中的重疊時間。 這是此移轉模式的特性,我們不會針對此保留或承諾用量重疊時間退款給客戶。
自助移轉的一個替代方法是改為在承諾用量到期後再購買保留。 在此方法中,部署會在承諾用量到期到購買保留這段期間產生每小時使用量。 如同上一個模型,這是此方法的特性,我們不會針對此每小時使用量退款。
自助移轉優點:
- 可在不同時間移轉個別資源。
- 客戶可以管理移轉,完全不需要依賴 Microsoft。
自助移轉缺點:
- 在已認可計費轉換至每小時/保留計費這段期間,會短暫地重複計費或產生每小時費用。
重要
這兩種自助方法都會產生一些額外費用,因為付款模式會從「已認可」切換至「每小時/保留」。 這些是移轉方法的特性,我們不會將這些費用退款給客戶。 客戶可以選擇使用以下所述的受控移轉方法來避免這些情況。
受控移轉
受控移轉方法需要客戶與 Microsoft 合作,同時大量移轉訂用帳戶/區域中的所有 PTU 承諾用量。 其運作方式如下:
- 客戶會洽詢其帳戶小組要求受控移轉。 Microsoft 小組會指派移轉擁有者來協助客戶進行移轉。
- 選定一個日期,將每個客戶訂用帳戶和區域內包含目前 PTU 承諾用量的所有資源,從已認可計費模型移轉至每小時/保留計費模型。 同一天可移轉多個訂用帳戶和區域。
- 在同意日期:
- 客戶會購買區域性保留以涵蓋要轉換的已認可 PTU,並將保留資訊傳遞給其 Microsoft 移轉連絡人。
- 在 2-3 個工作天內,所有承諾用量都會主動取消,而且先前承諾用量下的部署將會開始使用每小時/保留付款模型。
- 在購買保留後的計費期間,客戶會收到購買保留點數,涵蓋自購買保留起已取消的承諾用量部分。
客戶必須連絡其帳戶小組來排程受控移轉。
受控移轉優點:
- 大量移轉訂用帳戶/區域中的所有承諾用量,對於擁有許多承諾用量的客戶很有幫助。
- 順暢的成本移轉:不可能出現重複計費或產生額外的每小時費用。
受控移轉缺點:
- 必須同時移轉訂用帳戶/區域中的所有承諾用量。
- 需要與 Microsoft 小組協調移轉的時間。
管理佈建輸送量承諾用量
佈建輸送量承諾用量是從 Azure OpenAI Studio 的 [管理承諾用量] 功能表建立和管理。 您可以從 [配額] 功能表選取 [管理承諾用量] 來瀏覽至此檢視:
您可以從 [管理承諾用量] 檢視執行幾個工作:
- 購買新的承諾用量或編輯現有承諾用量。
- 監視您訂用帳戶中的所有承諾用量。
- 識別可能造成非預期計費的承諾用量並採取行動。
下列各節將引導您完成這些工作。
購買佈建輸送量承諾用量
您的承諾用量方案就緒之後,下一個步驟是建立承諾用量。 承諾用量是透過 Azure OpenAI Studio 手動建立,建立承諾用量的使用者必須在訂用帳戶層級具有參與者或認知服務參與者角色。
請針對您需要建立的每個新承諾用量,執行下列步驟:
- 選取 [配額]>[已佈建]>[管理承諾用量],以啟動 [購買佈建輸送量] 對話方塊。
選取 [購買承諾用量]。
選取 Azure OpenAI 資源並購買承諾用量。 您會看到資源分成具有現有承諾用量的資源 (可供您編輯資源),以及目前沒有承諾用量的資源。
設定 | 備註 |
---|---|
選取資源 | 選擇您要在其中建立佈建部署的資源。 購買承諾用量之後,在目前的承諾用量到期之前,您將無法在另一個資源上使用 PTU。 |
選取承諾用量類型 | 選取 [佈建]。 ([佈建] 相當於 [佈建受控]) |
目前未認可的佈建配額 | 目前可供您用來認可至此資源的 PTU 數目。 |
認可數量 (PTU) | 選擇您要認可的 PTU 數目。 您可以在承諾用量期限內增加此數目,但無法減少。 針對 [佈建] 承諾用量類型,以 50 為增量輸入值。 |
目前期間的承諾用量層 | 承諾用量期設定為一個月。 |
續約設定 | 依目前 PTU 自動續約 依較低 PTU 自動續約 不自動續約 |
- 選取 [購買] 。 確認對話方塊會隨即顯示。 確認之後,即會認可您的 PTU,您可以使用這些 PTU 來建立佈建部署。 |
重要
我們會預收整期的新承諾用量費用。 如果將續約設定設定為自動續約,則會根據續約設定,在每個續約日期再次向您收取費用。
編輯現有的佈建輸送量承諾用量
您也可以從 [管理承諾用量] 檢視編輯現有的承諾用量。 您可以對現有的承諾用量進行兩種類型的變更:
- 您可以將 PTU 新增至承諾用量。
- 您可以變更續約設定。
若要編輯承諾用量,請選取要編輯的目前承諾用量,然後選取 [編輯承諾用量]。
將佈建輸送量單位新增至現有的承諾用量
將 PTU 新增至現有的承諾用量,可讓您在資源內建立更大型或更大量的部署。 您可以在承諾用量期限內隨時執行此動作。
重要
當您將 PTU 新增至承諾用量時,會立即根據從目前日期到現有承諾用量期限結束的數量,按比例計費。 新增 PTU 不會重設承諾用量期限。
變更續約設定
您可以在承諾用量到期日之前,隨時變更承諾用量續約設定。 您可能想要變更續約設定的原因包括:您想將承諾用量設定為不自動續約來終止使用佈建輸送量,或是您想降低下一個期間將認可的 PTU 數目來減少使用佈建輸送量。
重要
如果您允許承諾用量逾期或縮減大小,導致資源下的部署需要比資源承諾用量現有 PTU 更多的 PTU,則會針對任何額外的 PTU 向您收取每小時超額費用。 例如,若資源總共部署了 500 個 PTU,且承諾用量為 300 個 PTU,則會針對 200 個 PTU 產生每小時超額費用。
監視承諾用量並防止非預期的計費
[管理承諾用量] 窗格提供整個訂用帳戶的所有資源概觀,其中包含指定 Azure 訂用帳戶內的承諾用量和 PTU 使用量。 特別需要關注的重點包括:
- 已認可的 PTU 數、已部署的 PTU 數和使用率 – 這些數據提供承諾用量大小,以及部署正在使用的數量。 請使用您所有已認可的 PTU 來最大化您的投資。
- 到期原則和日期 - 到期日和原則告知您承諾用量何時到期,以及到期後會發生的情況。 設定為自動續約的承諾用量在續約日期會產生計費事件。 對於即將到期的承諾用量,請務必在到期日之前刪除這些資源的部署,以防止每小時超額計費 (承諾用量的目前續約設定)。
- 通知 - 關於重要情況的警示,例如未使用的承諾用量,以及可能導致超額計費的設定。 超額計費可能是由於承諾用量已逾期且部署仍然存在,但已轉移至每小時計費等情況所造成。
常見的承諾用量管理案例
停用佈建輸送量
若要終止使用佈建輸送量,並防止承諾用量到期後的每小時超額費用,請在目前的承諾用量到期後停止任何費用,必須採取兩個步驟:
- 將所有承諾用量的續約原則設定為 [不要自動續約]。
- 刪除使用配額的佈建部署。
將承諾用量/部署移至相同訂用帳戶/區域中的新資源
您無法在 Azure OpenAI Studio 中將部署或承諾用量直接 [移至] 新資源。 相反地,您必須在目標資源上建立新的部署,並將流量移至其中。 您必須在新資源上購買承諾用量,才能完成這項作業。 由於會預收 30 天的承諾用量費用,因此必須根據原始承諾用量的到期日來排程此移動,以將與新承諾用量的重疊時間及重疊期間的「重複計費」情況降到最低。
您可以採取兩種方法來實作此轉換。
[選項 1:無重疊的轉換]
此選項需要停機一段時間,但不需要額外配額,且不會產生額外費用。
步驟 | 備註 |
---|---|
設定使現有承諾用量逾期的續約原則 | 這可防止續訂承諾用量而產生進一步的費用 |
在現有的承諾用量到期之前,請刪除其部署 | 停機會從此時開始,並持續到建立新的部署並移動流量為止。 請安排在盡可能接近到期日期/時間刪除,以將持續時間降到最低。 |
現有的承諾用量到期之後,請在新的資源上建立承諾用量 | 盡可能在到期後立即執行此步驟和下一個步驟,以將停機時間降到最低。 |
在新的資源上建立部署,並將流量移至其中 |
選項 2:重疊的轉換
此選項可讓現有部署和新部署同時上線,因此無須停機。 這需要有可用的配額才能建立新的部署,而且重疊的部署期間會產生額外費用。
步驟 | 備註 |
---|---|
設定使現有承諾用量逾期的續約原則 | 這樣做可防止續訂承諾用量而產生進一步的費用。 |
在現有的承諾用量到期之前: 1.在新的資源上建立承諾用量。 2.建立新的部署。 3.切換流量 4.刪除現有部署 |
確定您在現有的承諾用量到期之前留下足夠的時間來執行所有步驟,否則這些選項會產生超額費用 (請參閱下一節)。 |
如果最後一個步驟花費的時間超過預期,並將在現有承諾用量到期之後完成,您可以透過三個選項將超額費用降到最低。
- 停機:刪除原始部署,然後完成移動。
- 支付超額費用:保留原始部署並每小時支付費用,直到您移出流量並刪除部署為止。
- 重設原始承諾用量再續訂一次。 這可讓您有時間透過已知的成本完成移動。
支付超額費用和重設原始承諾用量都會在原始到期日之後產生費用。 如果您只需要一兩天來完成移動,支付超額費用可能比新的一個月承諾用量更便宜。 比較這兩個選項的成本,以找出最低成本方法。
將部署移至新的區域和/或訂用帳戶
相同的方法適用於在區域內移動承諾用量和部署,但在所有情況下都需要在新位置有可用的配額。
檢視和編輯現有的資源
在 Azure OpenAI Studio 中,選取 [配額]>[已佈建]>[管理承諾用量],然後選取含現有承諾用量的資源進行檢視/變更。