資料匯入和匯出作業概觀

發行項
01/05/2024

若要建立和管理資料匯入和匯出作業，您可以使用資料管理工作區。在預設情況下，資料匯入和匯出過程會為目標資料庫中的每個實體建立暫存表。暫存表可讓您在移動資料之前驗證、清理或轉換資料。

附註

本文假設您熟悉資料實體。

資料匯入/匯出過程

以下是匯入或匯出資料的步驟。

建立匯入或匯出作業，您可以在其中完成以下工作：
- 定義專案類別。
- 確定要匯入或匯出的實體。
- 設定作業的資料格式。
- 對實體進行排序，以便它們在邏輯組中按照有意義的順序進行處理。
- 確定是否使用暫存表。
驗證來源資料和目標資料是否正確對應。
驗證您的匯入或匯出作業的安全性。
執行匯入或匯出作業。
透過查看工作歷史記錄來驗證作業是否按預期執行。
清理暫存表。

本文的其餘部分提供有關該過程的每個步驟的更多資訊。

附註

為了重新整理資料匯入/匯出表單以查看最新進度，請使用表單重新整理圖示。不建議重新整理瀏覽器等級，因為它會中斷任何未批次執行的匯入/匯出作業。

建立匯入或匯出作業

資料匯入或匯出作業可以執行一次或多次。

定義專案類別

我們建議您花時間為您的匯入或匯出作業選取合適的項目類別。專案類別可以幫助您管理相關工作。

確定要匯入或匯出的實體

您可以將特定實體新增到匯入或匯出作業或選取要套用的範本。範本使用實體清單填入作業。為作業命名並儲存作業後，就可使用套用範本選項。

設定作業的資料格式

選取實體時，必須選取要匯出或匯入的資料格式。您可以使用資料來源安裝圖格。來源資料格式是類型、檔案格式、資料列分隔符號和資料欄分隔符號的組合。還有其他屬性，但這些是要理解的關鍵。下表列出了有效的組合。

檔案格式	資料列/資料欄分隔符號	XML 樣式
Excel	Excel	-NA-
XML	-NA-	XML-元素 XML-屬性
已分隔，固定寬度	逗號、分號、製表符、豎線、冒號	-NA-

附註

如果檔案格式選項設定為已分隔，請務必為資料列分隔符號、資料欄分隔符號和文字限定詞選取正確的值。確保您的資料不包含用作分隔符號或限定詞的字元，因為這可能會導致匯入和匯出時出錯。

附註

對於 XML 式檔案格式，請確保僅使用合法字元。有關有效字元的更多資訊，請參閱 XML 1.0 中的有效字元。 XML 1.0 不允許使用除製表符、回車符和換行符之外的任何控製字元。非法字元的範例包括方括號、大括號和反斜線。

使用 Unicode 而不是特定字碼頁來匯入或匯出資料。這有助於提供最一致的結果並消除資料管理作業因包含 Unicode 字元而失敗的情況。使用 Unicode 的系統定義的來源資料格式的來源名稱中均包含 Unicode。透過在區域設定標籤中選擇 Unicode 編碼 ANSI 字碼頁作為字碼頁來套用 Unicode 格式。選擇以下 Unicode 字碼頁之一：

字碼頁	顯示名稱
1200	Unicode
12000	Unicode (UTF-32)
12001	Unicode (UTF-32 Big-Endian)
1201	Unicode (Big-Endian)
65000	Unicode (UTF-7)
65001	Unicode (UTF-8)

有關字碼頁的更多資訊，請參閱字碼頁標識符。

對實體進行排序

可以在資料範本或匯入和匯出作業中對實體進行排序。當您執行包含多個資料實體的作業時，您必須確保資料實體的排序正確。您主要對實體進行排序，以便您可以解決實體之間的任何函數依賴關係。如果實體沒有任何函數依賴關係，則可以安排它們進行並列匯入或匯出。

執行單元、級別和序列

執行單元、執行單元中的級別和實體的順序有助於控制資料匯出或匯入的順序。

不同執行單元中的實體是並列處理的。
在每個執行單元中，如果實體具有相同的級別，則並列處理它們。
在每個級別中，實體根據其在該級別中的序列號進行處理。
在處理了一個級別之後，處理下一個級別。

重新排序

在以下情況下，您可能希望對實體重新排序：

如果您的所有更改只使用一個資料作業，您可以使用重新排序選項來最佳化整個作業的執行時間。在這些情況下，可以用執行單元來表示模組，用層級來表示模組中的特徵區域，用序列來表示實體。透過使用這種方法，您可以跨模組並列工作，但您仍然可以在模組中按順序工作。為了幫助保證並列操作成功，您必須考慮所有相依性。
如果使用多個資料作業 (例如，每個模組一個作業)，您可以使用排序來影響實體的級別和順序以實現最佳執行。
如果根本沒有相依關係，您可以在不同的執行單元對實體進行排序以實現最大最佳化。

重新排序選單在選取多個實體時可使用。您可以根據執行單元、級別或順序選項重新排序。您可以設定增量以重新排序已選取的實體。為每個實體選取的單元、級別和/或序列號按指定的增量進行更新。

排序

使用可以使用排序方式選項按順序查看實體清單。

截斷

對於匯入專案，您可以選取在匯入之前截斷實體中的記錄。如果必須將記錄匯入到一組乾淨的資料表中，則截斷會非常有用。此設定預設關閉。

驗證來源資料和目標資料是否正確對應

對應是一種適用於匯入和匯出作業的函數。

在匯入作業的內容中，對應描述了源檔案中的哪些資料欄成為暫存表中的資料欄。因此，系統可以確定必須將源檔案中的哪一資料欄資料複製到暫存表的哪一資料欄中。
在匯出作業的內容中，對應描述暫存表 (即來源) 的哪些資料欄成為目標檔案中的資料欄。

如果暫存表中的資料欄名與檔案比對，系統會根據名稱自動建立對應。但是，如果名稱不同，則不會自動對應資料欄。在這些情況下，您必須透過在資料作業中的實體上選取查看地圖選項來完成對應。

有兩個對應視圖：對應視覺化，這是預設視圖，以及對應細節。紅色星號 (*) 可識別實體中的任何必填欄位。必須先對應這些欄位，然後才能使用實體。使用實體時，您可以根據需要取消對應其他欄位。若要取消對應資料欄，請在實體資料欄或來源資料欄中選取該資料欄，然後選取刪除選取。選取儲存來儲存更改，然後關閉頁面返回專案。匯入後，您可以使用相同的過程來編輯從來源到暫存的欄位對應。

您可以透過選取產生來源對應在頁面上產生對應。已產生對應的行為類似於自動對應。因此，您必須手動對應任何未對應的欄位。

資料對應。

驗證您的匯入或匯出作業的安全性

可以限制對資料管理工作區的存取，以便非管理員使用者只能存取特定的資料作業。存取資料作業意味著完全存取該作業的執行歷史記錄並存取暫存表。因此，您必須確保在建立資料作業時實施適當的存取控制。

按角色和使用者保護作業

使用適用角色選單將作業限制為一個或多個資訊安全角色。只有具有這些角色的使用者才能存取該作業。

您還可以將作業限制為特定使用者。當您透過使用者而不是角色來保護作業時，如果將多個使用者指派給一個角色，則可以進行更多控制。

透過法律實體獲得作業

資料作業本質上是全域性的。因此，如果在法律實體中建立和使用了資料作業，則該作業將在系統中的其他法律實體中可見。在某些應用程式場景中，可能會偏好這種預設行為。例如，使用資料實體匯入發票的組織可能會提供一個集中的發票處理團隊，負責管理組織中所有部門的發票錯誤。在這種情況下，集中式發票處理團隊有權存取所有法律實體的發票匯入作業很有用。因此，從法律實體的角度來看，預設行為符合要求。

但是，組織可能希望每個法律實體都擁有發票處理團隊。在這種情況下，法律實體中的團隊應該只能存取其法律實體中的發票匯入作業。若要滿足此要求，您可以使用資料作業內的適用法律實體選單對資料作業設定基於法律實體的存取控制。設定完成後，使用者只能看到他們現行登入的法律實體中可用的作業。若要查看其他法律實體的作業，使用者必須切換到該法律實體。

作業可以同時由角色、使用者和法律實體保護。

執行匯入或匯出作業

定義作業後，您可以透過選取匯入或匯出按鈕執行一次作業。若要設定定期作業，請選取建立定期資料作業。

附註

可以透過選取匯入或匯出按鈕來執行匯入或匯出作業。這將安排批次處理作業只執行一次。如果批次處理服務由於批次處理服務上的負載而受到限制，則作業可能不會立即執行。還可以透過選取立即匯入或立即匯出來同步執行作業。這會立即啟動作業，如果批次處理由於限製而無法啟動，這將非常有用。這些作業也可以安排在以後執行。這可以透過選取批次執行選項來完成。批次處理資源會受到限制，因此批次處理作業可能不會立即啟動。建議使用批次處理，因為它還有助於處理需要匯入或匯出的大量資料。批次處理作業可以安排在特定的批次處理組上執行，這允許負載平衡的角度進行更多控制。

驗證作業是否按預期執行

工作歷史記錄可用於對匯入和匯出作業進行疑難排解和調查。歷史記錄作業執行按時間範圍組織。

工作歷史記錄範圍。

每個作業執行都提供以下詳情：

執行詳情
執行記錄

執行詳情顯示作業處理的每個資料實體的狀態。因此，您可以快速找到以下資訊：

處理了哪些實體。
對於一個實體，有多少記錄被成功處理，多少記錄失敗。
每個實體的暫存記錄。

您可以將暫存資料下載到檔案中以用於匯出作業，也可以將其作為包下載以用於匯入和匯出作業。

從執行詳情中，您還可以打開執行記錄。

平行匯入

為了加快資料的匯入，如果實體支援平行匯入，可以啟用匯入檔案的平行處理。若要為實體設定平行匯入，必須遵循以下步驟。

進入系統管理>工作區>資料管理。
在匯入/匯出區段，選取架構參數圖格以開啟資料匯入/匯出架構參數頁面。
在實體設定索引標籤，選取設定實體執行參數來打開實體匯入執行參數頁面。
設定以下欄位以設定實體的平行匯入：
- 在實體欄位，選取實體。如果實體欄位為空，且實體支援並行匯入，則空值將用作所有後續匯入的預設設定。
- 在匯入閾值記錄數欄位中，輸入要匯入的閾值記錄數。這決定了對話要處理的記錄數。如果一個檔案有 10K 條記錄，則記錄數為 2500，工作數為四意味著，每個對話將處理 2500 條記錄。
- 在匯入工作計數欄位，輸入匯入工作的計數。該計數不得超過系統管理>伺服器設定中為批次處理指派的最大批次處理對話數。

工作歷程記錄清理

預設情況下，超過 90 天的工作歷史記錄條目和相關暫存表資料將會自動刪除。資料管理中的作業記錄清理功能可用於設定定期清理執行歷史記錄，其保留期低於此預設值。此函數取代了之前已被取代的暫存表清理函數。清理過程將清理以下表格。

所有暫存表
DMFSTAGINGVALIDATIONLOG
DMFSTAGINGEXECUTIONERRORS
DMFSTAGINGLOGDETAIL
DMFSTAGINGLOG
DMFDEFINITIONGROUPEXECUTIONHISTORY
DMFEXECUTION
DMFDEFINITIONGROUPEXECUTION

執行歷史記錄清理功能可從資料管理 > 工作歷史記錄清理中存取。

排程參數

在安排清理過程時，必須指定以下參數來定義清理標準。

保留歷史記錄的天數 – 此設定用於控制要保留的執行歷史記錄的數量。歷史記錄以天數指定。當清理作業被安排為定期批次處理作業時，此設定將像一個連續移動的窗口一樣，始終保持指定天數的歷史記錄不變，同時刪除其餘的天數。預設值為七天。
執行作業的小時數 – 根據要清理的歷史記錄量，清理作業的總執行時間可能從幾分鐘到幾小時不等。此參數必須設定為作業將執行的小時數。在清理作業執行指定的小時數後，該作業將退出並在下次執行階段根據定期計畫恢復清理。

可以透過使用此設定對作業必須執行的小時數設定最大限制來指定最大執行時間。清理邏輯按時間順序一次透過一個作業執行 ID，最舊的首先用於清理相關的執行歷史。當剩餘執行持續時間在指定持續時間的最後 10% 內時，它將停止拾取新的執行 ID 進行清理。在某些情況下，預計清理作業將繼續超過指定的最長時間。這在很大程度上取決於在達到 10% 閾值之前啟動的現行執行 ID 要刪除的記錄數。必須完成已啟動的清理以確保資料完整性，這意味著即使超出指定限制，清理仍將繼續。完成後，不會獲取新的執行 ID，並且清理作業完成。由於缺乏足夠的執行時間而未清理的剩餘執行歷史記錄將在下次安排清理作業時被獲取。此設定的預設值和最小值設定為 2 小時。
定期批次作業 – 清理作業可以作為一次性手動執行執行，也可以安排為批次定期執行。可以使用在後台執行設定來安排批次處理，這是標準批次處理設定。

附註

如果不使用工作歷史記錄清理功能，超過 90 天的執行記錄仍會自動刪除。除了自動刪除之外，還可以執行工作歷史記錄清理。確保清理工作計畫重複運作。如上所述，在任何清理執行中，工作只會在提供的最大小時內清理盡可能多的執行識別碼。

工作歷史記錄清理和儲存

工作歷史記錄清理和儲存函數取代了以前版本的清理函數。本節將解釋這些新功能。

清理函數的主要變化之一是使用系統批次處理作業來清理歷史記錄。系統批次處理作業的使用允許財務和營運應用程式自動安排清理批次處理作業並在系統準備好後立即執行。不再需要手動安排批次處理作業。在此預設執行模式下，批次處理作業將從午夜開始每小時執行一次，並將保留最近七天的執行歷史記錄。清除的歷史記錄被儲存以備將來擷取。從 10.0.20 版開始，此函數會一直開啟。

清理過程中的第二個變化是清除執行歷史記錄的儲存。清理作業會將刪除的記錄封存到 DIXF 用於常規整合的 blob 儲存體。封存檔案將採用 DIXF 套件格式，並且在 Blob 中可用七天，在此期間可以下載它。封存檔案的預設有效期為七天，可以在參數中更改為最長 90 天。

更改預設設定

此函數現行處於預覽階段，必須透過啟用航班 DMFEnableExecutionHistoryCleanupSystemJob 明確打開。還必須在函數管理中打開暫存清理函數。

若要更改封存檔案壽命的預設設定，請進入資料管理工作區並選取工作歷史記錄清理。將將套件保留在 blob 中的天數設定到 7 到 90 (含) 之間的值。這將對進行此更改後建立的封存生效。

下載封存套件