Thu thập dữ liệu Dataverse đã xuất bằng Azure Data Factory

Bài viết
03/14/2023

Sau khi xuất dữ liệu từ Microsoft Dataverse sang Azure Data Lake Storage Gen2 bằng Azure Synapse Link for Dataverse, bạn có thể sử dụng Azure Data Factory để tạo luồng dữ liệu, chuyển đổi dữ liệu và chạy phân tích.

Lưu ý

Azure Synapse Link for Dataverse trước đây được gọi là Xuất sang kho dữ liệu. Dịch vụ này có tên mới từ tháng 5 năm 2021 và sẽ tiếp tục xuất dữ liệu sang Azure Data Lake cũng như Azure Synapse Analytics.

Bài viết này cho bạn biết cách thực hiện các nhiệm vụ sau:

Đặt tài khoản lưu trữ Data Lake Storage thế hệ 2 với dữ liệu Dataverse ở dạng nguồn trong luồng dữ liệu Data Factory.
Biến đổi dữ liệu Dataverse trong Data Factory với một luồng dữ liệu.
Đặt tài khoản lưu trữ Data Lake Storage thế hệ 2 với dữ liệu Dataverse ở dạng phần chìm trong luồng dữ liệu Data Factory.
Chạy luồng dữ liệu của bạn bằng cách tạo một quy trình bán hàng.

Điều kiện tiên quyết

Phần này mô tả các điều kiện tiên quyết cần thiết để nhập dữ liệu Dataverse với Data Factory.

Vai trò Azure. Tài khoản người dùng được sử dụng để đăng nhập vào Azure phải là thành viên của vai trò người đóng góp hoặc chủ sở hữu hoặc quản trị viên của gói đăng ký Azure. Để xem các quyền mà bạn có trong gói đăng ký, hãy chuyển đến Cổng Azure, chọn tên người dùng của bạn ở góc trên bên phải, chọn ..., sau đó chọn Quyền của tôi. Nếu bạn có quyền truy cập vào nhiều gói đăng ký, hãy chọn gói đăng ký thích hợp. Để tạo và quản lý tài nguyên con cho Data Factory trong cổng Azure—bao gồm tập dữ liệu, dịch vụ được liên kết, quy trình bán hàng, trình kích hoạt và thời gian chạy tích hợp—bạn phải có vai trò Người đóng góp Data Factory ở cấp nhóm nguồn lực trở lên.
Azure Synapse Link for Dataverse. Hướng dẫn này giả định rằng bạn đã xuất dữ liệu Dataverse bằng cách sử dụng Azure Synapse Link for Dataverse. Trong ví dụ này, dữ liệu bảng khách hàng được xuất sang kho dữ liệu.
Azure Data Factory. Hướng dẫn này giả định rằng bạn đã tạo một data factory trong cùng một nhóm đăng ký và tài nguyên với tài khoản lưu trữ chứa tệp Dataverse đã xuất.

Đặt tài khoản lưu trữ Data Lake Storage thế hệ 2 làm nguồn

Mở Azure Data Factory và chọn data factory trên cùng một gói đăng ký và tài nguyên với tài khoản lưu trữ chứa dữ liệu Dataverse đã xuất. Sau đó chọn Tạo luồng dữ liệu từ trang chủ.
Bật chế độ Gỡ lỗi luồng dữ liệu và chọn thời gian ưa thích để phát hành. Quá trình này có thể mất đến 10 phút, nhưng bạn có thể tiến hành các bước sau.
Chọn Thêm nguồn dữ liệu.
Trong Thiết đặt nguồn, hãy làm như sau:
- Tên luồng đầu ra: Nhập tên bạn muốn.
- Loại Nguồn: Chọn Nội dòng
- Loại tập hợp dữ liệu nội dòng: Chọn Common Data Model.
- Dịch vụ được liên kết: Chọn tài khoản lưu trữ từ menu thả xuống, sau đó liên kết dịch vụ mới bằng cách cung cấp chi tiết đăng ký của bạn và để lại tất cả các cấu hình mặc định.
- Lấy mẫu: Nếu bạn muốn sử dụng tất cả dữ liệu của mình, hãy chọn Vô hiệu hóa.
Trong Tùy chọn nguồn, hãy làm như sau:
- Định dạng siêu dữ liệu: Chọn Model.json.
- Vị trí gốc: Nhập tên vùng chứa vào hộp đầu tiên (Vùng chứa) hoặc là Duyệt qua cho tên vùng chứa và chọn OK.
- Thực thể: Nhập tên bảng hoặc Duyệt qua cho bảng.
Kiểm tra tab Chiếu để đảm bảo rằng lược đồ của bạn đã được nhập thành công. Nếu bạn không thấy bất kỳ cột nào, hãy chọn Tùy chọn lược đồ và kiểm tra tùy chọn Suy ra các loại cột trôi. Định cấu hình các tùy chọn định dạng để phù hợp với tập dữ liệu của bạn, sau đó chọn Áp dụng.
Bạn có thể xem dữ liệu của mình trong thẻ Xem trước dữ liệu để đảm bảo việc tạo Nguồn được hoàn chỉnh và chính xác.

Chuyển đổi dữ liệu Dataverse của bạn

Sau khi đặt dữ liệu Dataverse đã xuất trong tài khoản Azure Data Lake Storage Gen2 làm nguồn trong luồng dữ liệu của Data Factory, bạn sẽ có nhiều khả năng để chuyển đổi dữ liệu của mình. Thông tin thêm: Azure Data Factory

Làm theo các hướng dẫn sau để tạo thứ hạng cho từng hàng theo trường doanh thu của bảng khách hàng.

Chọn + ở góc dưới bên phải của chuyển đổi trước đó, sau đó tìm kiếm và chọn Cấp.
Trên tab Thiết đặt cấp, hãy làm như sau:
- Tên luồng đầu ra: Nhập tên bạn muốn, chẳng hạn như Cấp 1.
- Luồng đến: Chọn tên nguồn bạn muốn. Trong trường hợp này, tên nguồn từ bước trước.
- Tùy chọn: Không chọn các tùy chọn.
- Cột xếp hạng: Nhập tên của cột xếp hạng được tạo.
- Sắp xếp điều kiện: Chọn cột doanh thu và sắp xếp theo thứ tự Giảm dần.
Bạn có thể xem dữ liệu của mình trong thẻ xem trước dữ liệu nơi bạn sẽ tìm thấy cột Xếp hạng doanh thu mới ở ngoài cùng bên phải.

Đặt tài khoản lưu trữ Data Lake Storage Gen2 làm tài khoản lưu trữ

Cuối cùng, bạn phải thiết lập phần chìm cho luồng dữ liệu của mình. Làm theo các hướng dẫn sau để đặt dữ liệu đã chuyển đổi của bạn dưới dạng tệp văn bản được phân tách trong kho dữ liệu.

Chọn + ở góc dưới bên phải của chuyển đổi trước đó, sau đó tìm kiếm và chọn Hạ cấp.
Trên tab Phần chìm, hãy làm như sau:
- Tên luồng đầu ra: Nhập tên bạn muốn, chẳng hạn như Phần chìm 1.
- Luồng đến: Chọn tên nguồn bạn muốn. Trong trường hợp này, tên nguồn từ bước trước.
- Loại hạ cấp: Chọn DelimitedText.
- Dịch vụ được liên kết: Chọn vùng chứa lưu trữ Data Lake Storage Gen2 của bạn có dữ liệu bạn đã xuất bằng cách sử dụng dịch vụ Azure Synapse Link for Dataverse.
Trên tab Thiết đặt, hãy làm như sau:
- Đường dẫn thư mục: Nhập tên vùng chứa vào hộp đầu tiên (Hệ thống tệp) hoặc Duyệt qua cho tên vùng chứa và chọn OK.
- Tùy chọn tên tệp: Chọn xuất sang một tệp duy nhất.
- Xuất sang một tệp duy nhất: Nhập tên tệp, chẳng hạn như ADFOutput
- Để các cài đặt khác ở chế độ mặc định.
Trên thẻ Tối ưu hóa, đặt Tùy chọn phân vùng thành Phân vùng đơn.
Bạn có thể xem dữ liệu của mình trong thẻ Xem trước dữ liệu.

Chạy luồng dữ liệu của bạn

Trong ngăn bên trái dưới Tài nguyên nhà máy, chọn +, sau đó chọn Quy trình bán hàng.
Trong Hoạt động, chọn Di chuyển và chuyển đổi rồi kéo Luồng dữ liệu vào không gian làm việc.
Chọn Sử dụng luồng dữ liệu hiện có, sau đó chọn luồng dữ liệu mà bạn đã tạo ở các bước trước.
Chọn Gỡ lỗi từ thanh lệnh.
Để luồng dữ liệu chạy cho đến khi chế độ xem dưới cùng cho thấy điều đó đã được hoàn tất. Quá trình này có thể mất vài phút.
Chuyển đến vùng chứa lưu trữ đích cuối cùng và tìm tệp dữ liệu bảng đã biến đổi.