Przykład cenowy: kopiowanie danych i przekształcanie ich za pomocą usługi Azure Databricks

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

W tym scenariuszu chcesz skopiować dane z usługi AWS S3 do usługi Azure Blob Storage i przekształcić dane za pomocą usługi Azure Databricks zgodnie z godzinnym harmonogramem przez 8 godzin dziennie przez 30 dni.

Ceny używane w tym przykładzie są hipotetyczne i nie mają na celu sugerowania dokładnych rzeczywistych cen. Koszty odczytu/zapisu i monitorowania nie są wyświetlane, ponieważ są one zwykle niewielkie i nie wpływają znacząco na ogólne koszty. Uruchomienia działań są również zaokrąglane do najbliższego 1000 w kalkulatorze cen.

Uwaga

To oszacowanie dotyczy tylko kosztów usługi Azure Data Factory. Usługa Azure Databricks również poniesie koszty w tym scenariuszu, które można oszacować przy użyciu kalkulatora cen platformy Azure.

Zapoznaj się z kalkulatorem cen platformy Azure, aby uzyskać bardziej szczegółowe scenariusze i oszacować przyszłe koszty korzystania z usługi.

Konfigurowanie

Aby zrealizować ten scenariusz, należy utworzyć potok z następującymi elementami:

• Jedno działanie kopiowania z wejściowym zestawem danych do skopiowania z usługi AWS S3 oraz wyjściowy zestaw danych dla danych w usłudze Azure Storage.
• Jedno działanie usługi Azure Databricks na potrzeby przekształcania danych.
• Jeden wyzwalacz harmonogramu do wykonywania potoku co godzinę. Jeśli chcesz uruchomić potok, możesz go wyzwolić natychmiast lub zaplanować. Oprócz samego potoku każde wystąpienie wyzwalacza jest liczone jako pojedyncze uruchomienie działania.

Szacowanie kosztów

Operations	Typy i jednostki
Uruchamianie potoku	3 Uruchomienia działań na wykonanie (1 dla uruchomienia wyzwalacza, 2 dla przebiegów działań) = 720 przebiegów działań, zaokrąglone w górę, ponieważ kalkulator zezwala tylko na przyrosty 1000.
Założenia dotyczące kopiowania danych: godziny diu na wykonanie = 10 minut	10 min \ 60 min * 4 Środowisko Azure Integration Runtime (domyślne ustawienie DIU = 4) Aby uzyskać więcej informacji na temat jednostek integracji danych i optymalizacji wydajności kopiowania, zobacz ten artykuł
Wykonywanie działania usługi Databricks Założenia: zewnętrzne godziny wykonywania na wykonanie = 10 minut	10 min \ 60 min wykonania działania potoku zewnętrznego

Przykład kalkulatora cen

Łączna cena scenariusza dla 30 dni: 41,01 USD

Powiązana zawartość

• Przykład cenowy: kopiowanie danych z usługi AWS S3 do usługi Azure Blob Storage co godzinę przez 30 dni
• Przykład cenowy: Kopiowanie danych i przekształcanie przy użyciu parametrów dynamicznych co godzinę przez 30 dni
• Przykład cenowy: uruchamianie pakietów usług SSIS w środowisku Azure-SSIS Integration Runtime
• Przykład cenowy: Używanie debugowania przepływu danych mapowania dla normalnego dnia roboczego
• Przykład cenowy: przekształcanie danych w magazynie obiektów blob za pomocą przepływów danych mapowania
• Przykład cenowy: integracja danych w zarządzanej sieci wirtualnej usługi Azure Data Factory
• Przykład cenowy: pobieranie danych różnicowych z usługi SAP ECC za pośrednictwem rozwiązania SAP CDC w przepływach danych mapowania