Udostępnij za pośrednictwem

Przykład cenowy: kopiowanie danych i przekształcanie ich za pomocą usługi Azure Databricks

  • Artykuł

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

W tym scenariuszu chcesz skopiować dane z usługi AWS S3 do usługi Azure Blob Storage i przekształcić dane za pomocą usługi Azure Databricks zgodnie z godzinnym harmonogramem przez 8 godzin dziennie przez 30 dni.

Ceny używane w tym przykładzie są hipotetyczne i nie mają na celu sugerowania dokładnych rzeczywistych cen. Koszty odczytu/zapisu i monitorowania nie są wyświetlane, ponieważ są one zwykle niewielkie i nie wpływają znacząco na ogólne koszty. Uruchomienia działań są również zaokrąglane do najbliższego 1000 w kalkulatorze cen.

Uwaga

To oszacowanie dotyczy tylko kosztów usługi Azure Data Factory. Usługa Azure Databricks również poniesie koszty w tym scenariuszu, które można oszacować przy użyciu kalkulatora cen platformy Azure.

Zapoznaj się z kalkulatorem cen platformy Azure, aby uzyskać bardziej szczegółowe scenariusze i oszacować przyszłe koszty korzystania z usługi.

Konfigurowanie

Aby zrealizować ten scenariusz, należy utworzyć potok z następującymi elementami:

  • Jedno działanie kopiowania z wejściowym zestawem danych do skopiowania z usługi AWS S3 oraz wyjściowy zestaw danych dla danych w usłudze Azure Storage.
  • Jedno działanie usługi Azure Databricks na potrzeby przekształcania danych.
  • Jeden wyzwalacz harmonogramu do wykonywania potoku co godzinę. Jeśli chcesz uruchomić potok, możesz go wyzwolić natychmiast lub zaplanować. Oprócz samego potoku każde wystąpienie wyzwalacza jest liczone jako pojedyncze uruchomienie działania.

Diagram przedstawia potok z wyzwalaczem harmonogramu. W potoku działanie kopiowania przepływa do wejściowego zestawu danych, wyjściowego zestawu danych i działania usługi DataBricks działającego w usłudze Azure Databricks. Wejściowy zestaw danych przepływa do połączonej usługi AWS S3. Wyjściowy zestaw danych przepływa do połączonej usługi Azure Storage.

Szacowanie kosztów

Operations Typy i jednostki
Uruchamianie potoku 3 Uruchomienia działań na wykonanie (1 dla uruchomienia wyzwalacza, 2 dla przebiegów działań) = 720 przebiegów działań, zaokrąglone w górę, ponieważ kalkulator zezwala tylko na przyrosty 1000.
Założenia dotyczące kopiowania danych: godziny diu na wykonanie = 10 minut 10 min \ 60 min * 4 Środowisko Azure Integration Runtime (domyślne ustawienie DIU = 4) Aby uzyskać więcej informacji na temat jednostek integracji danych i optymalizacji wydajności kopiowania, zobacz ten artykuł
Wykonywanie działania usługi Databricks Założenia: zewnętrzne godziny wykonywania na wykonanie = 10 minut 10 min \ 60 min wykonania działania potoku zewnętrznego

Przykład kalkulatora cen

Łączna cena scenariusza dla 30 dni: 41,01 USD

Zrzut ekranu przedstawiający kalkulator cen skonfigurowany na potrzeby kopiowania danych i przekształcania za pomocą scenariusza usługi Azure Databricks.

Powiązana zawartość