Omówienie usługi Azure Data Factory
Potrzeba wyzwolenia przenoszenia danych wsadowych lub skonfigurowania regularnego harmonogramu jest wymaganiem dla większości rozwiązań analitycznych. Azure Data Factory (ADF) to usługa, która może służyć do spełnienia takiego wymagania. Usługa ADF udostępnia opartą na chmurze usługę integracji danych, która organizuje przenoszenie i przekształcanie danych między różnymi magazynami danych i zasobami obliczeniowymi.
Azure Data Factory to oparta na chmurze usługa ETL i integracja danych, która umożliwia tworzenie opartych na danych przepływów pracy do organizowania przenoszenia danych i przekształcania danych na dużą skalę. Za pomocą usługi Azure Data Factory można tworzyć oparte na danych przepływy pracy (nazywane potokami) i ustalać ich harmonogram. Złożone procesy ETL przekształcające dane wizualnie za pomocą przepływów danych lub korzystając z usług obliczeniowych, takich jak Azure HDInsight Hadoop, Azure Databricks i Azure Synapse Analytics.
Większość funkcji usługi Azure Data Factory jest wyświetlana w usłudze Azure Synapse Analytics jako funkcja nazywana potokami, która umożliwia integrowanie potoków danych między pulami SQL, pulami spark i bezserwerowymi bazami danych SQL, zapewniając jeden punkt końcowy dla wszystkich potrzeb analitycznych.
Co oznacza orkiestracja
Aby użyć analogii, pomyśl o orkiestrze symfonicznej. Centralnym członkiem orkiestry jest dyrygent. Dyrygent nie gra instrumentów, po prostu prowadzą członków symfonii przez cały utwór muzyki, który wykonują. Muzycy wykorzystują własne umiejętności do produkcji konkretnych dźwięków na różnych etapach symfonii, więc mogą uczyć się tylko niektórych części muzyki. Dyrygent orkiestruje cały kawałek muzyki i dlatego zdaje sobie sprawę z całego wykonywanego wyniku. Będą również używać konkretnych ruchów ramienia, które zapewniają instrukcje dla muzyków, jak powinien być odtwarzany kawałek muzyki.
Usługa ADF może użyć podobnego podejścia, chociaż ma natywne funkcje pozyskiwania i przekształcania danych, czasami instruuje inną usługę, aby wykonała rzeczywistą pracę wymaganą w jego imieniu, taką jak usługa Databricks w celu wykonania zapytania przekształcenia. W tym przypadku będzie to usługa Databricks, która wykonuje pracę, a nie usługę ADF. Usługa ADF jedynie organizuje wykonywanie zapytania, a następnie udostępnia potoki, aby przenieść dane do następnego kroku lub miejsca docelowego.
Usługa ta udostępnia również rozbudowane wizualizacje umożliwiające wyświetlanie elementów powiązanych i zależności między potokami danych oraz monitorowanie wszystkich potoków danych w jednym zintegrowanym widoku, który ułatwia wykrywanie problemów i konfigurowanie alertów monitorowania.
