Udostępnij za pośrednictwem

Utrwalanie danych wyjściowych pracy i zadań.

Zadanie uruchomione w usłudze Azure Batch może generować dane wyjściowe po uruchomieniu. Dane wyjściowe zadania często muszą być przechowywane do pobierania przez inne zadania w zadaniu, aplikację kliencą, która wykonała zadanie lub oba te zadania. Zadania zapisują dane wyjściowe w systemie plików węzła obliczeniowego usługi Batch, ale wszystkie dane na węźle zostaną utracone w przypadku odświeżenia obrazu lub gdy węzeł opuści pulę. Zadania mogą również mieć okres przechowywania plików, po którym pliki utworzone przez zadanie zostaną usunięte. Ważne jest, aby z tych powodów zapisywać dane wyjściowe zadania, które będą potrzebne później, w magazynie danych, takim jak usługa Azure Storage.

Aby uzyskać informacje o opcjach konta przechowywania w usłudze Batch, zobacz Konta usługi Batch i konta usługi Azure Storage.

Oto kilka typowych przykładów danych wyjściowych zadania:

  • Pliki utworzone podczas przetwarzania danych wejściowych przez zadanie.
  • Pliki dziennika skojarzone z wykonywaniem zadań.

W tym artykule opisano różne opcje utrwalania danych wyjściowych. Możesz utrwalać dane wyjściowe z zadań i procesów Batch do usługi Azure Storage lub innych magazynów.

Opcje utrwalania danych wyjściowych

Istnieje wiele sposobów utrwalania danych wyjściowych. Wybierz najlepszą metodę dla danego scenariusza:

Interfejs API usługi Batch

Interfejs API usługi Batch umożliwia utrwalanie danych wyjściowych. Określ pliki wyjściowe w usłudze Azure Storage dla danych zadań podczas dodawania zadania do zadania lub dodawania kolekcji zadań do zadania.

Aby uzyskać więcej informacji, zobacz Zachowaj dane zadań w Azure Storage za pomocą API usługi Batch.

Biblioteka konwencji plików usługi Batch

Opcjonalny standard konwencji plików w usłudze Batch to zestaw zasad dotyczących nazewnictwa plików wyjściowych zadań w usłudze Azure Storage. Standard zawiera konwencje nazewnictwa dla docelowego kontenera i ścieżki obiektu blob pliku na podstawie nazw pracy i zadania.

Opcjonalnie można użyć standardu File Conventions na potrzeby nazewnictwa plików wyjściowych danych. Zamiast tego możesz nazwać docelowy kontener i ścieżkę blob. Jeśli używasz standardu Konwencje plików, możesz wyświetlić pliki wyjściowe w witrynie Azure Portal.

Jeśli tworzysz rozwiązanie usługi Batch za pomocą języków C# i .NET, możesz użyć biblioteki Konwencji plików usługi Batch dla platformy .NET. Biblioteka przenosi pliki wyjściowe do usługi Azure Storage i nazywa kontenery docelowe oraz obiekty blob zgodnie z standardem konwencji plików usługi Batch.

Aby uzyskać więcej informacji, zobacz Przechowywanie danych zadań i operacji w usłudze Azure Storage przy użyciu biblioteki konwencji plików Batch dla platformy .NET.

Standard konwencji plików wsadowych

Jeśli używasz języka innego niż .NET, możesz zaimplementować standard Konwencji plików usługi Batch we własnej aplikacji. Użyj tego podejścia, gdy:

  • Chcesz użyć wspólnego schematu nazewnictwa.
  • Chcesz wyświetlić dane wyjściowe zadania w witrynie Azure Portal.

Niestandardowe rozwiązanie do przenoszenia plików

Możesz również zaimplementować własne kompletne rozwiązanie do przenoszenia plików. Użyj tego podejścia, gdy:

  • Chcesz utrwalać dane zadań w magazynie danych innym niż usługa Azure Storage. Na przykład chcesz przekazać pliki do magazynu danych, takiego jak Azure SQL lub Azure DataLake. Utwórz skrypt niestandardowy lub plik wykonywalny do przesłania do tej lokalizacji. Następnie wywołaj skrypt niestandardowy lub plik wykonywalny w wierszu polecenia po uruchomieniu podstawowego pliku wykonywalnego. Na przykład w węźle systemu Windows wywołaj metodę doMyWork.exe && uploadMyFilesToSql.exe.
  • Chcesz tworzyć punkty kontrolne lub wcześnie przesyłać początkowe wyniki.
  • Chcesz zachować szczegółową kontrolę nad obsługą błędów. Na przykład chcesz użyć działań wynikających z zależności zadań, aby wykonać konkretne akcje przekazywania na podstawie specyficznych kodów zakończenia zadania.

Uwagi dotyczące projektowania

Podczas projektowania rozwiązania usługi Batch należy wziąć pod uwagę następujące czynniki.

Węzły obliczeniowe są często przejściowe, szczególnie w pulach Batch z włączonym automatycznym skalowaniem. Dane wyjściowe można wyświetlić tylko z zadania:

  • Dopóki węzeł, na którym jest uruchomione zadanie, istnieje.
  • W okresie przechowywania pliku ustawionym dla zadania.

Po wyświetleniu zadania usługi Batch w witrynie Azure Portal i wybraniu pozycji Pliki w węźle zobaczysz wszystkie pliki dla tego zadania, a nie tylko pliki wyjściowe. Aby pobrać dane wyjściowe zadania bezpośrednio z węzłów obliczeniowych w puli, potrzebna jest nazwa pliku i jego lokalizacja wyjściowa w węźle.

Jeśli chcesz dłużej przechowywać dane wyjściowe zadania, skonfiguruj zadanie w celu przekazania plików wyjściowych do magazynu danych. Zaleca się używanie usługi Azure Storage jako magazynu danych. Umożliwia integrację umożliwiającą zapisywanie danych wyjściowych zadania do usługi Azure Storage w interfejsie API usługi Batch. Możesz użyć innych opcji trwałego magazynu, aby zachować dane. Jednak musisz samodzielnie napisać logikę aplikacji dla innych opcji magazynowania.

Aby wyświetlić dane wyjściowe w usłudze Azure Storage, użyj witryny Azure Portal lub aplikacji klienckiej usługi Azure Storage, takiej jak Eksplorator usługi Azure Storage. Zanotuj lokalizację pliku wyjściowego i przejdź bezpośrednio do tej lokalizacji.

Następny krok

Przykładowy projekt PersistOutputs