Instrukcje: dołączanie danych metryk do klasyfikatora metryk
Ważne
Od 20 września 2023 r. nie będzie można tworzyć nowych zasobów usługi Metrics Advisor. Usługa Metrics Advisor jest wycofywana 1 października 2026 r.
Skorzystaj z tego artykułu, aby dowiedzieć się więcej na temat dołączania danych do klasyfikatora metryk.
Wymagania i konfiguracja schematu danych
Azure AI Metrics Advisor to usługa służąca do wykrywania, diagnostyki i analizy szeregów czasowych. Jako usługa oparta na sztucznej inteligencji używa danych do trenowania używanego modelu. Usługa akceptuje tabele zagregowanych danych z następującymi kolumnami:
- Miara (wymagana): miara jest terminem podstawowym lub specyficznym dla jednostki i wartością kwantyfikalną metryki. Oznacza to, że co najmniej jedna kolumna zawiera wartości liczbowe.
- Sygnatura czasowa (opcjonalnie): zero lub jedna kolumna z typem
DateTimelubString. Jeśli ta kolumna nie jest ustawiona, sygnatura czasowa jest ustawiana jako godzina rozpoczęcia każdego okresu pozyskiwania. Sformatuj znacznik czasu w następujący sposób:yyyy-MM-ddTHH:mm:ssZ. - Wymiar (opcjonalnie): wymiar jest co najmniej jedną wartością kategorii. Kombinacja tych wartości identyfikuje określony jednowariaty szereg czasowy (na przykład kraj/region, język i dzierżawa). Kolumny wymiarów mogą być dowolnym typem danych. Należy zachować ostrożność podczas pracy z dużą ilością kolumn i wartości, aby zapobiec przetwarzaniu nadmiernej liczby wymiarów.
Jeśli używasz źródeł danych, takich jak Azure Data Lake Storage lub Azure Blob Storage, możesz agregować dane w celu dopasowania ich do oczekiwanego schematu metryk. Wynika to z faktu, że te źródła danych używają pliku jako danych wejściowych metryk.
Jeśli używasz źródeł danych, takich jak Azure SQL lub Azure Data Explorer, możesz użyć funkcji agregacji, aby agregować dane w oczekiwanym schemacie. Dzieje się tak, ponieważ te źródła danych obsługują uruchamianie zapytania w celu pobrania danych metryk ze źródeł.
Jeśli nie masz pewności co do niektórych terminów, zapoznaj się z słownikiem.
Unikaj ładowania częściowych danych
Częściowe dane są spowodowane niespójnościami między danymi przechowywanymi w usłudze Metrics Advisor i źródłem danych. Może się tak zdarzyć, gdy źródło danych zostanie zaktualizowane po zakończeniu ściągania danych przez doradcę metryk. Usługa Metrics Advisor pobiera tylko dane z danego źródła danych raz.
Jeśli na przykład metryka została dołączona do klasyfikatora metryk na potrzeby monitorowania. Usługa Metrics Advisor pomyślnie pobiera dane metryk w znaczniku czasu A i wykonuje na nim wykrywanie anomalii. Jeśli jednak dane metryk tego konkretnego znacznika czasu A zostały odświeżone po pozyskaniu danych. Nie zostanie pobrana nowa wartość danych.
Możesz spróbować wypełnić dane historyczne (opisane w dalszej części), aby wyeliminować niespójności, ale nie spowoduje to wyzwolenia nowych alertów anomalii, jeśli alerty dla tych punktów czasu zostały już wyzwolone. Ten proces może dodać dodatkowe obciążenie do systemu i nie jest automatyczny.
Aby uniknąć ładowania częściowych danych, zalecamy dwie metody:
Generowanie danych w jednej transakcji:
Upewnij się, że wartości metryk dla wszystkich kombinacji wymiarów w tym samym czasie są przechowywane w źródle danych w jednej transakcji. W powyższym przykładzie poczekaj, aż dane ze wszystkich źródeł danych będą gotowe, a następnie załaduj je do klasyfikatora metryk w jednej transakcji. Usługa Metrics Advisor może regularnie sondować źródło danych do momentu pomyślnego (lub częściowego) pobrania danych.
Opóźnij pozyskiwanie danych, ustawiając odpowiednią wartość parametru przesunięcia czasu pozyskiwania:
Ustaw parametr przesunięcia czasu pozyskiwania danych dla źródła danych, aby opóźnić pozyskiwanie, dopóki dane nie będą w pełni przygotowane. Może to być przydatne w przypadku niektórych źródeł danych, które nie obsługują transakcji, takich jak Usługa Azure Table Storage. Aby uzyskać szczegółowe informacje, zobacz ustawienia zaawansowane.
Zacznij od dodania źródła danych
Po zalogowaniu się do portalu usługi Metrics Advisor i wybraniu obszaru roboczego kliknij pozycję Rozpocznij. Następnie na stronie głównej obszaru roboczego kliknij pozycję Dodaj źródło danych z menu po lewej stronie.
Dodawanie ustawień połączenia
1. Ustawienia podstawowe
Następnie wprowadzisz zestaw parametrów, aby połączyć źródło danych szeregów czasowych.
- Typ źródła: typ źródła danych, w którym są przechowywane dane szeregów czasowych.
- Stopień szczegółowości: interwał między kolejnymi punktami danych w danych szeregów czasowych. Obecnie usługa Metrics Advisor obsługuje: roczne, miesięczne, tygodniowe, dzienne, godzinowe, na minutę i niestandardowe. Najniższy interwał obsługiwanej opcji dostosowywania wynosi 60 sekund.
- Sekundy: liczba sekund, w których parametr granularityName jest ustawiony na Wartość Dostosuj.
- Pozyskiwanie danych od (UTC): godzina rozpoczęcia punktu odniesienia pozyskiwania danych.
startOffsetInSecondsjest często używany do dodawania przesunięcia, aby ułatwić spójność danych.
2. Określ parametry połączenia
Następnie należy określić informacje o połączeniu dla źródła danych. Aby uzyskać szczegółowe informacje na temat innych pól i łączenia różnych typów źródeł danych, zobacz Instrukcje: Połączenie różnych źródeł danych.
3. Określ zapytanie dla pojedynczego znacznika czasu
Aby uzyskać szczegółowe informacje o różnych typach źródeł danych, zobacz Instrukcje: Połączenie różnych źródeł danych.
Ładowanie danych
Po wprowadzeniu parametry połączenia i ciągu zapytania wybierz pozycję Załaduj dane. W ramach tej operacji doradca metryk sprawdzi połączenie i uprawnienia do ładowania danych, sprawdzi wymagane parametry (@IntervalStart i @IntervalEnd) które muszą być używane w zapytaniu, i sprawdź nazwę kolumny ze źródła danych.
Jeśli w tym kroku wystąpi błąd:
- Najpierw sprawdź, czy parametry połączenia jest prawidłowa.
- Następnie sprawdź, czy istnieją wystarczające uprawnienia i czy adres IP procesu pozyskiwania jest udzielany dostępu.
- Następnie sprawdź, czy wymagane parametry (@IntervalStart i @IntervalEnd) są używane w zapytaniu.
Konfiguracja schematu
Po załadowaniu schematu danych wybierz odpowiednie pola.
Jeśli znacznik czasu punktu danych zostanie pominięty, doradca metryk użyje znacznika czasu podczas pozyskiwania punktu danych. Dla każdego źródła danych można określić co najwyżej jedną kolumnę jako znacznik czasu. Jeśli zostanie wyświetlony komunikat, że nie można określić kolumny jako znacznika czasu, sprawdź zapytanie lub źródło danych i czy istnieje wiele sygnatur czasowych w wyniku zapytania — nie tylko w danych podglądu. Podczas pozyskiwania danych doradca metryk może używać tylko jednego fragmentu (na przykład jednego dnia, jednej godziny — zgodnie z szczegółowością) danych szeregów czasowych z danego źródła za każdym razem.
| Wybór | opis | Notatki |
|---|---|---|
| Wyświetlana nazwa | Nazwa, która ma być wyświetlana w obszarze roboczym zamiast oryginalnej nazwy kolumny. | Opcjonalny. |
| Sygnatura czasowa | Sygnatura czasowa punktu danych. W przypadku pominięcia doradca metryk użyje znacznika czasu, gdy punkt danych zostanie pozyskany. Dla każdego źródła danych można określić co najwyżej jedną kolumnę jako znacznik czasu. | Opcjonalny. Należy określić z co najwyżej jedną kolumną. Jeśli nie można określić kolumny jako błędu sygnatury czasowej, sprawdź zapytanie lub źródło danych pod kątem zduplikowanych sygnatur czasowych. |
| Miara | Wartości liczbowe w kanale danych. Dla każdego źródła danych można określić wiele miar, ale jako miarę należy wybrać co najmniej jedną kolumnę. | Należy określić z co najmniej jedną kolumną. |
| Wymiar | Wartości podzielone na kategorie. Kombinacja różnych wartości identyfikuje określony szereg czasowy z pojedynczym wymiarem, na przykład: kraj/region, język, dzierżawa. Możesz wybrać zero lub więcej kolumn jako wymiarów. Uwaga: należy zachować ostrożność podczas wybierania kolumny innej niż ciąg jako wymiaru. | Opcjonalny. |
| Ignoruj | Ignoruj wybraną kolumnę. | Opcjonalny. W przypadku obsługi źródeł danych przy użyciu zapytania w celu pobrania danych nie ma opcji "Ignoruj". |
Jeśli chcesz zignorować kolumny, zalecamy zaktualizowanie zapytania lub źródła danych w celu wykluczenia tych kolumn. Możesz również zignorować kolumny przy użyciu opcji Ignoruj kolumny , a następnie zignorować określone kolumny. Jeśli kolumna powinna być wymiarem i zostanie omyłkowo ustawiona jako ignorowana, doradca metryk może w końcu pozyskiwać częściowe dane. Załóżmy na przykład, że dane z zapytania są następujące:
| Identyfikator wiersza | Sygnatura czasowa | Kraj/region | Język | Income |
|---|---|---|---|---|
| 1 | 2019/11/10 | Chiny | ZH-CN | 10 000 |
| 2 | 2019/11/10 | Chiny | EN-US | 1000 |
| 3 | 2019/11/10 | — USA | ZH-CN | 12000 |
| 4 | 2019/11/11 | — USA | EN-US | 23000 |
| ... | ... | ... | ... | ... |
Jeśli kraj jest wymiarem, a język jest ustawiony jako Ignorowany, pierwsze i drugie wiersze będą miały te same wymiary dla znacznika czasu. Usługa Metrics Advisor będzie dowolnie używać jednej wartości z dwóch wierszy. Usługa Metrics Advisor nie agreguje wierszy w tym przypadku.
Po skonfigurowaniu schematu wybierz pozycję Weryfikuj schemat. W ramach tej operacji doradca metryk przeprowadzi następujące kontrole:
- Czy znacznik czasu zapytanych danych należy do jednego interwału.
- Czy istnieją zduplikowane wartości zwracane dla tej samej kombinacji wymiarów w jednym interwale metryk.
Ustawienia automatycznego zestawienia
Ważne
Jeśli chcesz włączyć analizę głównej przyczyny i inne możliwości diagnostyczne, należy skonfigurować ustawienia automatycznego zestawienia. Po włączeniu ustawienia automatycznego zestawienia nie można zmienić.
Funkcja Metrics Advisor może automatycznie wykonywać agregacje (na przykład SUM, MAX, MIN) dla każdego wymiaru podczas pozyskiwania, a następnie tworzy hierarchię, która będzie używana w analizie przypadków głównych i innych funkcjach diagnostycznych.
Rozważ następujące scenariusze:
"Nie muszę uwzględniać analizy zbiorczej dla moich danych."
Nie trzeba używać zestawienia klasyfikatora metryk.
"Moje dane zostały już rzutowane, a wartość wymiaru jest reprezentowana przez: NULL lub Empty (Wartość domyślna), NULL only, Others"."
Ta opcja oznacza, że usługa Metrics Advisor nie musi sumować danych, ponieważ wiersze są już sumowane. Jeśli na przykład wybierzesz tylko wartość NULL, drugi wiersz danych w poniższym przykładzie będzie widoczny jako agregacja wszystkich krajów i języka EN-US; czwarty wiersz danych, który ma pustą wartość dla kraju , jednak będzie widoczny jako zwykły wiersz, który może wskazywać niekompletne dane.
Kraj/region Język Income Chiny ZH-CN 10 000 (NULL) EN-US 999999 — USA EN-US 12000 EN-US 5000 "Potrzebuję doradcy metryk, aby podsumować moje dane, obliczając sumę/maksymalną/minimalną/metrykę/liczbę i reprezentując ją przez {ciąg}".
Niektóre źródła danych, takie jak Azure Cosmos DB lub Azure Blob Storage, nie obsługują pewnych obliczeń, takich jak grupowanie według lub moduł. Usługa Metrics Advisor udostępnia opcję zestawienia w celu automatycznego generowania modułu danych podczas pozyskiwania. Ta opcja oznacza, że potrzebujesz klasyfikatora metryk, aby obliczyć zestawienie przy użyciu wybranego algorytmu i użyć określonego ciągu do reprezentowania zestawienia w usłudze Metrics Advisor. Nie spowoduje to zmiany żadnych danych w źródle danych. Załóżmy na przykład, że masz zestaw szeregów czasowych, który oznacza metryki Sprzedaż z wymiarem (Kraj, Region). W przypadku danego znacznika czasu może to wyglądać następująco:
Kraj Region Sales Kanada Alberta 100 Kanada Kolumbia Brytyjska 500 Stany Zjednoczone Montana 100 Po włączeniu automatycznego rzutowania z sumą doradca metryk obliczy kombinacje wymiarów i zsumuje metryki podczas pozyskiwania danych. Wynikiem może być:
Kraj Region Sales Kanada Alberta 100 NULL Alberta 100 Kanada Kolumbia Brytyjska 500 NULL Kolumbia Brytyjska 500 Stany Zjednoczone Montana 100 NULL Montana 100 NULL NULL 700 Kanada NULL 600 Stany Zjednoczone NULL 100 (Country=Canada, Region=NULL, Sales=600)oznacza, że suma wartości Sales in Canada (wszystkie regiony) wynosi 600.Poniżej przedstawiono przekształcenie w języku SQL.
SELECT dimension_1, dimension_2, ... dimension_n, sum (metrics_1) AS metrics_1, sum (metrics_2) AS metrics_2, ... sum (metrics_n) AS metrics_n FROM each_timestamp_data GROUP BY CUBE (dimension_1, dimension_2, ..., dimension_n);Przed użyciem funkcji automatycznego wprowadzania należy wziąć pod uwagę następujące kwestie:
- Jeśli chcesz użyć funkcji SUM do agregowania danych, upewnij się, że metryki są dodawane w każdym wymiarze. Oto kilka przykładów metryk innych niż addytywne :
- Metryki oparte na ułamkach. Obejmuje to współczynnik, wartość procentową itp. Na przykład nie należy dodawać stopy bezrobocia każdego państwa, aby obliczyć stopę bezrobocia w całym kraju/regionie.
- Nakładanie się na wymiar. Na przykład nie należy dodawać liczby osób w każdym sporcie, aby obliczyć liczbę osób, które lubią sport, ponieważ istnieje nakładanie się między nimi, jedna osoba może lubić wiele sportów.
- Aby zapewnić kondycję całego systemu, rozmiar modułu jest ograniczony. Obecnie limit wynosi 100 000. Jeśli dane przekraczają ten limit, pozyskiwanie danych zakończy się niepowodzeniem dla tego znacznika czasu.
- Jeśli chcesz użyć funkcji SUM do agregowania danych, upewnij się, że metryki są dodawane w każdym wymiarze. Oto kilka przykładów metryk innych niż addytywne :
Ustawienia zaawansowane
Istnieje kilka ustawień zaawansowanych umożliwiających pozyskiwanie danych w dostosowany sposób, na przykład określanie przesunięcia pozyskiwania lub współbieżność. Aby uzyskać więcej informacji, zobacz sekcję ustawienia zaawansowane w artykule dotyczącym zarządzania źródłami danych.
Określ nazwę źródła danych i sprawdź postęp pozyskiwania
Nadaj nazwę niestandardową kanałowi danych, który będzie wyświetlany w obszarze roboczym. Następnie wybierz pozycję Prześlij. Na stronie szczegółów źródła danych możesz użyć paska postępu pozyskiwania, aby wyświetlić informacje o stanie.
Aby sprawdzić szczegóły niepowodzenia pozyskiwania:
- Wybierz pozycję Pokaż szczegóły.
- Wybierz pozycję Stan , a następnie wybierz pozycję Niepowodzenie lub Błąd.
- Zatrzymaj wskaźnik myszy na nieudanym pozyskiwaniu i wyświetl wyświetlony komunikat szczegółów.
Stan niepowodzenia wskazuje, że pozyskiwanie tego źródła danych zostanie ponowione później. Stan błędu wskazuje, że usługa Metrics Advisor nie ponawia próby dla źródła danych. Aby ponownie załadować dane, należy wyzwolić wypełnianie/ponowne ładowanie ręcznie.
Możesz również ponownie załadować postęp pozyskiwania, klikając pozycję Postęp odświeżania. Po zakończeniu pozyskiwania danych możesz kliknąć metryki i sprawdzić wyniki wykrywania anomalii.