Руководство. Создание задачи для экспорта данных и управление экспортированными данными

  • Статья

Если вы изучили учебник по анализу затрат, вы знакомы с процедурой загрузки данных из системы управления затратами вручную. Но можно создать повторяющуюся задачу, которая будет ежедневно, еженедельно или ежемесячно автоматически экспортировать ваши данные из системы управления затратами в хранилище Azure. Экспортированные данные хранятся в формате CSV и содержат всю информацию, которую собирает управление затратами. Затем можно использовать экспортированные данные в хранилище Azure в работе с внешними системами и объединять их с собственными пользовательскими данными. Кроме того, можно использовать экспортированные данные во внешней системе, например на панели мониторинга или в другой финансовой системе.

Сведения о создании запланированной операции экспорта данных о затратах Azure в хранилище Azure см. в видео о том, как запланировать операции экспорта в хранилище с помощью службы "Управление затратами". Чтобы просмотреть другие видео, посетите канал YouTube, посвященный службе "Управление затратами".

Примеры, приведенные в этом руководстве, показано, как экспортировать данные управления затратами, а затем убедиться, что данные успешно экспортированы.

В этом руководстве описано следующее:

  • Создание ежедневного экспорта
  • Проверка сбора данных

Необходимые компоненты

Экспорт данных доступен для различных типов учетных записей Azure, включая клиентов Соглашения Enterprise (EA) и клиентов Клиентского соглашения Майкрософт. Полный список поддерживаемых типов учетных записей см. в статье Understand Cost Management data (Интерпретация данных службы "Управление затратами"). Для экспорта данных пользователем или группой поддерживаются следующие разрешения или области Azure на подписку. См. основные сведения об областях и работе с ними.

  • Владелец: может создавать, изменять или удалять запланированные операции экспорта для подписки.
  • Участник: может создавать, изменять или удалять свои запланированные операции экспорта. Может изменять имена запланированных операций экспорта, созданных другими пользователями.
  • Читатель: может просматривать запланированные операции экспорта, для которых имеет разрешение.
    • Для получения дополнительных сведений об областях, включая доступ, необходимый для настройки экспорта для областей действия соглашения Enterprise и клиентского соглашения Майкрософт, см. раздел Общие сведения об областях и работа с областями.

Для учетных записей хранения Azure:

  • Чтобы изменить настроенную учетную запись хранения, требуются разрешения на запись, вне зависимости от разрешений на экспорт.
  • Ваша учетная запись хранения Azure должна быть настроена для использования хранилища BLOB-объектов или хранилища файлов.
  • Не настраивайте экспорт в контейнер хранилища при настройке в качестве назначения в правиле реплика объекта.
  • Чтобы экспортировать учетные записи хранения с настроенными брандмауэрами, вам потребуются другие привилегии в учетной записи хранения. Другие привилегии требуются только во время создания или изменения экспорта. Они:
    • Роль владельца учетной записи хранения. Or
    • Любая пользовательская роль с Microsoft.Authorization/roleAssignments/write разрешениями и Microsoft.Authorization/permissions/read разрешениями. Кроме того, убедитесь, что при настройке брандмауэра включите доверенный доступ к учетной записи хранения службы Azure. Если вы хотите использовать REST API экспорта для создания экспорта в учетную запись хранения, расположенную за брандмауэром, используйте API версии 2023-08-01 или более поздней версии. Все новые версии API продолжают поддерживать экспорт за брандмауэром.
  • Конфигурация учетной записи хранения должна иметь параметр "Разрешенные область для операций копирования (предварительная версия) с любой учетной записью хранения. Снимок экрана: любой набор параметров учетной записи хранения.

Если у вас новая подписка, вы не сможете сразу начать использовать функции Управления затратами. Полная активация всех функций Управления затратами может потребовать до 48 часов.

Вход в Azure

Войдите на портал Azure по адресу https://portal.azure.com.

Создание ежедневного экспорта

Чтобы создать или запланировать операцию экспорта либо же просмотреть сведения о ней, выберите область на портале Azure и выберите Анализ затрат в меню. Например, перейдите к разделу Подписки, выберите подписку из списка и щелкните в меню Анализ затрат. В верхней части страницы анализа затрат выберите "Настроить подписку", а затем "Экспорт".

Примечание.

  • Помимо подписок можно экспортировать группы ресурсов, группы управления, подразделения и регистрации. См. основные сведения об областях и работе с ними.
  • Войдя в систему как партнер в области учетной записи выставления счетов или в клиентском арендаторе, вы можете экспортировать данные в учетную запись хранения Azure, связанную с учетной записью хранения партнера. При этом в арендаторе CSP должна быть активная подписка.
  1. Нажмите кнопку Создать
  2. Для сведений о экспорте сделайте выбор:
    • Введите имя для экспорта
    • Ежедневный экспорт расходов за текущий месяц — ежедневное предоставление нового файла экспорта для расходов за текущий месяц. Последние данные агрегируются из предыдущего ежедневного экспорта.
    • Еженедельный экспорт расходов за последние семь дней — создание еженедельного экспорта расходов за последние семь дней с выбранной даты начала экспорта.
    • Ежемесячный экспорт расходов за прошлый месяц — предоставление экспорта расходов за прошлый месяц по сравнению с текущим месяцем создания экспорта. Далее экспорт будет выполняться по расписанию на пятый день каждого нового месяца с расходами за предыдущие месяцы.
    • Однократный экспорт — позволяет выбрать диапазон дат для экспорта исторических данных в хранилище BLOB-объектов Azure. Вы можете экспортировать историю затрат максимум за 90 дней со дня, который вы выберете. Этот экспорт выполняется немедленно и будет доступен в вашей учетной записи хранения в течение двух часов. В зависимости от типа экспорта выберите дату начала или дату С и До.
  3. Укажите подписку для учетной записи хранения Azure, а затем выберите группу ресурсов или создайте новую.
  4. Выберите имя учетной записи хранения или создайте новую.
  5. Выберите расположение (регион Azure).
  6. Укажите контейнер хранилища и путь к каталогу для экспорта файла. Снимок экрана: страница
  7. Просмотрите данные об экспорте и нажмите кнопку Создать.

Новый экспорт отобразится в списке экспорта. По умолчанию новые задачи экспорта включены. Если требуется отключить или удалить запланированную операцию экспорта, щелкните любой пункт в списке и выберите Отключить или Удалить.

Изначально до начала экспорта может потребоваться от 12 до 24 часов. Однако для отображения данных в экспортированных файлах может понадобиться больше времени.

Настройка экспорта для учетных записей хранения с помощью брандмауэра

Если необходимо экспортировать учетную запись хранения за брандмауэром для требований безопасности и соответствия требованиям, убедитесь, что выполнены все необходимые условия.

Примечание.

Если у вас есть существующий запланированный экспорт и изменение конфигурации сети хранилища, необходимо обновить экспорт и сохранить его, чтобы отразить изменения.

Включите разрешение доступа к доверенным службам Azure в учетной записи хранения. Вы можете включить это при настройке брандмауэра учетной записи хранения на странице "Сеть". Ниже показан снимок экрана со страницей.

Снимок экрана: разрешение служб Azure в параметре исключения списка доверенных служб.

Если вы пропустили этот параметр, вы можете легко сделать это на странице "Экспорты " при создании нового экспорта.

Снимок экрана: параметр

Управляемое удостоверение, назначаемое системой, создается для экспорта нового задания при создании или изменении. У вас должны быть разрешения, так как управление затратами использует привилегию для назначения роли служба хранилища BlobDataContributor управляемому удостоверению. Разрешение ограничено контейнером учетной записи хранения область. После создания или обновления задания экспорта пользователь не требует разрешений владельца для обычных операций выполнения.

Примечание.

  • Когда пользователь обновляет сведения о назначении или удаляет экспорт, роль служба хранилища BlobDataContributor, назначенная управляемому удостоверению, автоматически удаляется. Чтобы система удалив назначение роли, пользователь должен иметь microsoft.Authorization/roleAssignments/delete разрешения. Если разрешения недоступны, пользователь должен вручную удалить назначение роли в управляемом удостоверении.
  • В настоящее время брандмауэры поддерживаются для учетных записей хранения в одном клиенте. Однако брандмауэры в учетных записях хранения не поддерживаются для экспорта между клиентами.

Добавьте экспорт в список доверенных служб. Дополнительные сведения см. в разделе "Доверенный доступ" на основе управляемого удостоверения.

Экспорт расписания

Запланированные экспорты влияют на время и день недели при первоначальном создании экспорта. При создании запланированного экспорта он будет выполняться с одинаковой частотой для каждого последующего экспорта. Например, экспорт выполняется один раз в день в формате UTC для ежедневного экспорта ежедневных затрат на даты, заданных по ежедневной частоте. Аналогичным образом для еженедельного экспорта экспорт выполняется каждую неделю в тот же день UTC, что и запланировано. Отдельные запуски экспорта могут выполняться в разное время в течение дня. Таким образом, избегайте твердой зависимости от точного времени выполнения экспорта. Время выполнения зависит от активной нагрузки, присутствующих в Azure в течение заданного дня UTC. При запуске экспорта данные должны быть доступны в течение 4 часов.

Экспорт назначается в формате времени UTC. API экспорта всегда использует и отображает время в формате UTC.

  • При создании экспорта с помощью API экспорта указывайте значение recurrencePeriod в формате UTC. Этот API не преобразует местное время в формат UTC.
    • Пример: еженедельный экспорт запланирован на пятницу, 19 августа, и recurrencePeriod имеет значение 14:00. API воспринимает эти входные данные как 14:00 UTC, пятница, 19 августа. Еженедельный экспорт планируется выполнять каждую пятницу.
  • При создании экспорта на портале Azure дата его начала автоматически преобразуется в эквивалентное время в формате UTC.
    • Пример: на портала Azure еженедельный экспорт назначается на пятницу, 19 августа, в 02:00 по местному времени в часовом поясе IST (UTC+5:30). API получает входные данные в 8:30, четверг, 18 августа. Еженедельный экспорт планируется выполнять каждый четверг.

Каждый экспорт создает новый файл, поэтому старые экспорты не перезаписываются.

Создание задачи экспорта для нескольких подписок

Группу управления можно использовать для агрегирования сведений о затратах на подписку в одном контейнере. Экспортирует область группы управления для Соглашение Enterprise, но не для Клиентское соглашение Майкрософт или других типов подписок. Несколько валют также не поддерживаются в экспорте группы управления.

Экспортирует в группу управления область поддерживает только расходы на использование. Покупки, включая резервирования и планы экономии, не поддерживаются. Амортизированные отчеты о затратах также не поддерживаются. При создании экспорта из портал Azure для группы управления область поле метрик не отображается, так как по умолчанию используется тип использования. При создании группы управления область экспорта с помощью REST API выберите ExportType как Usage.

  1. Создайте одну группу управления и назначьте ее подпискам, если вы еще не сделали этого.
  2. В поле анализа затрат задайте область для группы управления и щелкните Select this management group (Выбрать эту группу управления). Снимок экрана: параметр
  3. Создайте операцию экспорта в этой области, чтобы получить данные по управлению затратами для подписок в этой группе управления. Снимок экрана: параметр создания нового экспорта с область группы управления.

Секционирование файлов для больших наборов данных

Если у вас есть Клиентское соглашение Майкрософт, Соглашение с партнером Майкрософт или Соглашение Enterprise, вы можете включить экспорт для фрагментирования файла на несколько небольших частей, чтобы упростить прием данных. При первоначальной настройке экспорта задайте параметру Секционирование файлов значение Вкл. По умолчанию для этого параметра задано значение Выкл.

Снимок экрана, на котором показан параметр

Если у вас нет Клиентское соглашение Майкрософт, Соглашение с партнером Майкрософт или Соглашение Enterprise, вы не видите параметр секционирования файлов.

Секционирование в настоящее время не поддерживается для групп ресурсов или групп управления область.

Обновление существующих операций экспорта для использования секционирования файлов

Если у вас уже есть существующие операции экспорта и требуется настроить секционирование файлов, создайте новую операцию экспорта. Секционирование файлов доступно только в последней версии экспорта. Некоторые поля в файлах использования, которые создаются, могут быть незначительными изменениями.

Если вы включите секционирование файлов в существующем экспорте, может появиться незначительные изменения полей в выходных данных файла. Все изменения вызываются обновлениями, внесенными в операции экспорта после первоначальной настройки.

Секционирование выходных данных

Если секционирование файлов включено, вы получаете файл для каждой секции данных в операции экспорта вместе с файлом _manifest.json. Манифест содержит сводку по полному набору данных и сведения по каждой части файла в нем. Каждая часть файла имеет заголовки и содержит только подмножество полного набора данных. Для обработки полного набора данных необходимо принять каждую секцию экспорта.

Ниже приведен пример файла манифеста _manifest.json.

{
  "manifestVersion": "2021-01-01",
  "dataFormat": "csv",
  "blobCount": 1,
  "byteCount": 160769,
  "dataRowCount": 136,
  "blobs": [
    {
      "blobName": "blobName.csv",
      "byteCount": 160769,
      "dataRowCount": 136,
      "headerRowCount": 1,
      "contentMD5": "md5Hash"
    }
  ]
}

Экспорт версий

При создании запланированного экспорта на портале Azure или с помощью API эта операция всегда выполняется в версии экспорта, используемой во время создания. Azure хранит ранее созданные экспорты в той же версии, пока вы не обновите ее. Это предотвращает изменения в расходах и полях CSV-файла, если версия экспорта изменена. По мере изменения функциональных возможностей экспорта за период времени имена полей иногда изменяются и добавляются новые поля.

Если вы хотите использовать последние данные и поля, рекомендуется создать экспорт на портале Azure. Чтобы обновить существующий экспорт до последней версии, обновите его на портале Azure или с помощью последней версии API экспорта. Обновление существующего экспорта может привести к тому, что вы увидите незначительные различия в полях и расходах в файлах, которые созданы позднее.

Проверка сбора данных

Вы легко можете убедиться, что ваши данные из системы управления расходами были собраны, и просмотреть экспортированный CSV-файл с помощью Обозревателя службы хранилища Azure.

В списке экспорта выберите имя учетной записи хранения. На странице учетной записи хранения в Обозревателе выберите "Открыть". Если появится поле подтверждения, выберите Да, чтобы открыть файл в Обозревателе службы хранилища Azure.

Снимок экрана: страница учетной записи служба хранилища с примерами сведений и ссылкой на Open in Обозреватель.

В обозревателе службы хранилища перейдите в контейнер, который требуется открыть, и выберите папку, соответствующую текущему месяцу. Отобразится список CSV-файлов. Выберите файл, а затем — Открыть.

Снимок экрана: примеры сведений в Обозреватель службы хранилища.

Файл открывается с помощью программы или приложения, установленной для открытия расширений CSV-файла. Ниже приведен пример в Excel.

Снимок экрана: экспортированные данные CSV в Excel.

Скачивание экспортированного CSV-файла данных

Чтобы скачать CSV-файл, перейдите к файлу в служба хранилища Microsoft Azure Обозреватель и скачайте его.

Просмотр журнала выполнения экспорта

Чтобы просмотреть журнал выполнения запланированного экспорта, выберите отдельный экспорт на странице со списком экспортов. На этой же странице вы можете быстро просмотреть время выполнения предыдущих операций экспорта, а также запустить следующий экспорт. Ниже приведен пример журнала выполнения.

Снимок экрана: панель

Выберите экспорт для просмотра журнала выполнения.

Снимок экрана: журнал выполнения экспорта.

Экспорт выполняется дважды в день в течение первых пяти дней месяца

Существует два запуска в день в течение первых пяти дней каждого месяца после создания ежедневного экспорта. Один запуск выполняется и создает файл с данными о затратах за текущий месяц. Это запуск, доступный для просмотра в журнале выполнения. Второй запуск также выполняется для создания файла со всеми затратами за предыдущий месяц. Второй запуск в настоящее время не отображается в журнале выполнения. Azure выполняет второй запуск, чтобы убедиться, что последний файл за последний месяц содержит все расходы точно так же, как показано в счете. Она выполняется, так как существуют случаи, когда скрытые расходы и расходы включаются в счет до 72 часов после закрытия календарного месяца. Дополнительные сведения об обновлениях данных об потреблении службы "Управление затратами" см. в разделе Обновление и сохранение данных о затратах и потреблении.

Примечание.

Ежедневный экспорт, созданный от 1 до 5-го из текущего месяца, не будет создавать данные за предыдущий месяц, так как расписание экспорта начинается с даты создания.

Доступ к экспортированным данным из других систем

Одной из целей экспорта данных системы управления затратами является возможность доступа к данным из внешних систем. Можно использовать систему панелей мониторинга или другую финансовую систему. Такие системы значительно варьируются, поэтому приводить примеры нецелесообразно. Однако для начала можно осуществлять доступ к данным из ваших приложений, следуя инструкциям в разделе Общие сведения о службе хранилища Azure.

Вопросы и ответы о экспорте

Ниже приведены некоторые часто задаваемые вопросы и ответы о экспорте.

Почему при открытии экспортированных файлов затрат с помощью Microsoft Excel отображаются символы с грифом?

Если в Excel отображаются символы на основе азиатского языка, например японского или китайского, можно устранить эту проблему, выполнив следующие действия:

Для новых версий Excel:

  1. Откройте Excel.
  2. Выберите вкладку "Данные" в верхней части страницы.
  3. Выберите параметр "Из текста или CSV". Снимок экрана: параметр Excel From Text/CSV.
  4. Выберите CSV-файл, который требуется импортировать.
  5. В следующем поле задайте для источникафайла значение 65001: Юникод (UTF-8). Снимок экрана: параметр источника файла Excel.
  6. Выберите Загрузить.

Для более старых версий MS Excel:

  1. Откройте Excel.
  2. Выберите вкладку "Данные" в верхней части страницы.
  3. Выберите параметр "Из текста", а затем выберите CSV-файл, который требуется импортировать.
  4. В Excel показан мастер импорта текста.
  5. В мастере выберите параметр "Разделители ".
  6. В поле источника файла выберите 65001 : Юникод (UTF-8).
  7. Выберите Далее.
  8. Затем нажмите кнопку "Запятая " и нажмите кнопку "Готово".
  9. В появившемся диалоговом окне нажмите кнопку "ОК".

Почему агрегированные затраты из экспортированного файла отличаются от затрат, отображаемых в анализе затрат?

У вас могут быть несоответствия между агрегированными затратами из экспортированного файла и затратами, отображаемыми в анализе затрат. Определите, является ли средство, используемое для чтения и агрегирования общей стоимости, усечение десятичных значений. Эта проблема может возникнуть в таких средствах, как Power BI и Microsoft Excel. Определите, удаляются ли десятичные разряды при преобразовании значений затрат в целые числа. Потеря десятичных значений может привести к потере точности и неверности совокупной стоимости.

Чтобы вручную преобразовать столбец в десятичное число в Power BI, выполните следующие действия.

  1. Перейдите в представление таблицы.
  2. Выберите Преобразовать данные.
  3. Щелкните правой кнопкой мыши обязательный столбец.
  4. Измените тип на десятичное число.

Следующие шаги

Из этого руководства вы узнали, как:

  • Создание ежедневного экспорта
  • Проверка сбора данных

Перейдите к следующему руководству, чтобы повысить эффективность своей работы благодаря выявлению незадействованных или недостаточно используемых ресурсов.

Просмотр рекомендаций по оптимизации и реагирование на них