Управление файлами, распределенными по уровням

В этой статье содержатся рекомендации для пользователей по управлению файлами, распределенными по уровням. Основные вопросы по уровню облака см. в Файлы Azure часто задаваемых вопросов.

Как проверить, распределяются ли ваши файлы по уровням

Требуют ли установленные в данный момент политики распределять файлы по уровням, определяется один раз в час. При создании конечной точки сервера могут возникнуть две ситуации.

1. Когда конечная точка сервера добавляется впервые, зачастую в том же расположении присутствуют еще какие-то файлы. Их необходимо отправить в облако, чтобы началось распределение по уровням. Политика свободного пространства тома не начнет работу до завершения первоначальной отправки всех файлов. Применение же необязательной политики дат начинается на уровне отдельных файлов по мере их отправки. Здесь также действует интервал в один час.

2. При добавлении новой конечной точки сервера вы можете подключить пустое расположение сервера к общей папке Azure с данными. Если вы решили скачать пространство имен и отозвать содержимое во время начальной загрузки на сервер, то после того, как пространство имен завершится, файлы будут отзываться на основе последней измененной метки времени до тех пор, пока не будет достигнута политика свободного места тома и необязательные ограничения политики даты.

Существует несколько способов определения перемещения файла в файловый ресурс Azure.

• Проверьте атрибуты файла. Щелкните файл правой кнопкой мыши, перейдите в раздел Сведения и прокрутите вниз до свойства Атрибуты. Перемещенному файлу будут заданы следующие атрибуты:

  Буква атрибута	Атрибут	Определение
  а	Архив	Указывает, что с помощью программного обеспечения для архивации должно быть выполнено резервное копирование файла. Этот атрибут задается всегда, независимо от того, перемещен файл или полностью расположен на диске.
  P	Разреженный файл	Указывает, что этот файл является разреженным. Это специализированный тип файла, который NTFS предлагает для эффективного использования при отсутствии файлового потока на диске. Служба синхронизации файлов Azure использует разреженные файлы, так как файл либо полностью перемещается, либо частично отзывается. Когда файл полностью перемещается, его файловый поток хранится только в облаке. Когда файл частично отзывается, часть этого файла уже на диске. Такое может случиться, когда файлы частично считываются приложениями, например мультимедийными проигрывателями или программами для сжатия. Если файл полностью отозван на диск, служба синхронизации файлов Azure преобразует его из разреженного файла в обычный файл. Этот атрибут задается только в Windows Server 2016 и более ранних версиях.
  Пн.	Отзыв при доступе к данным	Указывает, что данные файла не полностью присутствуют в локальном хранилище. При чтении файла по крайней мере часть его содержимого будет получена из общей папки Azure, к которому подключена конечная точка сервера. Этот атрибут задан только в Windows Server 2019 и более поздней версии.
  L	Точка повторного анализа	Указывает, что файл содержит точку повторного анализа. Она представляет собой специальный указатель, используемый фильтром файловой системы. Служба синхронизации файлов Azure использует точки повторного анализа, чтобы фильтр (StorageSync.sys) файловой системы в этой службе мог определить место хранения файла в облаке. Это обеспечивает прозрачный доступ без непосредственной осведомленности пользователя о задействовании службы синхронизации файлов Azure или о том, как получить доступ к файлу в файловом ресурсе Azure. После полного отзыва файла служба синхронизации файлов Azure удаляет точку повторного анализа из файла.
  O	Offline	Указывает, что некоторые или все содержимое файла не хранится на диске. После полного отзыва файла служба синхронизации файлов Azure удаляет этот атрибут.

  

  Примечание.

  Вы можете просмотреть атрибуты для всех файлов в папке. Для этого необходимо добавить поле Атрибуты в окно таблицы проводника. Щелкните правой кнопкой мыши имеющийся столбец (например, Размер), выберите Дополнительно, а затем в раскрывающемся списке выберите Атрибуты.

  Примечание.

  Все эти атрибуты будут видны и для частично отозванных файлов.

• Используйте fsutil для проверки точек повторного анализа в файле. Как объяснялось выше, для перемещенного файла всегда задана точка повторного анализа. Точка перепарирования позволяет драйверу фильтра файловой системы Синхронизация файлов Azure (служба хранилища Sync.sys) извлекать содержимое из общих папок Azure, которые не хранятся локально на сервере.

  Проверить наличие точки повторного анализа для файла можно с помощью команды fsutil, выполнив ее в командной строке с повышенными привилегиями или сеансе PowerShell:

  fsutil reparsepoint query <your-file-name>
  

  Если файл содержит точку повторного анализа, вы увидите сообщение Значение тега повторной обработки: 0x8000001e. Это шестнадцатеричное значение точки повторного анализа, принадлежащей Синхронизации файлов Azure. В выходных данных содержатся также данные повторного анализа, представляющие путь к файлу в общей папке Azure.

  Предупреждение

  С помощью команды fsutil reparsepoint можно также удалить точку повторного анализа. Не выполняйте эту команду, если команда инженеров Синхронизация файлов Azure не просит вас. так как ее выполнение может привести к потере данных.

Как исключить файлы и папки из распределения по уровням

Если вы хотите исключить файлы или папки из уровня и оставаться локальными на Windows Server, можно настроить параметр реестра GhostingExclusionList в разделе HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync. Файлы можно исключать по имени файла, расширению файла или пути.

Чтобы исключить файлы или папки из распределения по уровням в облаке, выполните следующие действия:

1. Откройте командную строку с повышенными привилегиями.

2. Выполните одну из следующих команд, чтобы настроить исключения:

   Чтобы исключить определенные расширения файлов из распределения по уровням (например, .one, .lnk, .log), выполните следующую команду:
   reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync" /v GhostingExclusionList /t REG_SZ /d .one|.lnk|.log /f

   Чтобы исключить определенное имя файла из распределения по уровням (например, FileName.vhd), выполните следующую команду:
   reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync" /v GhostingExclusionList /t REG_SZ /d FileName.vhd /f

   Чтобы исключить все файлы из многоуровневой папки (например, D:\ShareRoot\Folder\SubFolder), выполните следующую команду: reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\служба хранилища Sync" /v GhostingExclusionList /t REG_SZ /d:\ShareRoot\\Folder\\SubFolder /f

   Чтобы исключить сочетание имен файлов, расширений файлов и папок из распределения по уровням (например, D:\ShareRoot\Folder1\SubFolder1,FileName.log,.txt), выполните следующую команду:
   reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync" /v GhostingExclusionList /t REG_SZ /d D:\\ShareRoot\\Folder1\\SubFolder1|FileName.log|.txt /f

3. Чтобы исключения из распределения по уровням в облаке вступили в силу, необходимо перезапустить службу агента синхронизации хранилища (FileSyncSvc), выполнив следующие команды:
   net stop filesyncsvc
   net start filesyncsvc

Многоуровневые скачиваемые файлы

Если исключить тип или шаблон файла, он больше не будет многоуровневыми с этого сервера. Однако все файлы, измененные или созданные в другой конечной точке, будут загружаться как многоуровневые файлы и будут оставаться многоуровневые. Эти файлы будут постепенно отзываться на основе политики исключения.

Например, если вы исключите PDF-файлы, файлы PDF, создаваемые непосредственно на сервере, не будут многоуровневы. Однако все PDF-файлы, создаваемые на другой конечной точке, например другой конечной точке сервера или общей папке Azure, по-прежнему будут загружаться как многоуровневые файлы. Эти исключенные многоуровневые файлы будут полностью отзываться в течение следующих 3-4 дней.

Если вы не хотите, чтобы файлы были в многоуровневом состоянии, включите упреждающее отзыв. Эта функция предотвратит многоуровневую загрузку всех файлов и остановит фоновый уровень.

Дополнительные сведения

• Если агент Синхронизация файлов Azure установлен в отказоустойчивом кластере, необходимо создать параметр реестра GhostingExclusionList в разделе HKEY_LOCAL_MACHINE\Cluster\StorageSync\SOFTWARE\Microsoft\Azure\StorageSync.
  • Пример: reg ADD "HKEY_LOCAL_MACHINE\Cluster\StorageSync\SOFTWARE\Microsoft\Azure\StorageSync" /v GhostingExclusionList /t REG_SZ /d .one|.lnk|.log /f
• Каждое исключение в реестре должно быть отделено вертикальной чертой (|).
• Используйте двойную обратную косую черту (\\) при указании пути для исключения.
  • Пример: reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync" /v GhostingExclusionList /t REG_SZ /d D:\\ShareRoot\\Folder\\SubFolder /f
• Исключения имен файлов или типов файлов применяются ко всем конечным точкам на сервере.
• Нельзя исключить только типы файлов из определенной папки.
• Исключения не применяются к файлам, которые уже многоуровневы. Чтобы отозвать файлы, уже распределенные по уровням, используйте командлет Invoke-StorageSyncFileRecall.
• Используйте идентификатор события 9001 в журнале событий телеметрии на сервере, чтобы проверить настроенные исключения распределения по уровням в облаке. Журнал событий телеметрии расположен в Просмотр событий в разделе Applications and Services\Microsoft\FileSync\Agent.

Как исключить приложения из отслеживания времени последнего обращения при распределении по уровням в облаке

Когда приложение обращается к файлу, время последнего обращения к файлу в базе данных облака обновляется. Из-за приложений, которые сканируют файловую систему — например, антивирусных программ — время последнего обращения оказывается у всех файлов одинаковым, что сказывается на времени распределения файлов по уровням.

Чтобы исключить приложения из отслеживания времени последнего доступа, добавьте исключения процесса в параметр реестра HeatTrackingProcessNamesExclusionList в разделе HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync.

Пример: reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync" /v HeatTrackingProcessNamesExclusionList /t REG_SZ /d "SampleApp.exe|AnotherApp.exe" /f

Если агент Синхронизация файлов Azure установлен в отказоустойчивом кластере, необходимо создать HKEY_LOCAL_MACHINE\Cluster\StorageSync\SOFTWARE\Microsoft\Azure\StorageSyncпараметр реестра HeatTrackingProcessNamesExclusionList.

Пример: reg ADD "HKEY_LOCAL_MACHINE\Cluster\StorageSync\SOFTWARE\Microsoft\Azure\StorageSync" /v HeatTrackingProcessNamesExclusionList /t REG_SZ /d "SampleApp.exe|AnotherApp.exe" /f

Примечание.

Процессы дедупликации данных и диспетчера ресурсов файлового сервера (FSRM) исключены по умолчанию. Изменения в списке исключений процессов учитываются системой каждые пять минут.

Доступ к хранилищу статистики доступа

При распределении по уровням в облаке решение о том, какие файлы должны распределяться по уровням, принимается на основании времени последнего обращения и частоты обращений к файлу. Драйвер фильтра распределения по уровням в облаке (storagesync.sys) отслеживает время последнего обращения и регистрирует эту информацию в хранилище статистики доступа для распределения по уровням в облаке. Вы можете получить хранилище статистики доступа и сохранить его в CSV-файле с помощью локального серверного командлета PowerShell.

Для всех файлов, хранящихся в одном томе, используется одно хранилище статистики доступа. Оно может разрастаться до очень больших размеров. Если необходимо получить только самое холодное количество элементов, используйте -Limit и число, а также рассмотрите возможность фильтрации по подпутью и корню тома.

• Импорт модуля PowerShell: Import-Module '<SyncAgentInstallPath>\StorageSync.Management.ServerCmdlets.dll'

• СВОБОДНОЕ МЕСТО В ТОМЕ. Запрос порядка, в котором файлы будут распределяться по уровням согласно политике свободного места в томе: Get-StorageSyncHeatStoreInformation -VolumePath '<DriveLetter>:\' -ReportDirectoryPath '<FolderPathToStoreResultCSV>' -IndexName FilesToBeTieredBySpacePolicy

• ПОЛИТИКА ДАТ. Запрос порядка, в котором файлы будут распределяться по уровням согласно политике дат: Get-StorageSyncHeatStoreInformation -VolumePath '<DriveLetter>:\' -ReportDirectoryPath '<FolderPathToStoreResultCSV>' -IndexName FilesToBeTieredByDatePolicy

• Запрос сведений об определенном файле из хранилища статистики доступа: Get-StorageSyncHeatStoreInformation -FilePath '<PathToSpecificFile>'

• Вывод списка всех файлов по убыванию времени последнего обращения: Get-StorageSyncHeatStoreInformation -VolumePath '<DriveLetter>:\' -ReportDirectoryPath '<FolderPathToStoreResultCSV>' -IndexName DescendingLastAccessTime

• Запрос порядка, в котором будут отзываться распределенные по уровням файлы при отзыве в фоновом режиме или по требованию с помощью PowerShell: Get-StorageSyncHeatStoreInformation -VolumePath '<DriveLetter>:\' -ReportDirectoryPath '<FolderPathToStoreResultCSV>' -IndexName OrderTieredFilesWillBeRecalled

Принудительное распределение по уровням файла или каталога

Примечание.

Когда вы выбираете каталог для распределения по уровням, распределяются только те файлы, которые в нем находятся на этот момент. Файлы, созданные после этого, не будут автоматически распределяться по уровням.

Если функция распределения по уровням облака включена, файлы распределяются по уровням автоматически на основе последнего времени доступа и изменения, чтобы достичь процента свободного пространства тома, указанного для конечной точки облака. Иногда может потребоваться вручную принудительно отправить файл на уровень. Это может быть полезно, если вам нужно сохранить большие файлы, которые не планируется использовать повторно в течение долгого времени, и освободить пространство на томе для других файлов и папок. Вы можете принудительно распределить файлы по уровням с помощью следующих команд PowerShell:

Import-Module "C:\Program Files\Azure\StorageSyncAgent\StorageSync.Management.ServerCmdlets.dll"
Invoke-StorageSyncCloudTiering -Path <file-or-directory-to-be-tiered>

Отзыв файла на диск

Самый простой способ отозвать файл на диск — открыть его. Фильтр файловой системы Синхронизация файлов Azure (служба хранилища Sync.sys) легко загружает файл из общей папки Azure. При открытии файлов тех типов, которые допускают частичное чтение или потоковую передачу, например файлов мультимедиа или ZIP-файлов, сам факт открытия не гарантирует их полного скачивания.

Примечание.

Если файл ярлыка сведен к серверу в виде многоуровневого файла, может возникнуть проблема при доступе к файлу по протоколу S МБ. Чтобы устранить эту проблему, существует задача, которая выполняется каждые три дня, которая будет вспоминать все ярлыки файлов. Тем не менее, если требуется, чтобы многоуровневые файлы отображались чаще, создайте запланированную задачу, которая выполняется на требуемой частоте:

Import-Module "C:\Program Files\Azure\StorageSyncAgent\StorageSync.Management.ServerCmdlets.dll" 
Invoke-StorageSyncFileRecall -Path <path-to-to-your-server-endpoint> -Pattern *.lnk

Чтобы обеспечить полное скачивание файла на локальный диск, необходимо выполнить принудительный полный отзыв файла с помощью PowerShell. Этот вариант может также пригодиться, когда требуется одновременно отозвать большое число файлов — например, все файлы в папке. Откройте сеанс PowerShell на узле сервера, на котором установлена служба синхронизации файлов Azure, и выполните следующие команды PowerShell:

Import-Module "C:\Program Files\Azure\StorageSyncAgent\StorageSync.Management.ServerCmdlets.dll"
Invoke-StorageSyncFileRecall -Path <path-to-to-your-server-endpoint>

Необязательные параметры

• -Order CloudTieringPolicy сначала вспомнит последние измененные или доступные файлы и разрешены текущей политикой многоуровневого распределения.
  • Если настроена политика свободного места в томе, файлы будут отзываться, пока не будет достигнуто заданное значение параметра этой политики. Например, если параметр политики бесплатного тома равен 20%, отзыв остановится после того, как свободное место тома достигнет 20 %.
  • Если одновременно настроены политика свободного места в томе и политика дат, файлы будут отзываться, пока не будет достигнуто заданное значение параметра той или другой политики. Например, если для параметра политики свободного места в томе задано значение 20 %, а для параметра политики дат — 7 дней, то отзыв прекратится, когда в томе образуется 20 % свободного места или когда все файлы со временем изменения или последнего обращения в пределах 7 прошедших дней окажутся локальными.
• -ThreadCount определяет, сколько файлов можно отозвать параллельно (максимальное количество потоков — 32).
• -PerFileRetryCount определяет частоту попыток отзыва файла, который в настоящее время заблокирован.
• -PerFileRetryDelaySeconds определяет время в секундах между повторными попытками отзыва и всегда должно использоваться в сочетании с предыдущим параметром.

Пример:

Import-Module "C:\Program Files\Azure\StorageSyncAgent\StorageSync.Management.ServerCmdlets.dll"
Invoke-StorageSyncFileRecall -Path <path-to-to-your-server-endpoint> -ThreadCount 8 -Order CloudTieringPolicy -PerFileRetryCount 3 -PerFileRetryDelaySeconds 10

Примечание.

• Если локальный том, на котором размещен сервер, не хватает свободного места, чтобы отозвать все многоуровневые данные, командлет завершается ошибкой Invoke-StorageSyncFileRecall .

Примечание.

Для отзыва файлов, которые были распределены по уровням, пропускная способность сети должна составлять не менее 1 Мбит/с. Если пропускная способность сети меньше 1 Мбит/с, файлы могут не отозваться с ошибкой времени ожидания.

Следующие шаги

• Часто задаваемые вопросы о службе файлов Azure