Общие сведения о виртуальных заказах для хранилища Microsoft Fabric
Область применения:✅ хранилище в Microsoft Fabric
Хранилище в хранилище Microsoft Fabric использует формат таблицы Delta Lake для всех пользовательских данных. Помимо оптимизации, предоставленной в разностном формате, хранилище применяет оптимизации к хранилищу, чтобы повысить производительность запросов в сценариях аналитики при сохранении соответствия формату Parquet. В этой статье рассматриваются оптимизация записи V-Order, ее преимущества и способы управления ими.
Что такое V-Order?
V-Order — это оптимизация времени записи в формат файла parquet, который позволяет быстро считывать данные в вычислительных модулях Microsoft Fabric, таких как Power BI, SQL, Spark и другие.
Подсистемы Power BI и SQL используют технологию Microsoft Verti-Scan и Упорядоченные файлы parquet для достижения времени доступа к данным в памяти. Spark и другие вычислительные подсистемы, отличные от Verti-Scan, также получают преимущества от V-Упорядоченных файлов со средним временем чтения на 10 % быстрее с некоторыми сценариями до 50 %.
V-Order работает путем применения специальных сортировки, распределения групп строк, кодирования словаря и сжатия в файлах Parquet. В результате вычислительные подсистемы требуют меньше ресурсов сети, дисков и ЦП для чтения данных из хранилища, обеспечивая экономичность и производительность. Это 100 % соответствует формату parquet с открытым кодом; все обработчики parquet могут читать его как обычные файлы parquet.
Замечания, связанные с быстродействием
Прежде чем решить отключить V-Order, рассмотрите следующее:
- Режим Прямого озера Microsoft Fabric зависит от V-Order.
- В хранилище влияние V-Order на производительность может отличаться в зависимости от схем таблиц, томов данных, запросов и приемов.
- Убедитесь, что вы проверяете, как V-Order влияет на производительность приема данных и запросов перед решением отключить его. Попробуйте создать копию тестового хранилища с помощью системы управления версиями, отключить V-Order в копировании и выполнить прием данных и запросы задач для проверки последствий производительности.
Сценарии, в которых V-Order может оказаться не полезным
Рассмотрите влияние V-Order на производительность, прежде чем решить, подходит ли для вас отключение V-Order.
Внимание
В настоящее время отключение V-Order может выполняться только на уровне хранилища, и оно необратимо: после отключения его нельзя включить еще раз. Пользователи должны учитывать производительность, если они решили отключить V-Order в хранилище Fabric.
Отключение V-Order может быть полезно для хранилищ с большим объемом записи, таких как для хранилищ, предназначенных для промежуточного хранения данных в рамках процесса приема данных. Промежуточные таблицы часто удаляются и повторно создаются (или усечены) для обработки новых данных. Затем эти промежуточные таблицы могут быть прочитаны только один или два раза, что может не оправдать время приема, добавленное путем применения V-Order. Отключив V-Order и сокращая время приема данных, общее время обработки данных во время выполнения заданий приема может быть сокращено. В этом случае следует сегментировать промежуточное хранилище из основного пользовательского хранилища, чтобы аналитические запросы и Power BI могли воспользоваться V-Order.