Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Область применения:✅ конечная точка аналитики SQL и хранилище в Microsoft Fabric
В этой статье описывается управление архитектурой и рабочей нагрузкой в хранилище данных Fabric.
Обработка данных
Конечная точка аналитики хранилища и SQL используют ту же базовую архитектуру обработки. При получении или приеме данных распределенная подсистема обрабатывает как небольшие, так и крупномасштабные данные и вычислительные функции.
Система обработки является бессерверной, так как вычислительная мощность в бэкенде масштабируется автоматически в соответствии с требованиями рабочей нагрузки.
При отправке запроса интерфейс SQL выполняет оптимизацию запросов, чтобы определить оптимальный план на основе размера и сложности данных. После создания плана он будет предоставлен подсистеме распределенной обработки запросов (DQP). DQP оркеструет распределенное выполнение запроса, разделив его на небольшие запросы, выполняемые на внутренних вычислительных узлах. Каждый небольшой запрос является задачей и представляет распределенную единицу выполнения. Он считывает файлы из OneLake, объединяет результаты из других задач, групп или упорядочивает данные, полученные из других задач. Для задач по приему данных он также записывает данные в соответствующие целевые таблицы.
При обработке данных результаты возвращаются в интерфейс SQL для обслуживания пользователя или вызывающего приложения.
Эластичность и устойчивость
Вычислительная мощность серверной части выигрывает от архитектуры быстрого развертывания. Хотя соглашение об уровне обслуживания отсутствует при назначении ресурсов, обычно новые узлы приобретаются в течение нескольких секунд. По мере увеличения спроса на ресурсы новые рабочие нагрузки используют увеличенную емкость. Масштабирование — это онлайн-операция, а обработка запросов выполняется без прерывания.
Система отказоустойчива, и если узел становится неработоспособным, операции, выполняемые на узле, распространяются на здоровые узлы для завершения.
Конечная точка SQL-аналитики хранилища предоставляет динамическую емкость, которая позволяет рабочим нагрузкам использовать больше ресурсов для повышения производительности и применять сглаживание для клиентов, которые создают внезапные пики в часы максимальной нагрузки и имеют неиспользуемую емкость в другое время. Сглаживание упрощает управление мощностями путем распределения нагрузки вычислений, чтобы обеспечить плавное и эффективное выполнение задач клиентов.
Планирование и получение ресурсов
Планировщик обработки распределенных запросов работает на уровне задачи . Запросы представляются планировщику задач в виде ациклического графа выполнения задач (DAG). Эта концепция знакома пользователям Spark. DAG позволяет реализовать параллелизм и согласованность, так как задачи, которые не зависят друг от друга, могут выполняться одновременно или в разном порядке.
По мере поступления запросов их задачи планируются на основе принципов очереди FIFO (первым пришёл — первым вышел). Если имеется резервная мощность, планировщик может использовать подход "наилучшего соответствия" для оптимизации параллелизма.
Когда планировщик определяет давление ресурсов, он вызывает операцию масштабирования. Масштабирование управляется автономно, а серверная топология растет по мере увеличения параллелизма. Так как для получения узлов требуется несколько секунд, система не оптимизирована для согласованной подсекундной производительности запросов, требующих распределенной обработки.
Когда давление утихает, серверная топология масштабируется вниз и освобождает ресурс обратно в регион.
Изоляция пула вычислений
Область применения:✅ хранилище в Microsoft Fabric
Номер SKU емкости, назначенный рабочей области, определяет общий объем вычислительных ресурсов, доступных для конечной точки аналитики SQL. Это вычисление распределяется равномерно (50/50) на два изолированных пула ресурсов для использования запросов пользователей:
-
SELECT Pool — обрабатывает все запросы
SELECT. -
Пул, отличный от SELECT , обрабатывает все неиспользаемые
SELECTзапросы, такие как операции ETL или приема.
Каждый пул масштабируется независимо по запросу, но никогда не превышает 50% общего объема вычислений для конечной точки аналитики SQL. Это разделение предотвращает конкуренцию за ресурсы, обеспечивая выполнение рабочих нагрузок приема на специализированных вычислительных мощностях, оптимизированных для ETL, без влияния на запросы чтения. Результатом является повышение производительности и надежности обоих типов запросов.
Примечание.
Изоляция SELECT и изоляция без SELECT пула — это управление автономной рабочей нагрузкой по умолчанию, применяемое к каждой рабочей области. Однако администраторы рабочих областей могут настроить это с помощью пользовательских пулов SQL.
Сеансы
Конечные точки аналитики хранилища и SQL имеют ограничение на количество сеансов пользователя до 2048 для каждой рабочей области. После достижения этого ограничения будет возвращена ошибка: The user session limit for the workspace is 2048 and has been reached
Примечание.
Так как Microsoft Fabric — это платформа SaaS, существует множество системных подключений, выполняемых для непрерывной оптимизации среды. Динамические представления управления (DMV) показывают как системные, так и пользовательские сеансы. Дополнительные сведения см. в разделе "Мониторинг подключений, сеансов и запросов с помощью DMVs".
Лучшие практики
Рабочая область Microsoft Fabric предоставляет границу естественной изоляции распределенной вычислительной системы. Задачи могут использовать этот предел для управления как затратами, так и производительностью.
Ярлыки OneLake можно использовать для создания реплик таблиц только для чтения в других рабочих областях для распределения нагрузки между несколькими движками SQL, создавая границу изоляции. Это может эффективно увеличить максимальное число сеансов с запросами только для чтения.
