Примечание
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Область применения:✅ конечная точка аналитики SQL и хранилище в Microsoft Fabric
В этой статье описывается архитектура и управление рабочими нагрузками для хранения данных в Microsoft Fabric.
Обработка данных
Конечная точка аналитики хранилища и SQL используют ту же базовую архитектуру обработки. При получении или приеме данных используется распределенный механизм, созданный как для небольших, так и для крупномасштабных данных и вычислительных функций.
Система обработки является бессерверной, так как вычислительная мощность в бэкенде масштабируется автоматически в соответствии с требованиями рабочей нагрузки.
При отправке запроса интерфейс SQL выполняет оптимизацию запросов, чтобы определить оптимальный план на основе размера и сложности данных. После создания плана он будет предоставлен подсистеме распределенной обработки запросов (DQP). DQP оркеструет распределенное выполнение запроса, разделив его на небольшие запросы, выполняемые на внутренних вычислительных узлах. Каждый небольшой запрос называется задачей и представляет распределенную единицу выполнения. Он считывает файлы из OneLake, объединяет результаты других задач, групп или упорядочивает данные, полученные из других задач. Для задач по приему данных он также записывает данные в соответствующие целевые таблицы.
При обработке данных результаты возвращаются в интерфейс SQL для обслуживания пользователя или вызывающего приложения.
Эластичность и устойчивость
Вычислительная мощность серверной части выигрывает от архитектуры быстрого развертывания. Хотя соглашение об уровне обслуживания (SLA) отсутствует при назначении ресурсов, обычно новые узлы добавляются в течение нескольких секунд. По мере увеличения спроса на ресурсы новые рабочие нагрузки используют увеличенную емкость. Масштабирование — это онлайн-операция, а обработка запросов выполняется без прерывания.
Система отказоустойчива, и если узел становится неработоспособным, операции, выполняемые на узле, распространяются на здоровые узлы для завершения.
Конечная точка аналитики хранилища и SQL обеспечивает всплесковую мощность, которая позволяет рабочим нагрузкам использовать дополнительные ресурсы для повышения производительности, и использует сглаживание, чтобы предоставить поддержку клиентам, испытывающим внезапные пиковые нагрузки в периоды максимальной активности, когда у них имеется множество неиспользуемой мощности. Сглаживание упрощает управление мощностями путем распределения нагрузки вычислений, чтобы обеспечить плавное и эффективное выполнение задач клиентов.
Планирование и получение ресурсов
Планировщик обработки распределенных запросов работает на уровне задачи . Запросы представляются планировщику задач в виде ациклического графа выполнения задач (DAG). Эта концепция знакома пользователям Spark. DAG позволяет осуществлять параллелизм и конкурентность, так как задачи, которые не зависят друг от друга, могут выполняться одновременно или в произвольном порядке.
По мере поступления запросов их задачи планируются на основе принципов очереди FIFO (первым пришёл — первым вышел). Если имеется простой мощности, планировщик может использовать подход "наилучшее соответствие" для оптимизации параллелизма.
Когда планировщик определяет давление ресурсов, он вызывает операцию масштабирования. Масштабирование управляется автономно, а серверная топология растет по мере увеличения параллелизма. Так как для получения узлов требуется несколько секунд, система не оптимизирована для согласованной подсекундной производительности запросов, требующих распределенной обработки.
Когда давление утихает, серверная топология масштабируется вниз и освобождает ресурс обратно в регион.
Изоляция приема
Область применения:✅ хранилище в Microsoft Fabric
В серверном пуле вычислений хранилища в Microsoft Fabric действия загрузки обеспечивают изоляцию ресурсов от аналитических рабочих нагрузок. Это повышает производительность и надежность, так как задания приема могут выполняться на выделенных узлах, оптимизированных для ETL, и не конкурировать с другими запросами или приложениями для ресурсов.
Сеансы
Конечные точки аналитики хранилища и SQL имеют ограничение на количество сеансов пользователя до 2048 для каждой рабочей области. После достижения этого ограничения будет возвращена ошибка: The user session limit for the workspace is 2048 and has been reached
Примечание.
Так как Microsoft Fabric — это платформа SaaS, существует множество системных подключений, выполняемых для непрерывной оптимизации среды. Динамические представления управления (DMV) показывают как системные, так и пользовательские сеансы. Дополнительные сведения см. в разделе "Мониторинг с помощью динамических административных представлений".
Лучшие практики
Рабочая область Microsoft Fabric предоставляет границу естественной изоляции распределенной вычислительной системы. Задачи могут использовать этот предел для управления как затратами, так и производительностью.
Ярлыки OneLake можно использовать для создания реплик таблиц только для чтения в других рабочих областях для распределения нагрузки между несколькими движками SQL, создавая границу изоляции. Это может эффективно увеличить максимальное число сеансов с запросами только для чтения.
