Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Azure Synapse Analytics позволяет различным вычислительным модулям рабочей области совместно использовать базы данных и таблицы между пулами Apache Spark и бессерверным пулом SQL.
Общий доступ поддерживает современный шаблон хранилища данных и предоставляет SQL-движкам рабочей области доступ к базам данных и таблицам, созданным с помощью Spark. Это также позволяет ядрам SQL создавать собственные объекты, которые не делятся с другими ядрами.
Это важно
Таблицы, созданные в Spark с более чем 1024 столбцами, могут отображаться в обозревателе объектов, но не могут запрашиваться из бессерверного пула SQL из-за неполной синхронизации метаданных.
Обходной путь. Избегайте создания таблиц Spark с более чем 1024 столбцами, если они должны запрашиваться из бессерверного пула SQL. Измените схему и создайте таблицу.
Поддержка современного хранилища данных
Модель общих метаданных поддерживает современный шаблон хранилища данных следующим образом:
Данные из дата-озера подготавливаются и структурируются эффективно с помощью Spark, при этом сохраняются в таблицах с поддержкой Parquet (возможно, секционированных), которые содержатся в нескольких базах данных.
Созданные базы данных Spark и все их таблицы становятся видимыми в любом экземпляре пула Spark в рабочей области Azure Synapse и могут использоваться из любых заданий Spark. Эта возможность зависит от разрешений, поскольку все пулы Spark в рабочей области используют одно и то же базовое хранилище метаданных каталога.
Созданные базы данных Spark и их таблицы, основанные на Parquet или CSV, становятся видимыми в бессерверном пуле SQL рабочей области. Базы данных создаются автоматически в метаданных бессерверного пула SQL, а внешние и управляемые таблицы , созданные заданием Spark, становятся доступными как внешние таблицы в метаданных бессерверного пула SQL в
dboсхеме соответствующей базы данных.
Синхронизация объектов выполняется асинхронно. Объекты будут иметь небольшую задержку в течение нескольких секунд, пока они не появятся в контексте SQL. После их появления их можно запрашивать, но не могут быть обновлены или изменены подсистемами SQL, имеющими к ним доступ.
Общие объекты метаданных
Spark позволяет создавать базы данных, внешние таблицы, управляемые таблицы и представления. Так как представления Spark требуют, чтобы обработчик Spark обрабатывал определяющую инструкцию Spark SQL и не может обрабатываться подсистемой SQL, только базы данных и содержащиеся в них внешние и управляемые таблицы, использующие формат хранилища Parquet или CSV, совместно используются подсистемой SQL рабочей области. Представления Spark общие только для экземпляров пула Spark.
Модель безопасности на первый взгляд
Базы данных и таблицы Spark, а также синхронизированные представления в обработчике SQL защищены на базовом уровне хранилища. Если таблица запрашивается любым из обработчиков, которые может использовать отправитель запросов, учетные данные безопасности отправителя запроса передаются в базовые файлы. Разрешения проверяются на уровне файловой системы.
Дополнительные сведения см. в общей базе данных Azure Synapse Analytics.
Изменение в процедуре обслуживания
Если объект метаданных удаляется или изменяется с помощью Spark, изменения собираются и распространяются в бессерверный пул SQL. Синхронизация асинхронна, а изменения отражаются в подсистеме SQL после короткой задержки.