Настройка наблюдаемости

Important

Эта функция доступна в бета-версии. Администраторы рабочей области могут управлять доступом к этой функции на странице "Предварительные версии ". См. статью "Управление предварительными версиями Azure Databricks".

Конфигурация наблюдаемости фиксирует глубокую телеметрию Postgres Lakebase в виде таблиц Delta в Unity Catalog. Insights, Genie и панели управления работают на этих данных; В проекте нет ни одного из них, пока не будет прикреплена конфигурация.

Конфигурация — это один объект, который может охватывать один или несколько проектов. Существует два способа привязать к ней идентичность, и они сосуществуют по замыслу:

  • Администратор рабочего пространства задает конфигурацию субъекта-службы в качестве конфигурации по умолчанию для рабочего пространства, благодаря чему каждый новый проект автоматически получает наблюдаемость.
  • Индивидуальный владелец проекта настраивает свой проект с помощью идентификаторов пользователя.

Рабочее пространство обычно в итоге представляет собой смесь: большинство проектов используют общую конфигурацию по умолчанию, а некоторые — собственные конфигурации. На этой странице описана полная настройка для любого из этих двух вариантов. Чтобы настроить один принадлежащий вам проект, см. краткое руководство по быстрому запуску.

Prerequisites

  • Для вашей рабочей области включена предварительная версия Lakebase Advanced Postgres Telemetry. Администратор рабочей области включает это на странице «Предварительные версии».
  • Проект Lakebase на AWS или Azure. См. статью "Получить базу данных Postgres".
  • Каталог и схема каталога Unity для получения данных телеметрии. Схема уже должна существовать, и каталог не может использовать хранилище по умолчанию.

Настройте конфигурацию

Выберите учетную запись. Конфигурация записывает данные телеметрии в Unity Catalog от имени выбранной в мастере учетной записи. Этот выбор определяет, насколько далеко достигает конфигурация и как долго она прослужится:

  • Выберите принципал сервиса для надёжной конфигурации, не привязанной к чьей-либо личной учетной записи. Это оптимальный вариант для стандартизации наблюдаемости: сделайте его используемым по умолчанию в рабочем пространстве и назначьте его существующим проектам. Выбрать субъект-службу может только администратор рабочего пространства, при этом сначала его необходимо подготовить (шаг 1 ниже).
  • Выберите учетные данные уровня пользователя, чтобы настроить проект с использованием ваших собственных прав доступа, без необходимости что-либо подготавливать. Это подходит для вашего индивидуального проекта. Он ограничен по вашим правам, поэтому пропустите этап настройки service-principal и начните с Открыть мастер настройки.

Предоставление принципа обслуживания

Если вы используете учетные данные уровня пользователя, перейдите к Открытие мастера настройки.

Предоставьте принципалу сервиса четыре разрешения ниже перед созданием конфигурации, чтобы она была готова к выбору в мастере. Они независимы, и каждый из них предоставляется в другом месте. Если чего-то не хватает, конфигурация всё равно сохраняется, но данные телеметрии незаметно не поступают, а результаты анализа не формируются, при этом не появляется никакой ошибки, указывающей на причину. Если конфигурация не даёт телеметрии, сначала проверьте эти данные.

Grant Куда её поставить Почему это необходимо
Доступ к рабочей области Вкладка «Конфигурации» директора, в разделе «Права» Это позволяет руководителю службы действовать в рабочем пространстве вообще. Без этого Lakebase записывает телеметрию от имени сущности, у которой нет необходимых прав, поэтому все таблицы телеметрии остаются пустыми.
Администратор рабочей области Настройки > Идентификация и доступ > Группы: откройте группу admins и добавьте принципал В настоящее время для фонового агента требуется доступ администратора для записи телеметрии и создания аналитических сведений.
МОЖНО ИСПОЛЬЗОВАТЬ Вкладка «Разрешения директора» Это позволяет выбрать принципал в Wizard. При создании субъект-службы предоставляется разрешение CAN MANAGE, которое не включает CAN USE, поэтому это разрешение нужно предоставить явно. Сведения об управлении субъектами-службами см. в разделе "Роли".
Привилегии каталога Unity Каталог назначения и схема (см. SQL ниже) Позволяет директору создавать и записывать телеметрические таблицы: USE CATALOG в каталоге USE SCHEMA и CREATE TABLE на схеме.

Предоставьте доступ к рабочему пространству и МОЖЕТ ИСПОЛЬЗОВАТЬ в настройках > Идентификация и принципы сервиса доступа>. Предоставление привилегий Unity Catalog в Catalog Explorer или с SQL:

GRANT USE CATALOG ON CATALOG <catalog> TO `<service-principal-id>`;
GRANT USE SCHEMA ON SCHEMA <catalog>.<schema> TO `<service-principal-id>`;
GRANT CREATE TABLE ON SCHEMA <catalog>.<schema> TO `<service-principal-id>`;

Note

Требование администратора рабочего пространства является актуальным ограничением в бета-версии и может быть сокращено в более позднем релизе. Предоставьте это разрешение пока, чтобы телеметрия и аналитика работали.

Откройте мастер конфигурации

Откройте волшебника с любого из этих мест. Оба открывают одного и того же волшебника:

  • Из Lakebase>Аналитика>Управление конфигурациями>Добавить новую конфигурацию
  • Из настроек проекта Настройки>Конфигурация наблюдаемости>Создать новую конфигурацию

Выполните три шага волшебника по порядку, нажимая «Далее » между ними.

Настройка

Присвойте конфигурации имя и выберите, куда будут поступать ее данные телеметрии. На двух вариантах здесь стоит остановиться:

  • Сделайте это стандартной конфигурацией для новых проектов , делает это рабочее пространство по умолчанию: каждому новому проекту, созданному в рабочем пространстве, эта конфигурация назначается автоматически, без действий со стороны создателя. Включите это, чтобы стандартизировать наблюдаемость по всему рабочему пространству. В рабочем пространстве максимум один вариант по умолчанию, и он применяется только к проектам, созданным позже, поэтому вы также назначаете его уже существующим проектам на шаге «Назначить проектам ». Оставьте его выключенным, если хотите, чтобы эта конфигурация применялась к конкретным проектам, а не ко всему рабочему пространству.
  • Identity (в разделе Authorize Lakebase для записи ваших данных) — это аккаунт, на котором Lakebase записывает телеметрию, следуя выбору, который вы сделали в разделе «Выбрать идентичность». Выберите «Использовать принципал сервиса » и выберите принципал, который вы предоставили, или выберите «Использовать учетные данные пользователя для запуска от вашего имени». Только администраторы рабочей области могут выбрать сервисный субъект.

В разделе Отправить телеметрию в Unity Catalog выберите каталог и схему, в которые будут помещаться таблицы, и при необходимости укажите префикс таблиц. Вы выбираете пункт назначения, а не создаёте его: Lakebase создаёт таблицы, перечисленные в Что записывается, при первой записи телеметрии. Схема уже должна существовать, и каталог не может использовать хранилище по умолчанию. Так как при создании каталога в обозревателе каталогов по умолчанию выбрано хранилище по умолчанию , обязательно снимите его для каталога, который вы используете здесь.

Включить аналитику

Убедитесь, что включена аналитика. Это то, что обеспечивает работу фонового агента Insights. Без этого конфигурация записывает телеметрию в Unity Catalog, но ничего не отображает проактивно. Отображаются два связанных поля:

  • Instructions — это текст в свободной форме, который агент читает перед каждым этапом анализа, например: «Не создавай выводы о размере таблицы». Считайте это рекомендацией, а не гарантированным фильтром: как и любая инструкция, данная LLM, она обычно учитывается, но не строго соблюдается.
  • Частота анализа определяет, как часто Insights оценивает вашу телеметрию (например, каждый час). Это не связано с тем, как быстро необработанные данные телеметрии поступают в Unity Catalog, что в любом случае происходит непрерывно.

Insights сохраняет свои результаты в расположении в Workspace, отдельно от указанного выше назначения в Unity Catalog: необработанные телеметрические данные сохраняются в виде таблиц Delta, а сами результаты Insights представляют собой файлы в вашем собственном Workspace Azure Databricks.

Назначение проектам

Выберите существующие проекты Lakebase, к которым применяется эта конфигурация, затем сохраните. Если задать это как настройку рабочего пространства по умолчанию на предыдущем шаге, это будет применяться к проектам, которые будут созданы с этого момента; а назначение этого здесь переведёт ваши существующие проекты на ту же конфигурацию.

После сохранения:

  • Убедитесь, что вычислительная система работает.
  • Если вы включили наблюдаемость для уже запущенного экземпляра, перезапустите экземпляр, чтобы изменения вступили в силу. Во время бета-тестирования передача телеметрии не начинается для уже запущенного экземпляра, пока он не будет перезапущен.

Дальнейшие действия

  • Last updated on