Сетевая архитектура SAP HANA в Azure (крупные экземпляры)

В этой статье мы рассмотрим сетевую архитектуру для развертывания SAP HANA на крупных экземплярах Azure (также известных как инфраструктура BareMetal).

Архитектура сетевых служб Azure является ключевым компонентом для успешного развертывания приложений SAP в крупных экземплярах HANA. Как правило, SAP HANA на крупных экземплярах Azure использует более широкий ландшафт SAP. Обычно используется несколько решений SAP с базами данных различного размера, с разным уровнем потребления ресурсов ЦП и памяти.

Скорее всего, в Azure находятся пока не все ИТ-системы. Ландшафт SAP также может быть гибридным. Система управления базами данных и приложение SAP могут использовать комбинацию NetWeaver, S/4HANA и SAP HANA. Ваше приложение SAP даже может использовать другую СУБД.

Azure предлагает различные службы, которые позволяют запускать СУБД, NetWeaver и S/4HANA в Azure. В Azure доступны сетевые технологии, позволяющие сделать эту платформу виртуальным центром обработки данных для локальных развертываний программного обеспечения. Используется следующая сетевая функциональность Azure:

• Виртуальные сети Azure, подключенные к каналу ExpressRoute, который, в свою очередь, подключается к локальным сетевым ресурсам.
• Канал ExpressRoute для подключения локальной среды к Azure должен иметь минимальную пропускную способность 1 Гбит/с или выше. Этот канал позволяет обеспечить достаточную пропускную способность для передачи данных между локальными системами и системами, запущенными на виртуальных машинах. а также подключение к системам Azure из локальной среды конечных пользователей.
• Для взаимодействия друг с другом все системы SAP в Azure настраиваются в виртуальных сетях.
• Службы Active Directory и DNS, размещенные локально, можно использовать в Azure через локальный ExpressRoute. Их также можно полностью выполнять в Azure.

В случае интеграции крупных экземпляров HANA в сетевую структуру центра обработки данных Azure также используется технология Azure ExpressRoute.

Примечание

Одну подписку Azure можно привязать только к одному клиенту в стеке крупных экземпляров HANA в определенном регионе Azure. И наоборот, один клиент метки крупных экземпляров HANA может быть связан только с одной подпиской Azure. Этот факт не отличается от любых других объектов в Azure, которые подлежат оплате.

Развертывание SAP HANA в Azure (крупные экземпляры) в нескольких регионах Azure приведет к тому, что другой клиент будет развернут в стеке крупных экземпляров HANA. Оба клиента могут выполняться в одной подписке Azure, если эти экземпляры являются частью одного ландшафта SAP.

Важно!

Для SAP HANA в Azure (крупные экземпляры) поддерживается только метод развертывания Azure Resource Manager.

Дополнительные сведения о виртуальной сети

Чтобы подключить виртуальную сеть Azure к ExpressRoute, необходимо создать шлюз Azure ExpressRoute. Дополнительные сведения см. в статье Сведения о шлюзах Expressroute для ExpressRoute.

Шлюз Azure ExpressRoute используется с ExpressRoute в инфраструктуре за пределами Azure или в стеке крупных экземпляров Azure. Шлюз Azure ExpressRoute можно подключить максимум к четырем каналам ExpressRoute при условии, что они поступают из различных конечных маршрутизаторов MSEE. Дополнительные сведения см. в статье Инфраструктура и возможности подключения SAP HANA в Azure (крупные экземпляры).

Примечание

Максимальная пропускная способность, которой можно достичь с использованием шлюза ExpressRoute, — 10 Гбит/с при подключении ExpressRoute. При копировании файлов между виртуальной машиной, расположенной в виртуальной сети, и локальной системой (в рамках одного потока копирования) невозможно достичь полной пропускной способности шлюза с разными номерами SKU. Чтобы получить максимальную пропускную способность шлюза ExpressRoute, нужно использовать несколько потоков или копировать разные файлы с помощью параллельных потоков одного файла.

Архитектура сети для крупных экземпляров HANA

Архитектуру сети для крупных экземпляров HANA можно разделить на четыре части:

• Локальная сеть и подключение ExpressRoute к Azure. Эта часть является доменом пользователей и подключается к Azure через ExpressRoute. Расходы на использование этого канала Expressroute полностью несете вы. Пропускная способность должна быть достаточно большой, чтобы обрабатывать сетевой трафик между локальными ресурсами и регионом Azure, к которому произведено подключение. См. правый нижний угол на схеме ниже.
• Сетевые службы Azure, описанные выше, состоят из виртуальных сетей, к которым нужно дополнительно добавить шлюзы ExpressRoute. В этой области необходимо создать подходящую структуру в соответствии с требованиями приложений, безопасности и нормативных требований. Необходимо определить, следует ли использовать крупные экземпляры HANA с учетом числа виртуальных сетей и SKU шлюзов Azure. См. правый верхний угол на схеме.
• Подключение крупных экземпляров HANA к Azure с помощью ExpressRoute. Эту часть развертывает и обслуживает корпорация Майкрософт. Вам достаточно предоставить диапазоны IP-адресов и после развертывания ресурсов в крупных экземплярах HANA подключить канал ExpressRoute к виртуальным сетям. Дополнительные сведения см. в статье Инфраструктура и возможности подключения SAP HANA в Azure (крупные экземпляры). Дополнительная плата за подключение между фабрикой сети центра обработки данных Azure и модулями крупных экземпляров HANA не взимается.
• Прозрачное сетевое взаимодействие в стеке крупных экземпляров HANA.

Следующие два требования сохраняются даже при использовании крупных экземпляров HANA.

• Локальные ресурсы должны подключаться к Azure посредством ExpressRoute.
• Потребуется одна или несколько виртуальных сетей, в которых работают ваши виртуальные машины. На них размещен слой приложений, который подключается к экземплярам HANA, размещенным в крупных экземплярах HANA.

Отличия развертываний SAP только в Azure заключаются в следующем:

• Единицы крупных экземпляров HANA арендатора соединены через другой канал ExpressRoute с виртуальными сетями. Локальные подключения ExpressRoute к виртуальным сетям и подключения между виртуальными сетями Azure и крупными экземплярами HANA не могут совместно использовать те же маршрутизаторы. Условия нагрузки остаются отдельными.
• Профиль рабочей нагрузки межу слоем приложений SAP и крупным экземпляром HANA имеет другую природу. SAP HANA создает множество небольших запросов и пики как при передаче данных (наборы результатов) в слой приложений.
• Архитектура приложения SAP более чувствительна к задержкам в сети, чем в типичных сценариях, где обмен данными происходит между локальной средой и Azure.
• Шлюз Azure ExpressRoute имеет по крайней мере два подключения ExpressRoute. Один канал подключен из локальной сети, а другой — из крупных экземпляров HANA. В этой конфигурации остается место только для двух дополнительных каналов от различных MSEE для подключения к шлюзу ExpressRoute. Это ограничение не зависит от использования ExpressRoute FastPath. Все подключенные каналы используют общую максимальную пропускную способность для входящих данных шлюза ExpressRoute.

После введения 3-й версии единиц масштабирования крупных экземпляров HANA сетевая задержка между виртуальными машинами и единицами крупных экземпляров HANA может быть выше, чем обычная задержка приема-передачи между виртуальными машинами. В зависимости от региона Azure значения задержки приема-передачи могут превышать 0,7 мс. Такие значения классифицируются как значения ниже среднего в примечании к SAP № 1100926 с часто задаваемыми вопросами к производительности сети. Измеренная задержка может достигать 2 миллисекунд. Этот показатель зависит от региона Azure и средства измерения задержки приема-передачи в сети между виртуальной машиной Azure и единицей крупного экземпляра HANA. Тем не менее клиенты успешно развертывают производственные приложения SAP на основе SAP HANA в крупных экземплярах SAP HANA. Следует тщательно протестировать бизнес-процессы в крупных экземплярах HANA в Azure. С помощью новой функции под названием ExpressRoute FastPath можно значительно снизить задержку сети между крупными экземплярами HANA и виртуальными машинами уровня приложения в Azure (см. ниже).

В единицах масштабирования ред. 4. крупного экземпляра HANA сокращена задержка сети между виртуальными машинами, развернутыми в близком расположении к крупным экземплярам HANA. Задержка соответствует требованиям к средней и повышенной классификации, задокументированной в примечании SAP № 1100926 — Вопросы и ответы: производительность сети, если настроен Azure ExpressRoute FastPath (см. ниже).

Чтобы развернуть виртуальные машины Azure в близком расположении к единицам крупных экземпляров HANA версии 4, необходимо использовать группы размещения близкого взаимодействия Azure. Можно использовать группу размещения близкого взаимодействия, чтобы найти уровень приложения в том же центре обработки данных Azure, что и редакция 4 размещенных крупных экземпляров HANA. Дополнительную информацию см. в разделе Группа размещения близкого взаимодействия Azure для оптимизации сетевой задержки с использованием приложений SAP.

Чтобы обеспечить детерминированную сетевую задержку между виртуальными машинами и крупными экземплярами HANA, важно использовать правильный номер SKU шлюза ExpressRoute. В отличие от шаблонов трафика между локальными и виртуальными машинами, шаблон трафика между виртуальными машинами и крупными экземплярами HANA может показывать короткий, но высокий пик запросов и объемов данных. Для обработки таких пиков рекомендуется использовать шлюз с номером SKU UltraPerformance. Для номеров SKU крупных экземпляров HANA класса типа II использование номера SKU шлюза UltraPerformance в качестве шлюза ExpressRoute является обязательным.

Важно!

Учитывая общий сетевой трафик между уровнями базы данных и приложений SAP, для подключения виртуальных сетей к SAP HANA в Azure (крупные экземпляры) поддерживается только шлюз с номером SKU HighPerformance или UltraPerformance. Для номеров SKU крупных экземпляров HANA типа II в качестве шлюза ExpressRoute поддерживается только шлюз UltraPerformance с номером SKU. При использовании ExpressRoute FastPath действуют исключения (см. ниже).

Сведения об ExpressRoute FastPath

В мае 2019 года мы выпустили ExpressRoute FastPath. FastPath сокращает задержку между крупными экземплярами HANA и виртуальными сетями Azure, где размещены виртуальные машины с приложением SAP. FastPath позволяет не маршрутизировать потоки данных между виртуальными машинами и крупными экземплярами HANA через шлюз ExpressRoute. Виртуальные машины, назначенные в подсетях виртуальной сети Azure, взаимодействуют с выделенным корпоративным граничным маршрутизатором.

Важно!

Для использования ExpressRoute FastPath требуется, чтобы подсети, в которых выполняются виртуальные машины приложений SAP, находились в одной виртуальной сети Azure, подключенной к крупным экземплярам HANA. Виртуальные машины в виртуальных сетях Azure, которые связаны одноранговыми соединениями с виртуальной сетью Azure, подключенной к единицам крупных экземпляров HANA, не используют преимущества ExpressRoute FastPath. Поэтому в типовых моделях виртуальных сетей типа "звезда", в которых каналы ExpressRoute подключаются к центральной виртуальной сети, а виртуальные сети с прикладным уровнем SAP (лучи) подключаются как одноранговые, нельзя использовать преимущества оптимизации посредством ExpressRoute FastPath. В настоящее время ExpressRoute FastPath также не поддерживает определяемые пользователем правила маршрутизации (UDR). Дополнительные сведения см. в статье Шлюз виртуальной сети ExpressRoute и быстрый путь.

Дополнительные сведения о настройке ExpressRoute FastPath см. в разделе Подключение виртуальной сети к крупным экземплярам HANA.

Примечание

Для работы с ExpressRoute FastPath требуется шлюз UltraPerformance ExpressRoute.

Одна система SAP

Локальная инфраструктура, показанная выше, подключена к Azure через канал ExpressRoute. Канал ExpressRoute, в свою очередь, подключен к MSEE. Дополнительные сведения см. в статье Обзор ExpressRoute. После организации этого маршрута он подключается к магистральной сети Azure.

Примечание

Для работы с ландшафтом SAP в Azure выполните подключение к маршрутизатору MSEE, который расположен ближе других к региону Azure в пределах ландшафта SAP. Стеки крупных экземпляров HANA подключаются с помощью специальных устройств MSEE для минимизации сетевой задержки между виртуальными машинами в Azure IaaS и стеками крупных экземпляров HANA.

Шлюз ExpressRoute для виртуальных машин, на которых размещаются экземпляры приложений SAP, подключенные к одному каналу ExpressRoute, который, в свою очередь, подключен локально. Та же виртуальная сеть подключена к отдельному маршрутизатору MSEE. Этот маршрутизатор специально выделен для подключения к единицам масштабирования крупных экземпляров. FastPath позволяет не маршрутизировать поток данных из крупных экземпляров HANA на виртуальные машины в слое приложений SAP через шлюз ExpressRoute. Такая конфигурация позволяет сократить задержку при циклической обработке в сети.

Это простой пример отдельной системы SAP. В ней уровень приложений SAP размещен в Azure. База данных SAP HANA выполняется в SAP HANA в Azure (крупные экземпляры). Предполагается, что пропускная способность шлюза ExpressRoute, составляющая 2 или 10 Гбит/с, не является узким местом.

Несколько обычных или крупных систем SAP

Если развернуть несколько обычных или крупных систем SAP с подключением к SAP HANA (крупные экземпляры), целесообразно предположить, что пропускная способность шлюза ExpressRoute может стать узким местом. В этом случае необходимо разбить уровни приложений на несколько виртуальных сетей. Можно также разделить слои приложений, если требуется изолировать рабочие и нерабочие системы в разных виртуальных сетях Azure.

Также рекомендуется создать специальные виртуальные сети, которые подключаются к крупным экземплярам HANA в таких случаях:

• Выполнение архивации непосредственно из экземпляров HANA в крупных экземплярах HANA на виртуальную машину в Azure, где размещаются общие ресурсы NFS.
• Копирование больших резервных копий и других файлов из крупных экземпляров HANA на диск, управляемый в Azure.

Используйте отдельную виртуальную сеть для размещения виртуальных машин, которые управляют хранилищем для массовой пересылки данных между крупными экземплярами HANA и Azure. В таком случае передача крупных файлов или большого объема данных из крупных экземпляров HANA в Azure на шлюзе ExpressRoute, обслуживающем виртуальные машины, на которых выполняется уровень приложений SAP, никак не повлияет на работу.

Для дополнительного расширения сетевой архитектуры:

• Используйте несколько виртуальных сетей для одного более крупного уровня приложений SAP.

• Вместо объединения систем SAP из разных подсетей в одну виртуальную сеть разверните отдельную виртуальную сеть для каждой развернутой системы SAP.

  На следующе схеме показана более расширяемая сетевая архитектура для SAP HANA в Azure (крупные экземпляры):

В зависимости от правил и ограничений, которые необходимо применить между различными виртуальными сетями, на которых размещены виртуальные машины различных систем SAP, следует установить пиринг между этими виртуальными сетями. Дополнительные сведения о пиринге виртуальных сетей см. в этой статье.

Маршрутизация в Azure

При развертывании по умолчанию существует три важные рекомендации относительно сетевой маршрутизации для SAP HANA в Azure (крупные экземпляры).

• К SAP HANA в Azure (крупные экземпляры) могут получать доступ только виртуальные машины Azure и выделенное подключение ExpressRoute; доступ напрямую из локальной среды невозможен. Прямой доступ из локальной среды к единицам крупных экземпляров HANA, поставляемым корпорацией Майкрософт, сразу невозможен. Это ограничения переходной маршрутизации текущей архитектуры сети Azure, используемой для крупных экземпляров SAP HANA. Таким образом, клиенты администрирования и любые приложения, требующие прямого доступа, например запущенный локально SAP Solution Manager, не могут подключиться к базе данных SAP HANA. Для исключений проверьте раздел Непосредственная маршрутизация в крупные экземпляры HANA.

• Если модули HANA (крупные экземпляры) развернуты в двух разных регионах Azure с целью аварийного восстановления, применяются те же ограничения на переходные маршруты, что и в прошлом. Другими словами, IP-адреса модуля HANA (крупные экземпляры) в одном регионе (например, западная часть США) не будут направляться в модуль HANA (крупные экземпляры), развернутый в другом регионе (например, восточная часть США). Это не зависит от использования пиринга сетей Azure по регионам или перекрестных соединений каналов ExpressRoute, по которым модули HANA (крупные экземпляры) подключаются к виртуальным сетям. См. рисунок в разделе Использование единиц крупных экземпляров HANA в нескольких регионах. Из-за такого ограничения развернутой архитектуры невозможно немедленно использовать функцию репликации системы HANA как функцию аварийного восстановления. Чтобы ознакомиться с последними изменениями, выполните поиск в разделе Использование единиц крупных экземпляров HANA в нескольких регионах.

• Единицам SAP HANA в Azure (крупные экземпляры) назначается IP-адрес из диапазона IP-адресов пула серверов, указанного вами при запросе развертывания крупного экземпляра HANA. Дополнительные сведения см. в статье Инфраструктура и возможности подключения SAP HANA в Azure (крупные экземпляры). Этот IP-адрес доступен через подписки Azure и канал, который соединяет виртуальные сети Azure с крупными экземплярами HANA. IP-адрес, назначенный из этого диапазона IP-адресов пула серверов, напрямую присваивается аппаратной единице. Протокол NAT больше не используется, как это имело место в первых развертываниях данного решения.

Прямая маршрутизация на крупные экземпляры HANA

По умолчанию транзитная маршрутизация не работает в следующих сценариях:

• Между единицами крупных экземпляров HANA и локальным развертыванием.

• Между крупными экземплярами HANA, развернутыми в двух разных регионах.

Существует три способа включения транзитивных маршрутизаций в этих сценариях.

• Обратный прокси-сервер для маршрутизации входных и выходных данных. Например, F5 Large-IP, NGINX с диспетчером трафика, развернутым в виртуальной сети Azure, который подключается к крупным экземплярам HANA и локальной сети в качестве решения для маршрутизации виртуального брандмауэра или трафика.
• Используйте правила IPTables на виртуальной машине Linux для маршрутизации между локальным расположением и единицами HANA (крупные экземпляры) или между единицами HANA (крупные экземпляры) в разных регионах. Виртуальная машина с IPTables должна быть развернута в виртуальной сети Azure, подключенной к крупным экземплярам HANA и к локальной среде. Необходим соответствующий размер виртуальной машины, чтобы пропускная способность ее сети была достаточной для ожидаемого сетевого трафика. Дополнительные сведения о пропускной способности сети виртуальной машины см. в статье Размеры виртуальных машин Linux в Azure.
• Брандмауэр Azure — еще одно решение для включения прямого трафика между локальными единицами и крупными экземплярами Hana.

Весь трафик таких решений маршрутизируется через виртуальную сеть Azure. Трафик, как таковой, также можно ограничить программными устройствами, которые используются группами безопасности сети Azure. Таким образом, конкретные IP-адреса или диапазоны IP-адресов в локальной сети можно либо заблокировать, либо разрешить для них доступ к крупным экземплярам HANA.

Примечание

Имейте в виду, что внедрение и поддержка пользовательских решений с использованием сетевых устройств сторонних производителей или утилиты IPTables не предоставляется корпорацией Майкрософт. Поддержка должна предоставляться поставщиком используемого компонента или интегратором.

ExpressRoute Global Reach

В корпорации Майкрософт появились новые функциональные возможности ExpressRoute Global Reach. Global Reach можно использовать для крупных экземпляров HANA в двух сценариях:

• Разрешить прямой доступ из локальной среды к единицам крупных экземпляров HANA, развернутым в разных регионах.
• Разрешить прямую связь между единицами крупных экземпляров HANA, развернутыми в разных регионах.

Прямой доступ из локальной среды

В регионах Azure, где предлагается Global Reach, можно запросить включение Global Reach для канала ExpressRoute. Этот канал подключает локальную сеть к виртуальной сети Azure, которая подключается к крупным экземплярам HANA. Предполагаются затраты на локальное обеспечение канала ExpressRoute. Дополнительные сведения см. в ценах на надстройку Global Reach. Вы не несете дополнительных затрат на использование канала для подключения крупных экземпляров HANA к Azure.

Важно!

В случае использования Global Reach для обеспечения прямого доступа между единицами крупных экземпляров HANA и локальными активами данные сети и поток управления не маршрутизируются по виртуальным сетям Azure. Вместо этого сетевые данные и поток управления маршрутизируются непосредственно между корпоративными маршрутизаторами обмена данными Microsoft. Таким образом, не оказывается влияние на какие-либо правила NSG или ASG или любой тип брандмауэра, NVA или прокси, развернутый в виртуальной сети Azure. Если используется ExpressRoute Global Reach, чтобы разрешить прямой доступ из локальной среды к устройствам крупных экземпляров HANA, разрешения на доступ к единицам крупных экземпляров HANA должны быть определены в брандмауэрах на локальной стороне.

Подключение крупных экземпляров HANA в разных регионах Azure

Аналогичным образом ExpressRoute Global Reach можно использовать для подключения двух арендаторов крупных экземпляров HANA, развернутых в разных регионах. Для такого подключения используются каналы ExpressRoute, по которым клиенты крупных экземпляров HANA подключаются к Azure в обоих регионах. Дополнительных затрат на подключение двух арендаторов крупных экземпляров HANA, развернутых в разных регионах, не требуется.

Важно!

Поток данных и поток управления сетевого трафика между арендаторами крупных экземпляров HANA не будет направляться через виртуальные сети Azure. Поэтому функциональность Azure или виртуальных сетевых модулей (NVA) нельзя использовать для реализации ограничения связи между арендаторами крупных экземпляров HANA.

Дополнительные сведения о включении ExpressRoute Global Reach см. в разделе Подключение виртуальной сети к крупным экземплярам HANA.

Подключение крупных экземпляров HANA к Интернету

Крупные экземпляры HANA не подключены к Интернету напрямую. Это ограничивает ваши возможности, например зарегистрировать образ ОС напрямую с использованием поставщика ОС. Вам может потребоваться поработать с локальным сервером средства для управления подписками SUSE Linux Enterprise Server или Red Hat Enterprise Linux Subscription Manager.

Шифрование данных между виртуальными машинами и крупными экземплярами HANA

Данные, передаваемые между виртуальными машинами и крупными экземплярами HANA, не шифруются. Однако исключительно для обмена между СУБД HANA и приложениями на основе JDBC/ODBC вы можете включить шифрование трафика. Дополнительные сведения см. в разделе Безопасный обмен данными между арендаторами SAP HANA и JDBC/ODBC.

Использование единиц крупных экземпляров HANA в нескольких регионах

Чтобы реализовать настройку аварийного восстановления, необходимо иметь единицы крупного экземпляра HANA в нескольких регионах Azure. Даже при использовании Azure пиринг глобальной виртуальной сети транзитная маршрутизация не работает между клиентами крупных экземпляров HANA в двух разных регионах. Однако Global Reach обеспечивает связь между единицами крупных экземпляров HANA в разных регионах. Этот сценарий использования ExpressRoute Global Reach включает:

• репликация системы HANA без дополнительных прокси-серверов или брандмауэров;
• копирование резервных копий между единицами крупных экземпляров HANA в разных регионах для создания системных копий или обновлений системы.

На предыдущем рисунке показано, как виртуальные сети в обоих регионах подключаются к двум каналам ExpressRoute. Эти каналы используются для подключения к SAP HANA в Azure (крупные экземпляры) в обоих регионах Azure (серые линии). Причина этих двух перекрестных подключений заключается в защите от сбоя MSEE на обеих сторонах. Поток связи между двумя виртуальными сетями в двух регионах Azure должен обрабатываться по глобальному пирингу двух виртуальных сетей в двух разных регионах (синяя пунктирная линия). Толстая красная линия обозначает подключение ExpressRoute Global Reach. Это подключение обеспечивает взаимодействие между крупными экземплярами HANA ваших арендаторов в разных регионах.

Важно!

Если используется несколько каналов ExpressRoute, чтобы обеспечить правильную маршрутизацию трафика, следует использовать атрибут AS PATH и настройки локального предпочтения BGP.

Следующие шаги

Сведения об архитектуре хранилища для SAP HANA (крупные экземпляры).

Архитектура хранилища SAP HANA (крупные экземпляры)