Загрузка листа планирования емкости сервера для системы платформы аналитики
Этот лист планирования емкости помогает определить требования для сервера загрузки для загрузки данных в SQL Server PDW. Используйте это для создания плана приобретения или подготовки существующих серверов загрузки.
Заметки на листе
Этот лист применяется к серверам, которые будут загружать данные с помощью средства загрузки командной строки dwloader .
Для загрузки данных с помощью служб Integration Services или стороннего средства загрузки требования могут отличаться в зависимости от различий в процессе загрузки.
Большинство требований применяются к загрузке сжатых или несжатых файлов данных; Все различия в требованиях отмечены полужирным шрифтом.
Лист планирования емкости
Распечатайте этот лист и заполните его собственными требованиями.
| Компонент | Требование | Заполните этот столбец собственными требованиями | Рекомендации |
|---|---|---|---|
| Память | Максимальное количество байтов, которые вы планируете хранить на сервере загрузки в любой момент времени. |  |
Чтобы определить требования к хранилищу, узнайте, сколько данных планируется хранить на сервере загрузки в любой момент времени. Требования к емкости предназначены только для загрузки файлов; Операционная система и файлы загрузки должны находиться в разных массивах дисков. Например, если вы планируете загружать 100 ГБ данных с диска 3 раза в день, но не удалять файлы данных до конца недели, для хранения файлов данных потребуется не менее 2,1 ТБ. Мы рекомендуем быть консервативным и получать около 30 % больше хранилища для учета дисперсий и роста. В этом примере было бы лучше 2,73 ТБ дискового пространства. |
| Скорость загрузки | Максимальное количество байтов в час данных для загрузки в PDW. | |
Это оценка. При вычислении этого требования предположим, что файлы уже находятся на сервере загрузки и что другие условия загрузки максимально хороши. Например: нет необходимости учитывать сжатие данных, так как dwloader всегда отправляет несжатые данные в PDW. Нет необходимости учитывать преобразования типов данных и размер целевой таблицы. |
| Сеть | Тип сетевого подключения. | |
Определите оптимальный тип сетевого подключения для требований к скорости нагрузки. Например: InfiniBand или 10 Гбит Ethernet обеспечит оптимальную скорость загрузки. 1 Гбит Ethernet ограничивает скорость загрузки до 360 ГБ в час или меньше. |
| ВВОД-ВЫВОД | Байты в час для операций чтения и записи. | |
Чтобы загрузить данные, dwloader должен считывать все данные с диска перед отправкой в PDW. Каждый сервер загрузки не может загружать данные быстрее, чем устройство может получать данные из всех источников загрузки. Чтобы сэкономить деньги, запланируйте емкость чтения ввода-вывода для загрузки, чтобы она не превысила нагрузку устройства. Например: PDW получает и загружает данные в 1 стойку устройства с максимальной скоростью 1,8 ТБ в час. Для устройства с 2 или более стойками максимальная скорость загрузки составляет 3,6 ТБ в час. Если вы планируете загружать с нескольких серверов загрузки одновременно, требования ввода-вывода для каждого сервера загрузки будут меньше, чем при выполнении каждой загрузки одного сервера. Например, один сервер загрузки может загружать не более 1,8 ТБ в час для 1-стойочного устройства. Два сервера загрузки могут одновременно загружать 900 ГБ в час на 1 стойку. Более высокие уровни параллелизма могут снизить эффективность и максимальную пропускную способность. Для емкости ввода-вывода учитывайте все операции ввода-вывода на сервере загрузки. Если сервер загрузки имеет другой трафик ввода-вывода в дополнение к нагрузке данных, например получение файлов данных с сервера ETL, требования ввода-вывода будут увеличиваться. Для сжатых данных требования ввода-вывода зависят от скорости сжатия данных. Dwloader считывает сжатые данные, а затем распаковывает его перед отправкой в PDW. Чем выше коэффициент сжатия, тем меньше данных на сервере загрузки потребуется считывать с диска. Например, если требуемая скорость загрузки составляет 1,8 ТБ в час, а данные хранятся на сервере загрузки с сжатием 2:1, то сервер загрузки должен считывать только 900 ГБ в час с диска вместо 1,8 ТБ. Коэффициент сжатия 3:1 означает, что сервер загрузки должен считывать 600 ГБ в час с диска. |
| ЦП | Количество сокетов. | |
Для загрузки несжатых данных dwloader не является приложением с большим объемом ЦП. Как минимум, рекомендуется использовать недавно выпущенный 2-сокетовый сервер. Для загрузки сжатых данных требуется достаточно ресурсов ЦП, чтобы распаковывать данные перед отправкой в PDW. Dwloader может одновременно запускать 10 активных потоков. Если вы планируете загружать 10 сжатых файлов одновременно, рекомендуется использовать по крайней мере 10-ядер ЦП или два 6-ядра ЦП. |
| ОЗУ | ГБ памяти, которая позволяет Windows кэшировать файлы во время загрузки. | |
Dwloader использует очень мало ОЗУ на сервере загрузки. Для повышения производительности Windows использует память для кэширования файлов загрузки после их чтения с диска. Чтобы определить требования к ОЗУ, ознакомьтесь с установкой Windows Server и любыми сторонними требованиями к приложению. Рекомендуется не менее 32 ГБ, если у вас нет требований из других источников. Для сжатых данных быстрее ОЗУ полезно, так как это ускорит декомпрессию. |
См. также
Получение и настройка загрузчикасервера dwloader командной строки