Гибридное Облако является достаточно привлекательной моделью при внедрении облачных вычислений в информационные системы предприятий, поскольку этот подход сочетает преимущества публичного и частного облака. С одной стороны, достигаются возможности гибкого привлечения внешних ресурсов по мере надобности и сокращения инфраструктурных издержек, с другой - сохраняется полный контроль за данными и приложениями, которые предприятие не хочет отдавать наружу. Однако в подобном сценарии мы неизбежно сталкиваемся с задачей интеграции данных из различных источников. Предположим, имеется таблица клиентов, которую мы вертикально разбили на две части. Обезличенная часть была отнесена в публичное облако, а персонифицирующая клиентов информация осталась в локальной базе. Для целостной обработки внутри приложения необходимо снова соединить обе части по CustomerID. Возможны различные способы это сделать. Условно их можно разбить на две большие категории: объединение данных на уровне on-premise сервера БД, который в этом случае будет выступать единой точкой входа для доступа к локальным и удаленным данным, и внутри бизнес-логики. В этой статье будет рассмотрен первый подход. 

В случае SQL Server для доступа к гетерогенным источникам данных, начиная с версии 7.0, традиционно используется механизм связанных серверов (linked servers). Используя этот механизм, нам нужно получить данные из облачной базы. Как известно, в облаке Windows Azure база данных SQL Server может быть представлена в двух ипостасях: Windows Azure SQL Database (SQL Azure) - это PaaS-решение - и как обычная база данных на обычном SQL Server, установленном на размещенной в Azure виртуальной машине - IaaS. Последний случай идейно ничем не отличается от соединения с другим экземпляром SQL Server. Создание связанного сервера на него не составляет труда и давно <a href="https://technet.microsoft.com/ru-ru/library/ff772782.aspx">описано в документации</a>. Разберем случай создания связанного сервера на SQL Azure. На самом деле, соединение с облачной базой ничуть не сложнее, чем присоединиться к обычному SQL Server; необходимо только не упускать из вида спцифику SQL Azure:

- Используется строго сетевая библиотека TCP/IP, порт не назначается динамически, он всегда 1433.

- В SQL Azure действует только стандартная модель аутентификации.

- Все соединения с SQL Azure в обязательном порядке шифруются на основе TLS (SSL), что соответствует добавлению в строку соединения свойств Encrypt=True;TrustServerCertificate=true. Их можно не указывать в явном виде, они будут добавлены автоматически.

- Имя сервера = <имя сервера SQL Azure>.database.windows.net.

- В SQL Azure нет команды USE. Строго говоря, она есть, но применяется сугубо в случае шардинга, что означает, что необходимо соединяться сразу с нужной базой.

- Также необходимо учитывать firewall rules в конфигурации сервера SQL Azure, которые оговаривают белый список диапазона адресов, с которых разрешается устанавливать соединение.

Принимая сказанное в учет, остается выбрать прикладной интерфейс доступа, в качестве которого может использоваться SQL Server Native Client, либо ODBC.

Для выполнения демонстрационного примера используется облачный вариант модельной базы данных AdventureWorks2012, взять которую можно <a href="https://msftdbprodsamples.codeplex.com/releases/view/37304">здесь</a>.

Открываем SQL Server Management Studio, соединяемся с локальным SQL Server и создаем на нем связанный сервер на SQL Azure, используя нативного клиента:

if exists (select 1 from sys.servers where name = 'SQLAzure_NCli') exec sp_dropserver  @server = 'SQLAzure_NCli', @droplogins = 'droplogins'

go

exec sp_addlinkedserver

@server='SQLAzure_NCli',

@srvproduct='',    

@provider='sqlncli',

@datasrc='u1qgtaf85k.database.windows.net',  

@location='',

@provstr='',

@catalog='AdventureWorks2012'

go

exec sp_addlinkedsrvlogin

@rmtsrvname = 'SQLAzure_NCli',

@useself = 'false',

@rmtuser = 'alexejs',            

@rmtpassword = 'Password'

go

Скрипт 1

где u1qgtaf85k- имя сервера SQL Azure, которое было сгенерировано автоматически при его создании. Тестируем, что мы действительно можем с ним соединиться со стороны локального сервера и получить с него данные:

select CustomerID, AccountNumber from SQLAzure_NCli.AdventureWorks2012.Sales.Customer where CustomerID between 1 and 100

Скрипт 2

Результат показан на Рис.1

Рис.1

Обладая соответствующими правами, можно со стороны локального сервера выполнять не только чтение данных SQL Azure, но и запросы на модификацию данных, а также DDL-запросы. Например, создадим в БД SQL Azure таблицу и вставим в нее данные:

exec sp_serveroption 'SQLAzure_NCli', 'rpc out', true

exec ('CREATE TABLE TestTbl(fld1 int not null CONSTRAINT PK_fld1 PRIMARY KEY CLUSTERED (fld1) )') at SQLAzure_Ncli

exec ('INSERT INTO TestTbl VALUES (1), (2), (3)') at SQLAzure_NCli

Скрипт 3

Рис.2

С помощью Azure Management Portal можно убедиться, что таблица действительно создалась и записи в нее добавились:

Рис.3

Создание связанного сервера через ODBC требует предварительного создания DSN. Идем в Control Panel\System and Security\Administrative Tools -> Data Sources (ODBC) или просто запускаем odbcad32.exe и создаем источник данных на SQL Azure, как показано на Рис.4 - .

Рис.4

Рис.5

Рис.6

Рис.7

Рис.8

Рис.9

Можно автоматизировать процесс импортом в реестр (regedit.exe) примерно такого .REG-файла:

<code>[HKEY_LOCAL_MACHINE\SOFTWARE\ODBC\ODBC.INI]

[HKEY_LOCAL_MACHINE\SOFTWARE\ODBC\ODBC.INI\SQLAzure]

"Driver"="C:\\Windows\\system32\\sqlncli10.dll"

"Server"="u1qgtaf85k.database.windows.net"

"LastUser"=“alexejs"

"Database"=“AdventureWorks2012"

[HKEY_LOCAL_MACHINE\SOFTWARE\ODBC\ODBC.INI\ODBC Data Sources]

“SQLAzure"="SQL Server Native Client 10.0“</code>

Скрипт 4

Создание связанного сервера на ODBC-источник в этом случае будет выглядеть следующим образом:

if exists (select 1 from sys.servers where name = 'SQLAzure_ODBC') exec sp_dropserver  @server = 'SQLAzure_ODBC', @droplogins = 'droplogins‘

go

exec sp_addlinkedserver @server = 'SQLAzure_ODBC', @srvproduct = 'Any', @provider = 'MSDASQL', @datasrc = 'SQLAzure', @catalog='AdventureWorks2012'

go

exec sp_addlinkedsrvlogin @rmtsrvname = 'SQLAzure_ODBC', @useself = 'false', @rmtuser = 'alexejs', @rmtpassword = 'Password'

Скрипт 5

Проверяем, что все работает:

select * from openquery(SQLAzure_ODBC, 'select * from sys.tables')

Скрипт 6

Рис.10

Независимо от способа создания прилинкованного сервера дальнейшее очевидно. Связываем таблицу клиентов в БД на локальном сервере с таблицей клиентов в БД SQL Azure:

select c.CustomerID, c.AccountNumber, p.FirstName, p.LastName from openquery(SQLAzure_NCli, 'select CustomerID, AccountNumber from Sales.Customer where CustomerID between 1 and 100') c join Person.Person p on c.CustomerID = p.BusinessEntityID order by c.CustomerID

Скрипт 7

Рис.11

Следует отметить, что, как всегда в случае связанного сервера, предпочтительней использовать функцию OpenQuery(), чем обращаться к нему по имени с 4-частной нотацией, чтобы не тащить на локальный сервер максимальный рекордсет, а по возможности распараллелить работу, производя фильтрацию (джойны, группировки и т.д., если будут) средствами удаленных ресурсов.

В начале июня 2013 на конференции TechEd (Северная Америка) член технического совета Microsoft и ведущий специалист компании по разработке направления ALM Брайан Харри анонсировал Visual Studio 2013 и Team Foundation Server 2013 совместно с .Net Framework 4.5.1. Несколько недель спустя на конференции Build 2013 в Сан-Франциско было объявлено о доступности предварительных версий этих продуктов. Помимо многочисленных улучшений среды разработки, возможностей создания приложений для любых устройств на базе Windows, в том числе в системе Windows 8.1, веб-приложений и служб для локальных и облачных сред с использованием новых дополнений к Visual Studio и ASP.NET, которые упрощают веб-разработку для различных браузеров и устройств, гибкого управления портфелями проектов, взаимодействия в режиме реального времени, а также упрощения доступа к нужной информации прямо из редактора кода, Visual Studio 2013 является законченным инструментом для разработки, диагностики и отладки приложений в Облаке.

Данная статья является первой в цикле, который позволит начинающим разработчикам получить представление о создании с нуля приложений для Windows Azure и их развертывании при помощи Visual Studio 2013 Preview, тестировании и управлении в облачных средах. Для работы нам потребуется, собственно, Visual Studio 2013 Preview и подписка на Windows Azure. Установить бесплатно предварительную версию Visual Studio 2013 Preview можно с центра загрузки Microsoft. Там доступно несколько редакций, нам потребуется редакция Ultimate. После установки можно видеть шаблон проекта для создания приложений в Облаке.

Рис.1

Изначально этот шаблон пустой. Он требует установки WindowsAzureSDK2.1 для VS2013, который также может работать с VS2012 и 2010 SP1. При открытии нового проекта этого типа установка начнется автоматически. Как и другие дополнительные инструменты, как, например, SQL Server Data Tools, по умолчанию установка происходит через Web Platform Installer. Логично предположить, что машина разработчика, на которой будет происходить создание облачных приложений, имеет выход в Интернет. Однако известны ситуации, когда разработка и тестирование производится локально, а размещение в Облаке осуществляется с нескольких выделенных машин в подразделении. В этом случае на локальную машину следует установить  Windows Azure SDK «вручную» в соответствии с инструкцией (см.раздел Install Instructions). Системные пререквизиты указаны там же в разделе System Requirements. Скачать по отдельности WindowsAzureAuthoringTools-x64.msi, WindowsAzureEmulator-x64.exe, WindowsAzureTools.vs120.exe и другие компоненты можно здесь.    

После установки Windows Azure SDK надпись Get Windows Azure SDK в шаблоне проекта (Рис.1) сменяется на Windows Azure Cloud Service. В создаваемое приложение добавим ASP.NET веб-роль:

Рис.2

а в нее – веб-форму по умолчанию:

Рис.3

Для рассмотрения дальнейшего процесса локального тестирования приложения и его размещения в Облаке нужно создать простейший пользовательский код, который можно позаимствовать, например, здесь:

Рис.4

По умолчанию запуск осуществляется в локальном эмуляторе Windows Azure, установленном в составе Windows Azure SDK. Если в системе включен User Access Control, будет выдано сообщение

Рис.5

Чтобы запустить Visual Studio с административными привилегиями, зайдите в каталог, где она установлена. В Windows 8 найдите на стартовом экране иконку Visual Studio, щелкните по ней правой кнопкой и в нижней строке меню выберите Run as administrator.

Рис.6

Либо кликните по пункту меню Open file location, в обозревателе войдите в свойства ярлыка Visual Studio 2013 Preview, нажмите на кнопку Advanced и отметьте галку Run as administrator:

Рис.7

Перезапустите Visual Studio, откройте снова ранее созданное приложение и стартуйте его.

Рис.8

Кликните на кнопку Button. В обработчике события нажатия на эту кнопку сработает ранее добавленное туда создание блоба в Azure Storage и строка кода для отладки

var storageAccount = CloudStorageAccount.Parse(RoleEnvironment.GetConfigurationSettingValue("Microsoft.WindowsAzure.Plugins.Diagnostics.ConnectionString"));

var blobClient = storageAccount.CreateCloudBlobClient();

var blobContainer = blobClient.GetContainerReference("testblob");

blobContainer.CreateIfNotExists();

var blob = blobContainer.GetBlockBlobReference(Guid.NewGuid().ToString());

blob.UploadFromStream(new MemoryStream(Encoding.UTF8.GetBytes("Hello Windows Azure")));

System.Diagnostics.Trace.WriteLine("Added blob to Windows Azure Storage");

Скрипт 1

В окне Output мы увидим соответствующую надпись.

Кроме того в целях тестирования наша процедура Button1_Click содержит настройку монитора диагностики для передачи в другой блоб журналов с определенной периодичностью, в данном случае – каждые полминуты.

DiagnosticMonitorConfiguration diag = DiagnosticMonitor.GetDefaultInitialConfiguration();

diag.Logs.ScheduledTransferPeriod = TimeSpan.FromSeconds(30);

DiagnosticMonitor.Start("Microsoft.WindowsAzure.Plugins.Diagnostics.ConnectionString", diag);

Скрипт 2

Остановим приложение из VS или закрыв окно браузера. Откройте Server Explorer. Обратите внимание, что эмулятор Windows Azure содержит два блобовских контейнера в разделе Storage\Blobs. Первый – это созданный нами testblob (Скрипт 1). Второй – wad-control-container – контейнер, который создался для записи журналов при помощи монитора диагностики (Скрипт 2).

Рис.9

Дважды кликнув по контейнеру testblob, можно видеть, что он содержит блобы с именами гуидов, созданные (Скрипт 1) всякий раз при запуске приложения и нажатию кнопки Button на веб-странице (Рис.8).

Рис.10

Двойной клик по каждой из строчек открывает содержимое соответствующего блоба в окне, допустим, IE. Там лежит трассировочная строка Hello Windows Azure.

Второй контейнер содержит журналы Windows Azure, собранные при помощи монитора диагностики:

Рис.11

Каждый блоб также можно открыть в браузере и прочитать сохраненный в тот или иной момент времени журнал:

Рис.12

Убедившись в работоспособности приложения, перейдем к его размещению и запуске в Облаке. Предварительно для запуска веб-ролей в среде Windows Azure.понадобится создать облачную службу, для чего заходим на портал управления Windows Azure, нажимаем значок + в левом нижнем углу и в появившемся меню выбираем Cloud Service. Опция Custom Create позволяет сразу же опубликовать облачную службу, указав файл конфигурации (CSCFG), пакет (CSPKG) и сертификат. Поскольку мы собираемся публиковать приложение из проекта Visual Studio, нам будет достаточно опции Quick Create. В этом случае нужно только придумать название службы и задать датацентр, в котором она будет работать. Датацентр, как правило, выбирается из соображений минимизации стоимости трафика, который в пределах одного и того же датацентра бесплатный. Например, если наше приложение будет работать с базой данных SQL Azure, созданной в датацентре North Europe, то и службу имеет смысл размещать там же.

Рис.13

Наше приложение использует учетную запись хранения, которая до этого эмулировалась средствами Windows Azure Tools, установленными локально. Теперь ее потребуется создать в Облаке:

Рис.14

Остается перенастроить проект в Visual Studio c эмулятора на использование «честных» облачных службы и учетной записи хранения. Для этого в обозревателе решений в проекте Windows Azure выбираем Свойства роли, которая обращается к службам хранилища, и идем на закладку Settings. Сейчас строка соединения настроена на локальный эмулятор: UseDevelopmentStorage=true.

Рис.15

Требуется сослать ее в Azure. Самый простой способ это сделать, чтобы не вводить руками учетную запись и первичный ключ - кликнуть на многоточие справа и выбрать Download Publish Settings:

Рис.16

Для текущей подписки будет скачан файл, позволяющий Visual Studio автоматически получить вышеуказанные сведения. Он содержит сведения о сертификате, поэтому его следует сохранять в безопасное место. Этот файл мы указываем, нажав кнопку Import.

Рис.17

Приложение готово к публикации. Ее можно осуществить с портала управления Windows Azure путем создания пакета служб и файла конфигурации службы, либо напрямую из Visual Studio при помощи мастера публикации. Для его запуска из контекстного меню проекта Windows Azure выбираем пункт Publish.

Рис.18

Приложение успешно публикуется.

Рис.19

Если теперь запустить его в облаке, указав адрес службы, созданной на Рис.13

Рис.20

диагностическая информация для целей тестирования (Рис.10-12) будет складываться в контейнер Рис.14 аналогично тому, как это происходило в случае эмулятора. Посмотреть собранную диагностику можно разными способами, в том числе через Server Explorer, как это делалось на Рис.9. Однако теперь он будет указывать в Облако, т.к. мы изменили конфигурацию проекта и строку соединения (Рис.15-17).

Рис.21

В следующей статье мы поговорим об отладке и тестировании приложений непосредственно в Облаке.   

В данном примере мы разберем создание и выполнение типового задания MapReduce в облачной реализации Hadoop от Microsoft, которая носит название HDInsight.

В предыдущем примере мы создали 3-узловой кластер Hadoop и загрузили абстрактный журнал слабоструктурированного формата, который сейчас предстоит обработать. Журнал представляет собой в общем случае большой (в нашем конкретном примере маленький, но на принципиальную демонстрацию идеи это не влияет) текстовый файл, содержащий строки с признаками TRACE, DEBUG, INFO, WARN, ERROR, FATAL. Наша элементарная задача будет состоять в том, чтобы подсчитать количество строк с каждым признаком, т.е. сколько раз возникала ситуация WARN, сколько ERROR и т.д. Выражаясь в терминах SQL, нужно сделать COUNT() … GROUP BY по полю признака. Понятно, что поля как такового нет, поскольку файл представляет собой не табличку, а набор строк с текстовым описанием проблемы, в которых встречается подстрока с названием признака. Нужно пробежаться по всем строкам, выделить подстроку признака и просуммировать. Проще говоря, из

2012-02-03 18:35:34 SampleClass6 [INFO] everything normal for id 577725851

2012-02-03 18:35:34 SampleClass4 [FATAL] system problem at id 1991281254

2012-02-03 18:35:34 SampleClass3 [DEBUG] detail for id 1304807656

2012-02-03 18:35:34 SampleClass3 [WARN] missing id 423340895

2012-02-03 18:35:34 SampleClass5 [TRACE] verbose detail for id 2082654978

2012-02-03 18:35:34 SampleClass0 [ERROR] incorrect id 1886438513

...

Скрипт 1

требуется получить что-нибудь типа

[TRACE] 10

[DEBUG] 20

[INFO]  30

[WARN]  555

[ERROR] 777

[FATAL] 1

Скрипт 2

Идея модели MapReduce очень проста. При наличии распределенной системы, каковой является кластер Hadoop, общее задание разделяется (Map) на параллельные подзадания. Как отмечалось в предыдущем примере, подлежащий обработке при сохранении в файловую систему Hadoop прозрачно для пользователя разбивается на фрагменты по узлам. Теоретически эти узлы могут быть распределены территориально, т.е. находиться в различных географических локациях. Чтобы минимизировать издержки, связанные с передачей данных между ЦОДами (или просто между отдельными узлами), Hadoop учитывает территориальную близость данных - каждое подзадание работает со своим фрагментом данных. В нашем случае узлов в кластере всего 3, не до роскоши. Подзадания будут выполняться на тех же узлах, где лежат фрагменты данных. Результаты выполнения подзаданий затем агрегируются функциями Reduce в единый результат, возвращаемый пользователю. Иными словами, каждый узел выдаст свой частный подрезультат, например, первый -

[TRACE] 1

[DEBUG] 2

[INFO]  3

...

Скрипт 3

второй -

[TRACE] 9

[DEBUG] 5

[INFO]  7

...

Скрипт 4

из которых в итоге будет составлен общий результат Скрипт 2. Это общая идея параллельной обработки, получившая реализацию в том числе в традиционных реляционных серверах баз данных (напр., Oracle RAC, Microsoft SQL Server Parallel Datawarehouse и т.д.) и облачных сервисах реляционной обработки данных (напр., федерированная БД в Windows Azure SQL Database, ранее известная как шардинг в SQL Azure). Но в данном случае мы имеем дело не с реляционным, а слабоструктурированным форматом входных данных, поэтому, вместо скриптов SQL, функции, выполняющие роль Map / Reduce нам придется написать самостоятельно. Идея MapReduce реализована на различных языках. Например, в бесплатном проекте Apache Hadoop с открытым исходным кодом для этих целей используется Java. Поскольку Microsoft HDInsight совместим с Apache Hadoop, мы также будем использовать язык Java и пакет org.apache.hadoop.mapreduce.

Вначале реализуется класс Map, производный от Mapper. Класс Mapper преобразует исходный набор пар ключ/значение в промежуточный. В нашем случае входными значениями являются строки текстового файла журнала - параметр value типа Text метода map. Внутри метода в каждой value ищем квадратные скобки, вытаскиваем то, что находится между ними, сравниваем с константным набором признаков, который в начале положили в переменную pattern и, если соответствует (if(matcher.matches())), формируем выходную пару ключ-значение. Ключом является подстрока признака TRACE / DEBUG / … (текстовая переменная logLevel), а значением 1. Значение содержится в переменной accumulator типа IntWritable, которую мы инициализировали в конструкторе единицей. IntWriteable является оберткой вокруг явовского типа int, имплементирующей интерфейс Writable. Hadoop использует собственный формат сериализации. Эти единички мы будем складывать в функции Reduce, чтобы подсчитать число вхождений каждого признака. Промежуточные (выходные) значения группируются средой Hadoop для каждого выходного ключа. На этапе маппинга можно выполнить предварительную агрегацию при помощи setCombinerClass, чтобы сократить данные. передаваемые в Reducer. В данном примере эта возможность не используется. Класс Reporter (последний параметр метода map) предназначен для отображения статуса и прогресса выполнения, обновления счетчиков и т.п. В нашем простом примере он также не используется.

Класс Reduce, производный от Reducer, решает обратную задачу. Он собирает промежуточные результаты маппирования и агрегирует их, выполняя в данном случае пресловутый COUNT() значений, т.к. GROUP BY по ключам (включая сортировку) был выполнен в ходе маппирования. Входные типы (Text, IntWritable) для Reduce должны соответствовать выходным от Map. В ходе слияния результатов на этапе Reduce среда Hadoop выполняет вторичную сортировку, поскольку результаты, полученные от различных мапперов могут иметь одинаковые ключи. Таким образом, входной результат для метода Reduce представляет собой набор строк ключ - коллекция соответствующих ему значений. Например, одной из строк будет TRACE (ключ) и коллекция из стольких единичек, сколько вхождений этого признака определил тот или иной экземпляр маппера. Нам остается пробежаться по коллекции и просуммировать единички в переменную count. В OutputCollector записываем традиционную пару ключ-значение, только значением здесь будет результат агрегации по ключу.

Метод main() используется для создания задания Hadoop на основе созданных классов Map и Reduce и его выполнения. Объект JobConf формирует спецификацию задания. Код записывается в JAR-файл, который Hadoop будет распространять по кластеру. Вместо явного указания имени файла, можно передать объемлющий класс, содержащий выполняемый код, (MapReduceTest) в конструктор JobConf, по которому Hadoop найдет соответствующий JAR-файл. Методы setOutputKeyClass() и setOutputValueClass() задают выходные типы для функций Map и Reduce. Как правило, они совпадают, т.е. Map выдает то же, что Reduce. Если они отличаются, выходные типы функции Map можно оговорить с помощью методов setMapOutputKeyClass() и setMapOutputValueClass(). Какой класс будет делать Map, а какой Reduce, как несложно догадаться, задается при помощи методов setMapperClass() и setReducerClass(). Осталось прописать формат ввода/вывода. Это делается методами setInputFormat() и setOutputFormat(). В данном случае этого можно было не делать, т.к. текстовый формат принят по умолчанию. В заключение нужно прописать пути к файлам с исходными данными и рзультатами при помощи статических методов FileInputFormat.setInputPaths() и FileOutputFormat.setOutputPath(). Мы будем передавать имена файлов через аргументы командной строки. Как видно из названия метода, входных файлов может быть несколько. Может быть директория, тогда будут взяты все содержащиеся в ней файлы. Можно указать шаблон имени файла. В качестве локации, куда будут складываться файлы результатов назначается директория. Она не должна существовать, иначе при выполнении произойдет ошибка. Своего рода мера защиты, чтобы одно задание не перетерло результат выполнения другого. Удалить директорию можно при помощи команды hadoop fs -rmr.

Собирая сказанное вместе, получаем следующий код:

//Стандартный явовский импорт

import java.io.IOException;

import java.util.Iterator;

import java.util.regex.Matcher;

import java.util.regex.Pattern;

//Импорт, относящийся к Hadoop

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapred.FileInputFormat;

import org.apache.hadoop.mapred.FileOutputFormat;

import org.apache.hadoop.mapred.JobClient;

import org.apache.hadoop.mapred.JobConf;

import org.apache.hadoop.mapred.MapReduceBase;

import org.apache.hadoop.mapred.Mapper;

import org.apache.hadoop.mapred.OutputCollector;

import org.apache.hadoop.mapred.Reducer;

import org.apache.hadoop.mapred.Reporter;

import org.apache.hadoop.mapred.TextInputFormat;

import org.apache.hadoop.mapred.TextOutputFormat;

public class MapReduceTest

{

/*

 * Маппирование

 */

            public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable>

            {

                        private static final Pattern pattern = Pattern.compile("(TRACE)|(DEBUG)|(INFO)|(WARN)|(ERROR)|(FATAL)"); //список паттернов признаков

                        private static final IntWritable accumulator = new IntWritable(1); //константная единичка в кач-ве значения, если признак найден

                        private Text logLevel = new Text();

                        public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable>collector, Reporter reporter)

                                                throws IOException

                                                {                  // поиск по разделителям '[' и ']'

                                    final String[] tokens = value.toString().split("[ \\[\\]]");

                                    if(tokens != null)

                                    {

                                                //вычленяем признак logLevel

                                                for(final String token : tokens)

                                                {

                                                            final Matcher matcher = pattern.matcher(token);

                                                            if(matcher.matches()) //если найден

                                                            {

                                                                        logLevel.set(token);

                                                                        collector.collect(logLevel, accumulator); //формируем пары ключ-значение

                                                            }                                             

                                                }

                                    }                      

                        }

            }

/*

 * Редуцирование

 */

            public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable>

            {

                        public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> collector, Reporter reporter) throws IOException

                        {

                                    int count = 0;

                  //агрегируем в count число вхождений признака

                                    while(values.hasNext())

                                    {  count += values.next().get();  }

                                    System.out.println(key + "\t" + count);

                                    collector.collect(key, new IntWritable(count));

                        }

            }

/*

 * Создаем задание

 */

            public static void main(String[] args) throws Exception

            {

            //конфигурация джобы с назаначением объемлющего класса и классов, выполняющих Map/Reduce

                        final JobConf conf = new JobConf(MapReduceTest.class);

                        conf.setOutputKeyClass(Text.class);

                        conf.setOutputValueClass(IntWritable.class);

                        conf.setMapperClass(Map.class);

                        conf.setReducerClass(Reduce.class);

                        conf.setInputFormat(TextInputFormat.class);

                        conf.setOutputFormat(TextOutputFormat.class);

            //входные-выходные пути берутся из аргументов командной строки

                        FileInputFormat.setInputPaths(conf, new Path(args[0]));

                        FileOutputFormat.setOutputPath(conf, new Path(args[1]));

            //выполняем задание

                        JobClient.runJob(conf);

            }

}

Скрипт 5

Зайдем на хадуповский кластер через Remote Desktop, как показывалось в предыдущей статье, и сохраним этот код в файл MapReduceTest.java, скажем, в той же d:\Temp. Библиотеки поддержки Java в HDInsight находятся в C:\apps\java\bin. Hadoop про это не знает. Имеет смысл зайти в окно командной строки Hadoop (D:\Windows\system32\cmd.exe /k pushd "c:\apps\dist\hadoop-1.1.0-SNAPSHOT" && "c:\apps\dist\hadoop-1.1.0-SNAPSHOT\bin\hadoop.cmd", для удобства на рабочем столе HDInsight имеется ярлык) и прописать этот путь в переменную окружения %path%:

set PATH=%PATH%;C:\apps\java\bin

Скрипт 6

Перейдем в директорию d:\Temp и скомпилируем явовский файл в файлы класса байт-кода. Свитч -encoding потребовался, поскольку я сохранил MapReduceTest.java в юникодовской кодировке.

javac -encoding UNICODE -classpath C:\apps\dist\hadoop-1.1.0-SNAPSHOT\hadoop-core-*.jar d:\Temp\MapReduceTest.java

Скрипт 7

В d:\Temp образовался файл MapReduceTest.class и файлы MapReduceTest$Map.class и MapReduceTest$Reduce.class, соответствующие аложенным классам. Построим сборку:

jar -cvf MapReduceTest.jar *.class

Скрипт 8

Рис.1 

По текущему пути d:\Tempобразовался явовский архив MapReduceTest.jar.

 hadoop jar MapReduceTest.jar MapReduceTest Sample1/input/Sample.log Sample1/output

 Скрипт 9

Рис.2 

Здесь Sample1/input/Sample.log - подлежащий обработке файл журнала, загруженный из локальной директории d:\Temp в директорию HDFS /Sample1/Input - см. Рис.5 предыдущей статьи. В прошлый раз я забыл заострить внимание, что перед загрузкой необходимо в явном виде создать входную директорию HDFS (hadoopfs -mkdirSample1/input/) и только после этого класть в нее файл (hadoop fs -put d:\Temp\Sample.log Sample1/input/). Если попытаться загрузить файл без предварительного создания директории, она создается, но файл в нее не загружается, в чем можно убедиться hadoop fs -ls Sample1/input/.

Тем временем задание успешно отработало. В выходной директории HDFSSample1/output образовался файл с результатами, содержащий число появлений каждого признака в журнале, как заказывали: 

hadoop fs -cat Sample1/output/part-00000

Скрипт 10 

Рис.3

Алексей Шуленин

В предыдущих статьях по миграции в «облачный» SQL Server мы рассмотрели различные возможности передачи резервной копии базы в Облако. На всякий случай следует сразу напомнить, что речь идет о IaaS-подходе, т.е. развертывании SQL Server на виртуальной машине Windows Azure. Альтернативный PaaS-подход принципиально отличен, т.к. Windows Azure SQL Database (SQL Azure) не поддерживает функциональности в виде штатных команд T-SQL backup/restore. Также нет возможности отсоединять и присоединять файлы БД (detach/attach). Там следует применять другие методы, такие, как DAC, BCP, SSIS, SQL Azure Sync и т.д. В данной статье мы продолжаем обзор способов, относящихся к IaaS, и, коль скоро в нем нет проблемы сделать/поднять бэкап, основной рабочий момент состоит в том, чтобы оптимально передать резервную копию базы в Облако и обратно. В этом плане он ничем не отличается от загрузки или скачивания любого блоба в/из Azure Storage. Нами были рассмотрены использование Blob Service REST API (http://msdn.microsoft.com/en-us/library/dd135733.aspx), который является очень простым по своей идее, но достаточно кропотливым в реализации, поскольку требует аккуратно сформировать тело PUT-запроса. Упростить процесс позволяет обертка, предоставляемая Azure SDK (http://msdn.microsoft.com/en-us/library/dd179380.aspx), который имеет в своем составе готовые классы, инкапсулирующие подготовительную работу, которую требуется выполнять вручную в случае использования «сырого» REST API. Наконец, мы рассмотрели процесс передачи резервной копии на отдельном vhd-диске, который присоединяется к облачной виртуалке. С выходом Cumulative Update 2 к SQL Server 2012 SP1 этот процесс еще более упростился, т.к. теперь стало возможным создавать резервные копии базы непосредственно в Azure Storage с помощью штатных команд T-SQL и, соответственно, восстанавливаться с них. Вся не относящаяся к функциональности SQL Server служебная работа по передаче резервной копии в Облако встроена внутрь T-SQLных команд. От нас потребуется только иметь учетную запись хранения (Windows Azure Storage Account), которая будет использоваться для промежуточного хранения резервной копии. Процесс создания storage account мы разбирали в статье, посвященной Blob Service REST API (https://blogs.technet.com/b/isv_team/archive/2012/10/25/3528566.aspx) и сейчас не будем на этом подробно останавливаться. Напомню на всякий случай, что создавать его имеет смысл в том же датацентре, где находится виртуальная машина с SQL Server, на которой предполагается восстановливать резервную копию, чтобы сэкономить на трафике между датацентрами. Например, в моем случае виртуальная машина lvmtest4 с экземпляром SQL Server по умолчанию, расположена в локации North Europe. Там же будет создана учетная запись сториджа tststorage для передачи бэкапа базы. Более подробно процесс создания описан в документации к Windows Azure (http://msdn.microsoft.com/en-us/library/windowsazure/gg433066.aspx). Внутри эккаунта мы создадим контейнер container1 (заглавные буквы в названии контейнера не поддерживаются). В целях безопасности контейнер будет создан как private, что означает, что для доступа к его содержимому потребуется указывать Access Key (первичный или вторичный), посмотреть которые можно в свойствах Storage Account.

Из пререквизитов нам еще понадобится установленный на локальном SQL Server 2012 CU2 к SP1. Как водится, кумулятивные апдейты будут, скорее всего, включены в следующий сервис-пак, но на момент написания данной статьи требуется на SQL Server 2012 установить Service Pack 1 (если он еще не установлен) (https://www.microsoft.com/en-us/download/details.aspx?id=35575), а затем кумулятивный апдейт 2 к этому сервис-паку (https://support.microsoft.com/kb/2790947). Когда мы проходили этот вопрос на Windows Azure Summit, слушатели обратили внимание на фразу This service pack contains SQL Server 2012 Cumulative Update 1 (CU1) and Cumulative Update 2 (CU2), поэтому, наверно, лучше лишний раз уточнить. В ней речь идет про кумулятивные апдейты к “голому” SQL Server 2012. Нам нужен CU2 к SP1. По ссылке открывается форма, в форме отмечаем, какой именно файл нужен (я отметил все три) и указываем e-mail, на который буквально сразу приходит письмо от hotfix@microsoft.com, содержащее ссылки, откуда что брать. Для наших целей достаточно поставить SQLServer2012_SP1_CU2_2790947_11_0_3339_x64, чтобы select @@version была не ниже Microsoft SQL Server 2012 (SP1) - 11.0.3339.0 (X64), Jan 14 2013 19:02:10, Build 9200.

Чтобы локальный SQL Server смог доступиться до облачного сториджа, на нем предварительно нужно создать удостоверение (credential), в котором будут указаны название учетной записи сториджа и один из его ключей доступа (первичный или вторичный, без разницы).    

if exists (select 1 from sys.credentials where name = 'SqlToAzureStorage' and credential_identity = 'tststorage') drop credential SqlToAzureStorage

CREATE CREDENTIAL SqlToAzureStorage

WITH IDENTITY= 'tststorage' --storage account

, SECRET = 'oY1AUn6/5/IWz8dfQJzidOVY8HRUKOz1k5MsSnV86xV46fEtQCAigC3Fd8Lgkn2fv6SotsRpZm6w2tRaQVAovw=='

Скрипт 1

Ключи доступа можно найти в управлении учетной записью сториджа в Windows Azure Management Portal, если в верхнем меню выбрать пункт Configure, а в нижнем - Manage Keys.

Рис.1

Рис.2

Собственно, все. Создаем резевную копию любимой базы AdventureWorks в облачный сторидж.

BACKUP DATABASE AdventureWorks2012

TO URL = 'https://tststorage.blob.core.windows.net/container1/AdventureWorks2012.bak'

WITH CREDENTIAL = 'SqlToAzureStorage', INIT, STATS = 10

Скрипт 2

Здесь все понятно. Строка URL формируется по принципу <имя учетной записи Azure Storage>. blob.core.windows.net/<название контейнера>/<как будет называться файл бэкапа, созданный в этом контейнере>'. Ее можно посмотреть в Windows Azure Management Portal в свойствах контейнера:

Рис.3

Если CU2 к SP1 не установлен, при выполнении этой команды происходит ошибка Msg 155, Level 15, State 1, Line 2. 'URL' is not a recognized Device Type option. Но мы его установили, поэтому все выполняется успешно.

Рис.4

Если теперь зайти в контейнер container1 на Рис.3, мы увидим, что там создался бэкап AdventureWorks2012.bak.

Комментарии:

·        Максимальный размер резервной копии не должен превышать 1 ТБ, что связано с ограничениями Azure Blob Storage.

·        Поддерживается создание не только полной резервной копии базы, но и резервных копий журнала транзакций, файловых групп, дифференциальное резервное копирование, а также сжатие бэкапов.

·        Если файл с таким именем уже существует в контейнере, произойдет ошибка. Чтобы его переписать, используйте опцию FORMAT.

·        Из интерфейса SSMS создание резервной копии базы в Azure Blob Storage пока не поддерживается.

Теперь заходим на облачную виртуалку с установленным на ней SQL Server, создаем удостоверение (Скрипт 1) и совершенно симметрично восстанавливаем на ней базу из свежесозданного облачного бэкапа. Понятно, что на том SQL Server также должен стоять SP1 CU2.

RESTORE DATABASE AdventureWorks2012

FROM URL = 'https://tststorage.blob.core.windows.net/container1/AdventureWorks2012.bak'

WITH CREDENTIAL = 'SqlToAzureStorage', REPLACE, STATS = 10

Скрипт 3

Рис.5

Аналогично можно делать в обратном направлении: создавать резервную копию в Облаке и поднимать ее на on-premise SQL Server, а также передавать базу между облачными или on-premise машинами.

Алексей Шуленин

Уважаемые партнеры!

Приглашаем Вас принять участие в hands-on тренинге, который поможет Вам добиться наилучшей совместимости ваших приложений с Microsoft SQL Server 2012.

Материалы этого двухдневного практического семинара помогут Вам научиться определять функциональные параметры и производительность Вашего приложения на используемой версии SQL Server (2005/2008/R2), а затем сравнивать эти же показатели приложения на SQL Server 2012. Опытные эксперты расскажут обо всех важных элементах обновления до SQL Server 2012 и о тестировании совместимости приложений.

Возьмите с собой ноутбук, и Вы сможете попробовать выполнить эти действия с существующими приложениями в лабораторной среде, где эксперт сможет помочь Вам в любой момент.

Мероприятие пройдет 14-15 февраля по адресу: Москва, ул. Крылатская, д. 17, корп. 1, Бизнес-Парк «Крылатские холмы», переговорная Calypso. Тренинг проводится на английском языке. Участие бесплатное.

Программа тренинга.

День 1

9:30 Регистрация

10:00 Приветствие и организационные вопросы

10:15 Презентация: Обзор практического семинара по совместимости приложений

10:45 Планирование обновления

12:00 Перерыв

12:15 Лабораторное занятие: Как связать и скопировать файлы воспроизведения на виртуальную машину клиента

12:30 Лабораторное занятие: Подготовка базового экземпляра SQL Server – имя экземпляра, уровень обновления, параметры сортировки

13:30 Обед

14:00 Презентация: Предложение по повышению ценности технологии

15:00 Презентация: Анатомия обновления

15:50 Лабораторное занятие: Установка механизма воспроизведения и восстановление базы данных до базового экземпляра

16:30 Перерыв

16:45 Презентация: Помощник по обновлению

17:15 Лабораторное занятие: Помощник по обновлению

17:45 Подведение промежуточных итогов, контрольная точка – конец дня 1

18:00 Окончание дня 1

День 2

9:30 Открытие дня 2

10:00 Обзор итогов предыдущего дня

10:15 Презентация: Тестирование совместимости приложений

10:45 Лабораторное занятие: Базовые испытания – воспроизведение событий в SQL Server 2005/2008/2008 R2

11:45 Лабораторное занятие: Обновление баз данных – на месте или параллельно

12:15 Перерыв

12:30 Лабораторное занятие: Тестирование совместимости приложений – воспроизведение в SQL Server 2012

13:30 Обед

14:00 Лабораторное занятие: Тестирование совместимости приложений – воспроизведение в SQL Server 2012 (продолжение)

15:00 Лабораторное занятие: Тестирование совместимости приложений – воспроизведение в SQL Server 2012 – уровень совместимости 11

16:00 Перерыв

16:45 Лабораторное занятие: Тестирование совместимости приложений – воспроизведение в SQL Server 2012 – уровень совместимости 11 (продолжение)

17:45 Подведение итогов семинара, обзор результатов, обратная связь, дальнейшие действия

18:00 Лабораторное занятие: Удаление ваших данных

18:00 Окончание дня 2

ВНИМАНИЕ: требуется предварительная подготовка! Подробная информация будет предоставлена в электронном письме, подтверждающем регистрацию.

HDInsightServicesforWindowsAzure - это сервис, позволяющий работать с кластером ApacheHadoop в Облаке, предоставляющий программную среду для операций управления, анализа и отчетности по Большим Данным. Я не буду подробно останавливаться на возможностях  Hadoop. Он был впервые представлен в 2005 г. в составе проекта ApacheSoftwareFoundation и представляет собой программную платформу распределенной обработки значительных объемов данных. Скажем, петабайтный размер не является для нее препятствием. Платформа Hadoop основана на распределенной файловой системе HDFS (Hadoop Distributed File System), реализованной на кластере Hadoop. В состав кластера входят узлы, хранящие фрагменты файлов (DataNode). Теоретически могут быть сотни и тысячи таких узлов, основанных на недорогих вычислительных платформах (commodityhardware) . Для обеспечения высокой надежности поддерживается избыточность путем создания копий фрагментов между узлами. Знаниями о том, на каком узле данных какая реплика лежит, обладает NameNode. Со стороны клиента это выглядит, как обычная древовидная файловая система. Сам NameNode не выполняет основные операции ввода-вывода. Он лишь снабжает клиента метаданными о местоположении первичной реплики фрагмента. Репликация фрагментов осуществляется автоматически. В случае выхода из строя первичной реплики фрагмента одна из его вторичных реплик назначается первичной и на дополнительном узле также автоматически создается еще одна копия. Масштабируемость на значительные объемы данных достигается за счет параллельной обработки фрагментов. Исторически в разработке GoogleLabs проект Hadoop был ориентирован на задачи поиска и классификации Интернет-контента. Например, функция Map получает на вход набор данных и преобразует его в список пар ключ/значение. Функция Reduce выполняет обратную операцию, сворачивая список путем группировки его по ключам. В целях распараллеливания может быть создано множество экземпляров таких функций, каждый обрабатывающий свой фрагмент. Узлы, на которых хранятся входные фрагменты файлов и запускаются обрабатывающие их экземпляры MapReduce, носят название TaskTracker, а координирующий экземпляры узел – JobTracker. Количество экземпляров определяется количеством и местоположением фрагментов. Помимо поисковых, под данный шаблон попадает множество иных типов задач обработки данных. Существуют построенные поверх HDFS и MapReduce проекты Pig, Hive, Mahout, Pegasus и др., предоставляющие более высокий уровень абстракции и позволяющие решать задачи управления потоками данных, запросные, аналитические задачи, а также задачи отыскания скрытых закономерностей (datamining), характерные для хранилищ (datawarehouses), которые традиционно строятся на серверах управления базами данных, реляционной модели и того или иного диалекта языка запросов SQL. Взаимодействие не менее традиционно осуществляется при помощи ODBC-драйверов.

Hа конференции Pass Summit 2011 в Сиэтле было объявлено о выпуске Hadoop Connector для MicrosoftSQLServer, облегчающего обмен данными между двумя системами. Кроме того, в партнерстве с компанией HortonWorks в настоящее время предоставляется предварительная ознакомительная версия Windows Azure HDInsight Service и Microsoft HDInsight Server for Windows, 100%-совместимая с открытыми стандартами ApacheHadoop. Скачать HDInsightServer под Windows можно здесь. Чтобы попробовать HDInsight Service в Облаке, нужно зарегистрироваться на тестирование здесь.

В качестве пререквизитов необходимо иметь облачную учетную запись Microsoft. Эккаунты в рамках программ MSDN, BizSpark, DreamSpark работают. В рамках предварительной версии доступно создать кластер Hadoop из 3-х узлов с общим объемом дискового пространства 1.5 ТБ. Кластер будет жить 5 суток с момента создания. После этого вся конфигурация и содержимое будут потеряны, придется создавать заново. Из начальных данных требуется указать DNS-имя (оно, понятно, должно быть уникальным) и административный логин/пароль. Использование WindowsAzureSQLDatabase для хранения метаданных нам на первых порах не понадобится, но на всякий случай обратите внимание, что такая возможность есть и база (в том случае, если вы захотите ей воспользоваться) должна быть создана заранее. Жмем на кнопку RequestCluster в правой нижней части экрана:

Рис.1

Проходит несколько минут, и ClusterStatus = Deploying изменяется на Running, после чего его можно использовать.

Рис.2

ЖмемнассылкуGo to Cluster. Из Web-интерфейса можно перейти в интерактивная консоль выполнения JavaScript и Hive-команд, сессию удаленного доступа, сконфигурировать порты для взаимодействия по ODBC, создать задание, посмотреть историю выполнения заданий, ознакомиться с типовыми примерами использования Hadoop. По кнопке Downloads в настоящее время имеется возможность установить на локальную машину x86 или х64 HiveODBC-драйверы. Кнопка ManageCluster позволяет контролировать размер использованного дискового пространства, а также задать папки в WindowsAzureBLOBService, которые можно рассматривать как сторидж (Azure Storage Vault), альтернативный дисковому пространству кластера для нативных процессов Hadoop. Например, в качестве входного и выходного местоположения для MapReduce. Если что-то фатально напортачили, кластер можно пересоздать, зайдя на https://www.hadooponazure.com/ и нажав кнопку ReleaseCluster.