Azure でのメインフレーム ファイル レプリケーションと同期
ソリューションのアイデア
この記事ではソリューションのアイデアについて説明します。 クラウド アーキテクトはこのガイダンスを使用すると、このアーキテクチャの一般的な実装の主要コンポーネントを視覚化しやすくなります。 ワークロードの特定の要件に適合する、適切に設計されたソリューションを設計するための出発点として、この記事を使用してください。
オンプレミスのメインフレームまたはミッドレンジ アプリケーションを Azure に移行する場合、データ転送が重要な考慮事項です。 いくつかの最新化シナリオでは、ファイルを Azure に迅速にレプリケートするか、オンプレミスのファイルと Azure ファイル間の同期を維持する必要があります。
この記事では、Azure へのファイルの転送、ファイル データの変換と変換、オンプレミスと Azure へのデータの格納を行ういくつかの方法について説明します。
アーキテクチャ
このアーキテクチャの Visio ファイルをダウンロードします。
データフロー
次のデータフローは、前の図に対応しています。
Azure にファイルを移動する:
オンプレミスのファイルを Azure に転送する最も簡単な方法は、 ファイル転送プロトコル (FTP) を使用することです。 Azure 仮想マシン (VM) で FTP サーバーをホストできます。 単純な FTP ジョブ制御言語 (JCL) により、ファイルがバイナリ形式で Azure に送信されます。これは、メインフレームとミッドレンジの計算およびバイナリ データ型を維持するために不可欠です。 送信されたファイルは、オンプレミスのディスク、Azure VM ファイル ストレージ、または Azure Blob Storage に格納できます。
AzCopy などのツールを使用して、オンプレミスのファイルを Blob Storage にアップロードすることもできます。
Azure Data Factory FTP または Secure File Transfer Protocol (SFTP) コネクタを使用して、メインフレーム システムから Blob Storage にデータを転送できます。 この方法では、セルフホステッド統合ランタイムがインストールされている中間 VM が必要です。
また、メインフレームから Azure にファイルを転送する Microsoft 以外のツールを Azure Marketplace で見つけることもできます。
次のようにしてデータの調整、変換、変更を行います。
Azure では、Azure VM ディスクまたは Blob Storage で IBM の拡張 2 進化 10 進交換コード (EBCDIC) コード ページ ファイルを読み取ることができません。 これらのファイルを Azure と互換させるため、Host Integration Server (HIS) が、これらのファイルを EBCDIC から 情報交換用米国標準コード (ASCII) 形式に変換します。
コピーブックに、COBOL、PL/I、アセンブリ言語ファイルのデータ構造が定義されています。 HIS により、これらのファイルは、コピーブック レイアウトに基づいて ASCII に変換されます。
メインフレーム ファイルのデータ変換は、IBM ホスト ファイル用の Azure Logic Apps コネクタを使用して実現できます。
Azure データ ストアにデータを転送する前に、データを変換するか、分析に使用することが必要になる場合があります。 Azure Data Factory では、これらの抽出-変換-読み込み (ETL) および抽出-読み込み変換 (ELT) アクティビティを管理し、データを Azure Data Lake Storage に直接格納できます。
ビッグ データ統合の場合、Azure Databricks と Azure Synapse Analytics では、メモリ内計算に Apache Spark エンジンを使用することで、すべての変換アクティビティを迅速かつ効果的に実行できます。
次のようにしてデータを保管します。
移動したデータは、要件に応じて、いくつかの使用可能な永続 Azure ストレージ モードの 1 つに格納できます。
分析が必要ない場合、Azure Data Factory では、Data Lake Storage や Blob Storage など、さまざまなストレージ オプションにデータを直接格納できます。
Azure は、さまざまな ニーズに対応するさまざまなデータベースをホストします。
リレーショナル データベースには、SQL Server ファミリと PostgreSQL や MySQL などのオープンソース データベースが含まれます。
非リレーショナル データベースには、高速でマルチモデルのグローバル分散 NoSQL データベースである Azure Cosmos DB が含まれます。
分析とビジネス インテリジェンスを確認します。 Microsoft Fabric は、組織がデータ移動の調査、データ サイエンスの実験、リアルタイム分析とビジネス インテリジェンスの評価に使用できるオールインワンの分析ソリューションです。 データ レイク、データ エンジニアリング、データ統合など、包括的な機能スイートを提供します。
コンポーネント
このアーキテクチャでは、次のコンポーネントを使用します。
ネットワーク
このアーキテクチャでは、オンプレミスのメインフレーム データを クラウド サービスに接続するためのブリッジ ソフトウェアとしてオンプレミス データ ゲートウェイを使用します。 このゲートウェイは専用のオンプレミス VM にインストールします。
データの取り込みと変換
このアーキテクチャでは、組織がメインフレームのソース データとターゲット データベースに基づいて使用できるさまざまな Azure ネイティブ移行ツールの概要を示します。
Data Provider for Host Files は、EBCDIC コード ページ ファイルを ASCII に変換する HIS のコンポーネントです。 プロバイダーは、ローカル バイナリ ファイルでオフラインでレコードの読み取りと書き込みを行うことができます。 または、システム ネットワーク アーキテクチャ (SNA) または伝送制御プロトコル/インターネット プロトコル (TCP/IP) を使用して、リモート IBM z/OS メインフレーム データセットまたは i5/OS 物理ファイルのレコードの読み取りと書き込みを行うことができます。 HIS コネクタは、 BizTalk および Logic Apps で使用できます。
Azure Data Factory は、ETL ワークフローと ELT ワークフローの作成、スケジュール設定、調整に使用できるハイブリッド データ統合サービスです。 このアーキテクチャでは、Azure Data Factory を使用して、FTP 経由でメインフレーム ファイルを Blob Storage に送信します。
Azure Databricks は、Azure に最適化された Apache Spark ベースの分析プラットフォームです。 Azure Databricks を使用して受信データを関連付け、Azure Databricks に格納されている他のデータと強化することができます。
Azure Synapse Analytics は、データのスケーリング、計算、格納に使用できる超並列処理アーキテクチャを備えた、高速で柔軟なクラウド データ ウェアハウスです。 これは、Azure データベースに読み込む前にメインフレーム データ変換に使用できます。
Logic Apps はクラウドベースのサービスであり、ワークフローを自動化し、さまざまな環境でアプリケーション、データ、サービスを統合するために使用できます。 メインフレーム システムと対話してホスト ファイルの内容を読み取り、解析し、生成するネイティブ IBM ホスト ファイル コネクタを提供します。
データベース
このアーキテクチャでは、メインフレーム ファイル データを Azure のクラウド ストレージとマネージド データベースに移行するプロセスの概要を説明します。 これには、Azure のターゲット スキーマと一致するようにメインフレーム ファイルメタデータを変換することが含まれます。
Azure SQL Database は、スケーラブルなリレーショナル クラウド データベース サービスです。 SQL Database は常に常に最新 up-toであり、パフォーマンスと持続性を最適化する AI を利用した自動化された機能を備えています。 サーバーレス コンピューティングとハイパースケール ストレージ オプションにより、リソースが必要に応じて自動的にスケーリングされます。 Azure ハイブリッド特典を使用すると、既存のオンプレミスの SQL Server ライセンスを追加料金なしにクラウドで使用できます。
Azure SQL Managed Instance は 、最も広範な SQL Server データベース エンジンの互換性と、サービスとしてのフル マネージドの常緑プラットフォームのすべての利点を組み合わせたものです。 SQL Managed Instance を使用すると、使い慣れたツール、スキル、リソースを使用して既存のアプリを大規模に最新化できます。
Azure Virtual Machines 上の SQL Server では、SQL Server ワークロードをリフト アンド シフトでクラウドに移行して、Azure の柔軟性とハイブリッド接続を SQL Server のパフォーマンス、セキュリティ、および分析と組み合わせることができます。 SQL Server の最新の更新プログラムとリリースには、コードの完全な互換性を使用してアクセスできます。
Azure Database for PostgreSQL: オープンソースの PostgreSQL データベース エンジンの Community Edition に基づくフル マネージド リレーショナル データベース サービスです
Azure Database for MySQL: オープンソースの MySQL データベース エンジンの Community Edition に基づくフル マネージド リレーショナル データベース サービスです
Azure Cosmos DB は、スケーラブルでハイ パフォーマンスのアプリケーションを構築および最新化するためのフル マネージドのマルチモデル NoSQL データベース サービスです。 Azure Cosmos DB は、地理的リージョン間でスループットとストレージを柔軟かつ独立してスケーリングし、世界のどこでも 1 桁ミリ秒の応答時間と 99 パーセンタイルの可用性を保証します。
その他のデータ ストア
Blob Storage は、テキストやバイナリ データなど、大量の非構造化データを格納するクラウドベースのオブジェクト ストレージ ソリューションです。 このデータには、HTTP または HTTPS を介してどこからでもアクセスできます。 Blob Storage を使用すると、データを一般に公開することも、アプリケーション データを公開せずに格納することもできます。
Data Lake Storage は、大量のデータを未加工のネイティブ形式で保持するストレージ リポジトリです。 Data Lake Storage は、テラバイト単位およびペタバイト単位のデータを含むビッグ データ分析ワークロードにおけるスケーリングを提供します。 通常、データは複数の異種ソースから取得され、構造化、半構造化、または非構造化にすることができます。
シナリオの詳細
メインフレーム システムから Azure クラウド ストレージおよびデータベースにデータを移行するには、メインフレーム ファイルを EBCDIC でエンコードされた形式から ASCII 形式に変換する必要があります。 メインフレーム アプリケーションは、毎日大量のデータを生成して処理します。 このデータは、他のプラットフォームで使用するために正確に変換する必要があります。
組織がメインフレーム のファイル システム データを移行するときは、ファイル メタデータをクラウドネイティブのスケマティックに変換する必要があります。 また、効果的なファイル変換手法を含む移行戦略を開発します。
考えられるユース ケース
オンプレミスのファイルのレプリケーションと同期は、さまざまなユース ケースで不可欠です。
メインフレームで実行されるアプリケーションや Azure で実行されるアプリケーションがファイルを介してデータを交換する必要がある場合など、ダウンストリームまたはアップストリームの依存関係
オンプレミス アプリケーションを使用した Azure での再ホストまたは再設計されたアプリケーションの並列テスト
すぐに修復または最新化できないシステム上の密結合されたオンプレミス アプリケーション
共同作成者
Microsoft では、この記事を保持しています。 次の共同作成者がこの記事を書きました。
プリンシパルの作成者:
- Nithish Aruldoss | エンジニアリング アーキテクト
- Ashish Khandelwal | プリンシパル エンジニアリング アーキテクチャ マネージャー
公開されていない LinkedIn プロフィールを見るには、LinkedIn にサインインしてください。
次のステップ
- 詳細については、 Microsoft SQL データ エンジニアリング チームにお問い合わせください。
- Azure データベースの移行ガイド