最新のデータ ウェアハウス アーキテクチャを定義する
データの価値を最大限に高めるために、顧客の現在の使用パターンを検討する際に、最新のデータ ウェアハウスを使用すると、大規模なデータすべてを簡単に、一元的に扱えるため、分析ダッシュボードや運用レポート、ユーザーについての高度な分析を通じて分析情報を得ることができます。
最新のデータ ウェアハウスを構築するプロセスには、通常、次のような処理が含まれます。
- データを取り込んで準備する。
- 分析ツールで使用できるようにデータを準備する。
- データ視覚化ツールで簡単に使用できるように整形された形式で、データへのアクセスを提供する。
Azure Synapse Analytics がリリースされる前は、これは次のような方法で実現していました。
データの取り込みと準備
お客様は、基盤として、すべてのデータとさまざまなデータ型を格納するデータ レイクを構築するために Azure Data Lake Store Gen2 を使用します。
データの取り込みは、Azure Data Factory に付属の 100 を超えるデータ統合コネクタを使用してコードなしで実行できます。 Data Factory を利用すると、準備や変換を含め、コードなしの ETL または ELT を実行できます。
また、多くのお客様は現在、SQL Server Integration Services パッケージ (SSIS) に多額の投資を行っていますが、これらのパッケージは書き直す必要なしに Azure Data Factory で活用できます。
データがオンプレミスのデータ ソース、他の Azure サービス、その他のクラウド サービスのいずれであっても、使いやすいビジュアル環境でビッグ データのパイプラインをシームレスに作成、監視、管理できます。
データ準備のためのもう 1 つのオプションとして、ノートブックを使用してデータ形式を整形して準備する Azure Databricks があります。これにより、データに対する社内コラボレーションが合理化され、効率が上がります。
分析ツールで使用できるようにデータを準備する。
最新のデータ ウェアハウスの中核となるクラウド スケールの分析ソリューションは、Azure Synapse Analytics です。 これにより、エンタープライズ データ ウェアハウジングとビッグ データ分析をまとめる超並列処理エンジンを活用する専用 SQL プールを使用してデータ ウェアハウスが実装されます。
データ視覚化ツールで簡単に使用できるように整形された形式で、データを利用できるようにする。
Power BI を使用すると、顧客は大量のデータを視覚化し、組織全体のすべてのユーザーがデータ分析情報を利用できるようにすることが可能です。 Power BI では、データ ソースの膨大なセットがサポートされており、それらをライブで照会したり、詳細な分析や視覚化のためのモデル化や取り込みに使用したりすることができます。 AI 機能と併用することで、豊富な視覚化機能や自然言語クエリのような機能を通じて、企業内でダッシュボードを構築してデプロイするための強力なツールになります。
Azure Synapse Analytics を使用して最新のデータ ウェアハウス アーキテクチャを定義する
Azure Synapse Analytics のリリースにより、選択肢が生まれました。 Azure Synapse を排他的に使用することもできます。この方法は、完全に新規のプロジェクトに適しています。 しかし、Azure Data Factory、Azure Databricks、および Power BI で既に Azure に投資している組織では、ハイブリッド アプローチを使用して、それらを Azure Synapse Analytics と組み合わせることができます。
最新のデータ ウェアハウス アーキテクチャのさまざまな段階を実装するために、さまざまなツールや手法を使用できます。 このモジュールでは、Azure Synapse Analytics のコンポーネントに焦点を当てた例を示します。 上の図に示されているように、他のテクノロジやサービスを使用することもできますが、データの取り込み、クリーンアップ、変換、および提供を行うために、さまざまな言語も使用できることを理解しておくことも重要です。 これらの言語として、SQL、Python、Scala などがあります。 これらはすべて、Azure Synapse Analytics 内で使用できます。