DataOps アーキテクチャの設計
DataOps はデータ分析へのライフサイクル アプローチです。 アジャイル プラクティスを使って、ツール、コード、インフラストラクチャを調整し、セキュリティを強化した高品質なデータを迅速に提供することができます。 DataOps プロセスを実装し、合理化することで、簡単かつコスト効率よく、ビジネスの分析情報を提供できます。 DataOps により、分析情報と新しい営業案件が明らかになる高度なデータ手法を採用できます。
DataOps プロセスを実装するためのツールと機能は多数あります。次に例を示します。
- Apache NiFi。 Apache NiFi は、データを処理および配布するためのシステムを提供します。
- Azure Data Factory。 Azure Data Factory は、クラウドベースの ETL (抽出、変換、読み込み) およびデータ統合サービスです。 これにより、データ駆動型ワークフローを作成して、データ移動を調整し、データを大規模に変換できます。
- Azure Databricks。 Azure Databricks を使用して、あらゆるデータから分析情報を引き出し、AI ソリューションを構築します。 また、Apache Spark 環境をすばやくセットアップし、自動スケーリングし、共有プロジェクトで共同作業を行うこともできます。
- Azure Data Lake。 単一のデータ ストレージ プラットフォームを使用してコストを最適化し、保存時の暗号化と高度な脅威保護によってデータを保護します。
- Azure Synapse Analytics。 データ統合、エンタープライズ データ ウェアハウス、ビッグ データ分析を統合する無制限の分析サービス。
- Microsoft Purview。 Microsoft Purview は、オンプレミスのマルチクラウド SaaS (サービスとしてのソフトウェア) データの管理とガバナンスに役立つ統合データ ガバナンス ソリューションです。
- Power BI。 多数のソースのデータを統合し、アクションにつながる分析情報を示して業績を押し上げる、対話型かつ没入型のダッシュボードとレポートを作成します。
Apache®、Apache Spark®、Apache NiFi®、および NiFi® は、Apache Software Foundation の米国およびその他の国における登録商標です。 これらのマークを使用することが、Apache Software Foundation による保証を意味するものではありません。
Azure での DataOps の概要
DataOps について詳しくない場合は、Microsoft Learn から開始することをお勧めします。 この無料のオンライン プラットフォームでは、さまざまな製品やサービスのビデオ、チュートリアル、実践的な学習が提供されています。
次のリソースは、DataOps のコア サービスについて学習するのに役立ちます。
- データを Azure Data Factory または Azure Synapse Pipeline と統合する
- Azure Databricks を使用した Data Engineering
- Azure Synapse Analytics の概要
- Azure Synapse Analytics でデータ ウェアハウス ストレージを分析および最適化する
- Azure Databricks でデータの読み取りと書き込みを行う
- Azure Databricks を Azure Synapse と統合する
- SAP と他のデータを組み合わせて分析情報を実行に移す
- Power BI を使用してデータ視覚化を確認する
運用へのパス
DataOps の運用を開始するには、次のリソースを検討してください。
- 「Azure でのデータ分析とレポート テクノロジの選択」を使用して、適切なデータ ソリューションを選択するためのヘルプを入手します。
- 「大規模データ用のスケーラブルなシステムを構築する」を使用して、データ ストレージ システムの構築を開始します。
ベスト プラクティス
使用する DataOps テクノロジに応じて、次のベスト プラクティスのリソースを参照してください。
- NiFi システム管理者ガイド
- Microsoft Purview アカウントのアーキテクチャとベスト プラクティス
- Azure Data Factory における継続的インテグレーションとデリバリー
- Git 統合のためのリポジトリ
- Power BI Premium 容量の展開と管理
- Azure Synapse Analytics ワークスペースの継続的インテグレーションとデリバリー
ワークロードの品質向上に使用できる一連の基本原則である Azure Well-Architected Framework の要素について説明します。 詳細については、「Microsoft Azure Well-Architected Framework」を参照してください。
具体的な実装
シナリオ固有のアーキテクチャについては、次の領域のソリューションを参照してください。
最新のデータ ウェアハウス
Microsoft Azure で最新のデータ ウェアハウス (MDW) アーキテクチャ パターンに従ってビルドされたデータ パイプラインに、DevOps の原則を適用します。
メインフレームの最新化
IBM のメインフレームとミッドレンジのデータを最新化し、データ優先のアプローチを使用してこのデータを Azure に移行します。
Power BI からの直接のデータ変更
Power BI レポートのデータの書き戻し機能を提供します。 Power BI のデータを更新し、変更内容をデータ ソースにプッシュ バックできます。
DataOps を最新の状態に保つ
「Azure の更新情報」を参照して、DataOps に関連した Azure テクノロジを最新の状態に維持してください。
その他のリソース
DataOps では、多くのツールと手法を使用してデータを配信します。 次のリソースを使用すると、DataOps 体験に関するヘルプを入手できます。
サンプル ソリューション
アマゾン ウェブ サービス (AWS) または Google Cloud のプロフェッショナル
これらの記事では、Azure と他のクラウド サービスのサービス マッピングを提供し、比較します。 このリファレンスは、Azure の準備の迅速化に役立ちます。