Microsoft Fabric の新機能

  • [アーティクル]

このページは、Microsoft Fabric に最近加えられた新機能を紹介するページであり、随時更新されています。

Microsoft Fabric の利用開始に役立つ情報

このセクションは、Microsoft Fabric を初めて使用するユーザー向けの記事やお知らせの紹介です。

Month 機能 詳細情報
2024 年 3 月 Microsoft Fabric が HIPAA 準拠になりました 企業向けのオールインワン分析ソリューションである Microsoft Fabric が、HIPAA と ISO 27017、ISO 27018、ISO 27001、ISO 27701 の新しい認定 を取得したことをお知らせします。
2024 年 3 月 試験 DP-600 が利用可能になりました 試験 DP-600 が利用可能になり、Microsoft 認定: Fabric Analytics Engineer Associate 認定 になりました。 Fabric Career Hub は、すばやく学習し、認定を受けるのに役立ちます。
2024 年 3 月 Fabric Copilot の価格: エンドツーエンドの例 既存の Power BI Premium または Fabric Capacity の一部として Fabric 用 Copilot は、 2024 年 3 月 1 日に請求が開始されます。 Fabric Copilot の使用状況の計算方法について説明します。
2024 年 1 月 Data Science 用および Data Engineering 用の Microsoft Fabric Copilot Data Science 用および Data Engineering 用の Copilot が世界中で利用できるようになりました。 Data Science 用および Data Engineering 用の Copilot でできることは？
2023 年 12 月 Fabric プラットフォームのセキュリティの基礎 システム内のメインセキュリティ フローの仕組みを説明することで、Microsoft Fabric セキュリティ アーキテクチャの全体像について学ぶことができます。
2023 年 11 月 Microsoft Fabric (既存の Synapse ユーザー向けに説明) 現在のサービスとしてのプラットフォーム (PaaS) バージョンの Synapse を使用するお客様が何を期待できるかに焦点を当てます。 Fabric が一般提供になったことがお客様の現在の投資にどのような意味を持つか (実際には、私たちが完全にサポートします)、さらに、今後をどのように考えるについても説明します。
2023 年 11 月 Microsoft Fabric が一般提供になりました Microsoft Fabric が一般に購入できるようになりました。 Microsoft Fabric は、AI の時代に合わせて構築された AI を利用した単一のプラットフォームに全員を集結させることで、チームがデータを操作する方法を再編成できます。 Power BI、Data Factory、Data Engineering、Data Science、リアルタイム分析、Data Warehouse、Fabric プラットフォーム全体が含まれます。
2023 年 11 月 Fabric のワークロードが一般提供されました。 Microsoft Fabric が一般提供されました。 Microsoft Fabric Synapse Data Warehouse、Data Engineering と Data Science、リアルタイム分析、Data Factory、OneLake、および Fabric プラットフォーム全体が一般提供されました。
2023 年 11 月 Microsoft Fabric でメダリオン Lakehouse アーキテクチャを実装 メダリオン レイク アーキテクチャの紹介と、Microsoft Fabric でLakehouseを実装する方法です。

現在プレビュー段階の機能

次の表に、現在プレビュー段階にある Microsoft Fabric の機能を示します。 プレビュー機能はアルファベット順に記載されています。

Note

現在プレビュー段階の機能は、追加利用規約の下で提供されます。ベータ版、プレビュー版、その他一般提供としてまだリリースされていない Azure 機能に適用される法律条項を参照してください。 Microsoft Fabric では、一般提供 (GA) になる前に機能を評価し、フィードバックを製品グループと共有できるように、プレビューが提供されています。

機能 詳細情報
Fabric Data Pipelines の CI/CD プレビュー Git 統合およびビルトインの展開パイプラインと Data Factory のデータ パイプラインの統合 がプレビュー段階になりました。 詳細については、「Data Factory による Fabric データ パイプラインへの CI/CD の追加」を参照してください。
Code-First AutoML プレビュー Synapse Data Science では、新規 AutoML 機能 を使用して 機械学習ワークフローを自動化 できます。 AutoML または自動機械学習 は、特定のデータとタスクの種類に対して機械学習モデルを自動的にトレーニングおよび最適化できる一連の手法とツールです。
Code-First Hyperparameter Tuning のプレビュー Synapse Data Science では、FLAML はハイパーパラメーターのチューニング用に統合されました。現在はプレビュー機能です。 Fabric のflaml.tune 機能により、このプロセスが合理化され、ハイパーパラメーター調整 にコスト効率が高く効率的なアプローチが提供されます。
Fabric の Copilot (プレビュー) は世界中で利用できます すべての顧客が、Power BI 用 Copilot、データ ファクトリ、Data Science と Data Engineering を含む、Fabric のCopilot (プレビュー) を利用できるようになりました。 詳細については、「Fabric の Copilot に関する概要」を参照してください。
Data Activator のプレビュー Data Activator がプレビューになり、既存のすべての Microsoft Fabric ユーザーに対して有効になったことを嬉しくお知らせします。
Data Engineering: 環境のプレビュー Fabric の環境のプレビュー版を嬉しくお知らせします。 環境は一元化された項目であり、Spark ジョブを 1 か所で実行するために必要なすべての設定を構成できます。
Spark DataFrames 用の Data Wrangler (プレビュー) Data Wrangler でプレビュー段階の Spark DataFrame がサポートされるようになりました。ユーザーは、Data Wranglerを使用して pandas DataFrames に加えて Spark DataFrames を編集できるようになりました。
OneLake の ドメイン (プレビュー) OneLake の ドメイン は、データを論理データ メッシュに整理し、フェデレーション ガバナンスを可能にし、ビジネス ニーズに合わせて最適化するのに役立ちます。 これで、サブ ドメイン、ユーザーのデフォルト ドメイン を作成し、ドメイン 間でワークスペースを移動できるようになりました。 詳細については、「Fabric ドメイン」を参照してください。
Eventhouse の概要: Microsoft Fabric を使用したリアルタイム データの処理 Eventhouse (プレビュー) は、複数の KQL データベースをホストする動的ワークスペースであり、Fabric の Real-Time Analytics の一部です。 Eventhouse は、大量のリアルタイム データを管理および分析するための信頼性の高いソリューションを提供します。 「Eventhouse を作成して管理する」に関するガイドを使用して開始します。
ワークスペースプレビューのフォルダー ワークスペースの組織単位として、フォルダー は、アイテムを整理および管理するための階層構造を提供することで、この問題点に対処します。 詳細については、「ワークスペースでのフォルダー作成 (プレビュー)」を参照してください。
Data Factory プレビューでデータ パイプラインを使用してオンプレミス データを Microsoft Fabric に統合する 現在はプレビュー機能であるオンプレミス データ ゲートウェイを使用し、Data Factory でデータフローとデータ パイプラインを使用してオンプレミス データ ソースに接続できます。 詳細については、「Data Factory for Microsoft Fabric 内でオンプレミスのデータ ソースにアクセスする方法」を参照してください。
Kusto キャッシュの使用 (プレビュー) Kusto キャッシュ従量課金のプレビューとは、KQL データベースと Eventhouse 品目からの OneLake Cache データが格納されたメーターの課金対象の使用量が表示されることを意味します。 詳細については、「KQL データベースの使用量」を参照してください。
git の統合とデプロイ パイプラインに対するLakehouseのサポート (プレビュー) Lakehouseは、Microsoft Fabric のライフサイクル管理機能と統合されました。これにより、製品の寿命を通じてすべての開発チーム メンバー間の標準化されたコラボレーションを提供します。 ライフサイクル管理は、機能とバグ修正を複数の環境に継続的に提供することで、製品の効果的なバージョン管理とリリース プロセスを容易にします。
マネージド プライベート エンドポイント (プレビュー) Microsoft Fabric 用マネージド プライベート エンドポイントは、ファイアウォールの背後にあるデータ ソースまたはパブリック インターネットからアクセスできないデータ ソースに対し、マネージド仮想ネットワークを介してセキュリティ保護接続を実現します。
マネージド仮想ネットワーク (プレビュー) マネージド Virtual Networkは、Microsoft Fabric によって Fabric ワークスペースごとに作成および管理される仮想ネットワークです。
Microsoft 365 コネクタが、Lakehouse (プレビュー) へのデータの取り込みをサポートするようになりました Microsoft 365 コネクタが、Lakehouse テーブルへのデータの取り込みをサポートするようになりました。
Microsoft Fabric の管理 API Fabric の管理 API は、管理タスクを効率化するように設計されています。 Fabric の管理 API の初期セットは、ワークスペース、Fabric 項目、ユーザー アクセスの詳細の検出を簡略化するように調整されています。
Microsoft Fabric のユーザー API Microsoft Fabric のユーザー API のプレビュー版をお知らせします。 Fabric ユーザー API は、企業とパートナーの両方が Microsoft Fabric を使用できるようにするための主要な機能です。これらが、エンド ツー エンドの完全に自動化されたサービスとの対話を可能にし、外部 Web アプリケーションへの Microsoft Fabric の統合を可能にし、一般に顧客とパートナーがソリューションをより簡単にスケーリングできるようにするからです。
Microsoft Fabric でのミラーリング プレビュー Fabric でのミラーリングを使用すると、Microsoft Fabric の OneLake にデータベースを簡単に取り込み、シームレスなゼロ ETL、データに関するほぼリアルタイムの分析情報を実現し、ウェアハウス、BI、AI などのロックを解除できます。 詳細については、「Fabric でのミラーリングとは？」を参照してください。
ノートブック Git 統合 (プレビュー) Fabric ノートブックが、Azure DevOps を使用するソース管理のための Git 統合を提供するようになりました。 これを使用すると、ユーザーが Fabric Git 関数と Azure DevOps を利用して、簡単にノートブック コードのバージョンを制御し、git ブランチを管理できます。
デプロイ パイプライン内のノートブック (プレビュー) 開発、テスト、運用などのさまざまな環境にコードをデプロイするためにノートブックを使用することもできるようになりました。 また、デプロイ ルールを使用して、ノートブックのデフォルトのLakehouseの変更など、デプロイ時のノートブックの動作のカスタマイズも行うこともできます。 デプロイメント パイプラインを開始すると、デプロイメント コンテンツに Notebook が自動的に表示されます。
OneLake データ アクセス ロール Lakehouse の OneLake データ アクセス ロールは、現在、プレビュー段階です。 ロールのアクセス許可とユーザー/グループの割り当てを、新しいフォルダー セキュリティ ユーザー インターフェイスまたは API 呼び出しを使用して、簡単に更新することができます。
OneLake ショートカット API OneLake ショートカット 用の新しい REST API を使用すると、現在プレビュー段階にあるショートカットをプログラムで作成および管理できます。 OneLake ショートカットをプログラムで作成、読み取り、削除できるようになりました。 たとえば、「OneLake ショートカット REST API を使用する」を参照してください。
S3 互換データ ソースへの OneLake ショートカット プレビュー SS3 互換データ ソースへの OneLake ショートカットは、現在プレビュー段階です。 Amazon S3 対応のショートカットを作成し、データをコピーまたは移動することなく、1 つの統一された名前空間を介して既存のデータに接続できます。
Google Cloud Storage への OneLake ショートカット (プレビュー) Google Cloud Storage への OneLake ショートカットは現在プレビュー段階です Google クラウド ストレージのショートカットを作成し、データをコピーまたは移動することなく、1 つの統一された名前空間を介して既存のデータに接続できます。
Fabric プレビューでの構築済み Azure AI サービス Fabric の構築済み AI サービスのプレビューは、Azure Cognitive Services と呼ばれていた Azure AI サービスとの統合です。 構築済みの Azure AI サービス を使用すると、前提条件なしで構築済みの AI モデルを使用してデータを簡単に強化できます。 現在、プレビルドされた AI サービスは プレビュー段階にあり、Microsoft Azure OpenAI Service、Azure AI Language、Azure AI 翻訳のサポートが含まれています。
Private Endpoints for Microsoft Fabric (プレビュー) Managed Private Endpoints for Microsoft Fabric (プレビュー) を使用すると、ファイアウォールの内側にあるデータ ソースまたはパブリック インターネットからアクセスできないデータ ソースへのセキュリティ保護接続が可能になります。 詳細については、「プレビューでの Microsoft Fabric のマネージド プライベート エンドポイントの概要」を参照してください。
Private Link support for Microsoft Fabric (プレビュー) Azure Private Link for Microsoft Fabric では、Microsoft Fabric 内の機密データへのアクセスを、ネットワークの分離を提供して、必要な制御を受信ネットワーク トラフィックに適用することでセキュリティで保護します。 詳細については、「Azure Private Link Support for Microsoft Fabric (プレビュー) を発表」を参照してください。
REST APIs for Fabric Data Factory パイプライン (プレビュー) REST APIs for Fabric Data Factory Pipelinesは、プレビュー段階になりました。 REST APIs for Data Factory pipelines では、Fabric の組み込み機能を拡張して、パイプラインを作成、読み取り、更新、削除、一覧表示することができます。
Splunk アドオン (プレビュー) Splunk 用 Microsoft Fabric アドオンを使用すると、ユーザーが Kusto Python SDK を使用して Splunk プラットフォームから Fabric KQL DB にログを取り込むことができます。
OneLake ショートカットの信頼されたワークスペース アクセス (プレビュー) 信頼されたワークスペース アクセス (プレビュー) により、Fabric の OneLake ショートカットから ADLS Gen2 ストレージ アカウントに安全かつシームレスにアクセスできます。 詳細については、「信頼されたワークスペース アクセス (プレビュー)」を参照してください。
KQL データベース プレビューでレコードを更新する .update コマンド がプレビュー機能として使用できるようになりました。 「Kusto データベースのレコードの更新」方法の詳細について説明します。
ウェアハウスの復元ポイントと復元のインプレース 復元ポイントを作成し、過去の時点へのウェアハウスのインプレース リストアを実行できるようになりました。 インプレース復元は、データ ウェアハウスの復旧 に不可欠な部分です。これにより、復元ポイントが作成された既存のデータ ウェアハウスを置き換えたり、書き換えたりすることで、データ ウェアハウスを以前の安定した状態に復元できます。

一般提供の機能

次の表に、過去 12 か月以内にプレビューから一般提供 (GA) に移行した Microsoft Fabric の機能を示します。

Month 機能 詳細情報
2024 年 4 月 セマンティック リンク GA セマンティック リンク が一般公開されました。 パッケージにはデフォルトの VHD が付属しています。pip をインストールせず、Fabric ですぐにセマンティック リンクを使用できるようになりました。
2024 年 3 月 Dataflow Gen2 の VNet Gateway Fabric のデータフロー Gen2 に対する VNet データ ゲートウェイのサポート が一般に利用可能になりました。 VNet データ ゲートウェイは、オンプレミス のデータ ゲートウェイを必要とせずに、Fabric データフロー Gen2 から VNet 内の Azure データ サービスに接続するのに役立ちます。
2023 年 11 月 Microsoft Fabric が一般提供になりました Microsoft Fabric が一般に購入できるようになりました。 Microsoft Fabric は、AI の時代に合わせて構築された AI を利用した単一のプラットフォームに全員を集結させることで、チームがデータを操作する方法を再編成できます。 Power BI、Data Factory、Data Engineering、Data Science、リアルタイム分析、Data Warehouse、Fabric プラットフォーム全体が含まれます。

コミュニティ

このセクションは、現在のインフルエンサーと MVP、将来のインフルエンサー候補や MVP 候補を対象とした、Microsoft Fabric コミュニティ活動の新しい機会に関する情報のまとめです。

Month 機能 詳細情報
2024 年 3 月 無料の Microsoft Fabric 認定資格試験を受けましょう Fabric AI Skills Challenge を完了して、無料認定試験の対象になります。 Fabric Analytics Engineer AI Skills Challenge は、2024 年 4 月 19 日までオープンしています。
2024 年 3 月 試験 DP-600 が利用可能になりました 試験 DP-600 が利用可能になり、Microsoft 認定: Fabric Analytics Engineer Associate 認定 になりました。 Fabric Career Hub は、すばやく学習し、認定を受けるのに役立ちます。
2024 年 3 月 Microsoft Fabric Community Conference 2024 年 3 月 26～28 日の、ラスベガスでの初めての年次カンファレンスである Microsoft Fabric Community Conference にご参加ください。 Microsoft Fabric および Microsoft のその他のデータおよび AI 製品が、AI の時代に備えるため組織にどのように役立つかを直接お確かめください。 コード MSCUST を使用して本日登録すると、限定割引が受けられます。
2024 年 3 月 「Hack Together: Microsoft Fabric グローバル AI ハック」の受賞者を発表 世界各地から参加した 100 人以上の登録者から50件のハッカソンプロジェクトの応募を受けました。 私たちの審査員は、応募作品の幅、深さ、全体的な品質に驚かされました。 Fabric グローバル AI ハックの勝者に会いましょう！
2024 年 1 月 Fabric キャリア ハブを発表 新しい Fabric キャリア ハブ は、プロの成長のためのワンストップショップです! 私たちは、最高の無料オンデマンドトレーニングとライブトレーニング、さたに試験割引を備えた包括的な学習体験を作成しました。
2024 年 1 月 Hack Together: Microsoft Fabric グローバル AI ハック Hack Together は、2024 年 2 月 15 日から 3 月 4 日まで実行されるグローバル オンライン ハッカソン です。 Hack Together に参加しましょう: Microsoft Fabric グローバル AI ハック は、Microsoft Fabric の新しい Copilot および AI 機能 と共に学習、実験、ハッキングを行うことができる仮想イベントです！ 詳細情報は Microsoft Fabric Global AI Hack を参照してください。
2023 年 12 月 Microsoft Fabric Community Conference 2024 年 3 月 26～28 日の、ラスベガスでの初めての年次カンファレンスである Microsoft Fabric Community Conference にご参加ください。 Microsoft Fabric および Microsoft のその他のデータおよび AI 製品が、AI の時代に備えるため組織にどのように役立つかを直接お確かめください。 今すぐ登録して、データと AI の未来に身を浸し、何千人ものデータイノベーターとつながることで分析情報を共有しましょう。
2023 年 12 月 Fabric Cloud スキル チャレンジ Microsoft Ignite Cloud Skills Challenge の一環として、Microsoft Fabric Challenge を完了している何千人ものプロフェッショナルに加わりましょう。 8 時間以内に、Power BI および Microsoft Fabric でデータの接続、取り込み、記憶、分析、レポートを行う方法を学習できます。 Microsoft Fabric チャレンジでは、Microsoft Certified: Fabric Analytics Engineer Associate 認定に備えることができ、すぐに利用可能です。 チャレンジは 2024 年 1 月 15 日までです。
2023 年 11 月 Microsoft Fabric MVP コーナー – 特別版 (Ignite) 「Microsoft Fabric MVP コーナー」ブログ シリーズの特別版では、Microsoft Fabric の一般提供を発表したときに、Fabric に関連し、Microsoft Ignite 2023 カンファレンスで MVP によって作成された特定のコンテンツが強調されています。
2023 年 11 月 Microsoft Learn Cloud Skills Challenge を使用して Fabric のスキルを向上 Microsoft Learn Cloud Skills Challenge の一環である、Microsoft Ignite: Microsoft Fabric Challenge を嬉しくお知らせします。 需要の高い技術シナリオに合わせてスキルアップし、次の Microsoft Ignite への VIP パスを獲得するために挑戦しましょう。 チャレンジは 2024 年 1 月 15 日までです。 このチャレンジは、Microsoft Certified: Fabric Analytics Engineer Associate 認定と、Lakehouseとデータ ウェアハウスのシナリオを対象とする新しい Microsoft Applied Skills 資格情報 (今後数か月に予定) の準備に役立ちます。

Power BI

Power BI Desktop と Power BI サービスについての最新情報は、「Power BI の新機能」にまとめられています。

Fabric のサンプルとガイダンス

このセクションでは、Microsoft Fabric の新しいガイダンスとサンプル プロジェクト リソースの概要を示します。

Month 機能 詳細情報
2024 年 3 月 信用できる AI を使用して Microsoft Fabric Lakehouse 内の PII 情報を保護する Azure AI を使用して Microsoft Fabric で個人を特定できる情報 (PII) を識別して抽出する方法の 1 つは、Azure AI 言語を使用して、名前、住所、電子メール、電話番号、社会保障番号などのテキスト データ内の PII エンティティを検出して分類することです。
2024 年 2 月 Microsoft Fabric での OneLake を使用した一般的なデータ アーキテクチャの構築 詳細は、一般的なデータ アーキテクチャ パターンと、それらが Microsoft Fabric でセキュリティで保護される方法、および OneLake のセキュリティの基本的な構成要素を参照してください。
2024 年 1 月 新しい Fabric 認定とFabric キャリア ハブ Microsoft Certification 試験 DP-600 のベータ版の提供: Microsoft Fabric を使用した分析ソリューションの実装は、期間限定で利用できます。 この試験に合格すると、Microsoft 認定済み: Fabric 分析 エンジニア アソシエイト 認定を取得します。
2023 年 12 月 Azure Storage Explorer を使用して OneLake を操作する Windows エクスプローラーと直接統合するアプリケーションを使いたい場合は、OneLake エクスプローラーをチェックしてください。 ただし、データ管理タスクに Azure Storage Explorer を使用することに慣れている場合は、OneLake を使用してその機能とその主な利点の一部を引き続き活用できます。
2023 年 11 月 セマンティック リンク: OneLake 統合セマンティック モデル Semantic Link は、最近リリースされた OneLake 統合セマンティック モデルのサポートを追加します。 read_table 関数と onelake に設定された新しい mode パラメーターを使用して、OneLake を介してセマンティック モデルの名前を使用してデータに直接アクセスできるようになりました。
2023 年 11 月 SAP データを Microsoft Fabric に統合する Microsoft Fabric のビルトイン接続を使用することは、Fabric データ資産に SAP データを追加する最も簡単で労力の少ない方法です。
2023 年 11 月 Fabric による変革: セマンティック リンクとの依存関係を検証する - データ品質 セマンティック リンクを使用してテーブル内の列間の機能依存関係を調べる方法については、このステップバイステップの例に従ってください。 セマンティック リンクは、Microsoft Fabric で Power BI データセットと Synapse Data Science の間の接続を確立できる機能です。
2023 年 11 月 Microsoft Fabric でメダリオン Lakehouse アーキテクチャを実装 メダリオン レイク アーキテクチャの紹介と、Microsoft Fabric でLakehouseを実装する方法です。

Microsoft Fabric の Microsoft Copilot

Microsoft Fabric では、プレビュー段階の Copilot やその他の生成 AI 機能により、データの変換と分析、分析情報の生成、視覚化とレポートの作成を行う新しい方法を提供します。 詳細については、「Fabric Copilot」を参照してください。

Note

2024 年 5 月 20 日以降、 Microsoft Fabric の Copilot がすべてのテナントに対してデフォルトで有効になります。

Month 機能 詳細情報
2024 年 2 月 ファブリックでゲームを変更する: Microsoft Fabric で Copilot を使うのがいかに簡単か この ブログ記事では、Copilot がいかに簡単に有効化できるかを説明します。Microsoft Fabric でのデータの変換と分析、分析情報の生成、および視覚化とレポートの作成を行う新しい方法を提供する生成 AI です。
2024 年 2 月 Microsoft Fabric の Data Factory 用の Copilot Microsoft Fabric の Data Factory 用 Copilot がプレビューで利用可能になり、Dataflow Gen2 環境に含まれるようになりました。 詳細については、「Data Factory 用 Copilot」を参照してください。
2024 年 1 月 Data Science 用および Data Engineering 用の Microsoft Fabric Copilot Data Science 用および Data Engineering 用の Copilot が世界中で利用できるようになりました。 Data Science 用および Data Engineering 用の Copilot でできることは？
2024 年 1 月 万人向け Fabric の Copilot を有効にする方法 こちらの、組織内のすべてのユーザーに対して Fabric の Copilot (プレビュー) を有効にするためのガイド に従ってください。 詳細については、「Microsoft Fabric のCopilot の概要 (プレビュー)」を参照してください。
2024 年 1 月 Fabric の Copilot (プレビュー) は世界中で利用できます すべての顧客が、Power BI 用 Copilot、データ ファクトリ、Data Science と Data Engineering を含む、Fabric のCopilot (プレビュー) を利用できるようになりました。 詳細については、「Fabric の Copilot に関する概要」を参照してください。
2023 年 11 月 Microsoft Fabric と Copilot を使用して Power BI ユーザーの作業を支援する Microsoft Fabric の一般提供と、Power BI の環境を含む Microsoft Fabric の Copilot のプレビューを嬉しくお知らせします。
2023 年 11 月 Microsoft Fabric の Power BI 用 Copilot プレビュー Power BI のエクスペリエンスを含む Microsoft Fabric での Copilot のプレビューを嬉しくお知らせします。これにより、ユーザーは Power BI Web 環境でレポートを作成できるようになり、すぐに使い始めることができます。 詳細については、「Power BI 用の Copilot」を参照してください。

Microsoft Fabric の Data Factory

このセクションは、Microsoft Fabric の Data Factory に最近加わった新機能や能力に関する情報のまとめです。 問題とフィードバックをフォローするには、Data Factory コミュニティ フォーラムを使用してください。

Month 機能 詳細情報
2024 年 4 月 Spark ジョブ定義のアクティビティ 新しい Spark ジョブ定義アクティビティを使用すると、パイプラインで Spark ジョブ定義を実行できます。
2024 年 4 月 ADF コピー アクティビティの Fabric Warehouse Azure Data Factory/Synapse パイプラインから Fabric Warehouse に接続できるようになりました。 この新しいコネクタは、コピー アクティビティ、LOOKUP アクティビティ、ストアド プロシージャ アクティビティ、スクリプト アクティビティ、メタデータの取得アクティビティで、新しいソースまたはシンクの宛先を作成するときに見つけることができます。
2024 年 4 月 Fabric Warehouse とその他の SQL データ ストアに追加された宛先テーブルのサポートに列タイプを編集する データをサポートされている任意のデータ ソースから、データ パイプラインを介して Fabric Warehouse またはその他の SQL データ ストア (SQL Server、Azure SQL Database、Azure SQL Managed Instance、Azure Synapse Analytics) にデータを移動するとき、ユーザーは各列にデータ型を指定できるようになりました。
2024 年 4 月 SFTP にデータを書き込むときのパフォーマンス向上 宛先として SFTP に書き込むときのパフォーマンスを向上させるため、SFTP コネクタが改善されました。
2024 年 4 月 オンプレミス データ ゲートウェイと VNET データ ゲートウェイのサービス プリンシパル名認証の種類に対するサポート Azure サービス プリンシパル (SPN) は、オンプレミス データ ゲートウェイと VNET データ ゲートウェイでサポートされるようになりました。 Azure Data Lake Storage、Dataverse、Azure SQL Database、Web コネクタなどのサービス プリンシパル認証の種類を活用する方法について説明します。
2024 年 4 月 新規と更新された認定コネクタ Power Query SDK と Power Query コネクタの認定プロセスでは、11 個の新規と更新されたカスタム Power Query コネクタが導入されました。
2024 年 4 月 新しい式ビルダー エクスペリエンス Fabric Data Factory パイプラインのスクリプト アクティビティの利用が新たになり、パイプライン式言語を使用した式の作成がさらに簡単になりました。
2024 年 4 月 Data Factory により、パイプラインあたりの最大アクティビティ数が 80 に増加 パイプラインで定義できるアクティビティの数の制限を 40 から 80 に倍増しました。
2024 年 4 月 REST APIs for Fabric Data Factory パイプライン (プレビュー) REST APIs for Fabric Data Factory Pipelinesは、プレビュー段階になりました。 REST APIs for Data Factory pipelines では、Fabric の組み込み機能を拡張して、パイプラインを作成、読み取り、更新、削除、一覧表示することができます。
2024 年 3 月 Dataflows Gen2 の高速コピー 高速コピー を使用すると、データフローの簡単な技能でテラバイト単位のデータを取り込むことができますが、パイプラインのCopy アクティビティのスケーラブルなバックエンドを使用できます。
2024 年 3 月 Data Factory プレビューでデータ パイプラインを使用してオンプレミスのデータを Microsoft Fabric に統合する 現在プレビュー機能であるオンプレミス データ ゲートウェイを使用すると、お客様は Data Factory でデータフローとデータ パイプラインを使用してオンプレミスのデータ ソースに接続 できます。 詳細については、「Microsoft Fabric 用の Data Factory でオンプレミスのデータ ソースにアクセスする方法」を参照してください。
2024 年 3 月 Fabric Data Pipelines の CI/CD プレビュー Git 統合およびビルトインの展開パイプラインと Data Factory のデータ パイプラインの統合 がプレビュー段階になりました。 詳細については、「Data Factory による Fabric データ パイプラインへの CI/CD の追加」を参照してください。
2024 年 3 月 データの取得を使用して Azure リソースを参照する [データの取得] の [Azure の参照] 機能を使用して、すべての Azure リソースを参照して接続する方法について説明します。 Azure リソースを参照し、Synapse、BLOB ストレージ、または ADLS Gen2 リソースに簡単に接続できます。
2024 年 3 月 VNet Gateway の Dataflow Gen2 サポートが一般利用可能になりました Fabric のデータフロー Gen2 に対する VNet データ ゲートウェイのサポート が一般に利用可能になりました。 VNet データ ゲートウェイは、オンプレミス のデータ ゲートウェイを必要とせずに、Fabric データフロー Gen2 から VNet 内の Azure データ サービスに接続するのに役立ちます。
2024 年 3 月 データフローでのプライバシー レベルのサポート これで、Dataflow Gen2 で接続のプライバシー レベルを設定できるようになりました。 プライバシー レベルは、機密データが承認されたユーザーのみが表示されるように正しく構成するために重要です。
2024 年 3 月 Fabric Data Factory データ パイプラインを使用して S3 互換にデータをコピーする Fabric Data Factory のデータ パイプライン内の S3 互換へのデータ コピーが提供開始されました。 データ パイプラインでコピー アシスタントとCopy アクティビティを使用して、このデータ移動を完了できます。
2024 年 2 月 Dataflow Gen2 データの保存先とマネージド設定 Dataflows Gen2 の格納先、マネージド設定、および高度なトピックなどの新機能。
2024 年 2 月 Microsoft Fabric の Data Factory 用の Copilot Microsoft Fabric の Data Factory 用 Copilot がプレビューで利用可能になり、Dataflow Gen2 環境に含まれるようになりました。 詳細については、「Data Factory 用 Copilot」を参照してください。
2024 年 2 月 認定コネクタの更新 Power Query SDK は、Power BI とデータフローの両方に新しいコネクタを作成できるようにします。 新しく認定された Power Query コネクタは、Power Query の認定コネクタの一覧から入手できます。
2024 年 2 月 データ パイプライン コネクタの更新 S3 と互換性のあるデータ ソースや Google Cloud Storage データ ソースなど、Data Factory データ パイプラインで新しいコネクタを使用できます。 詳細については、「Microsoft Fabric のデータ パイプライン コネクタ」を参照してください。
2023 年 12 月 Azure Data Factory (ADF) を使用した Fabric Lakehouseの読み取りと書き込み ADF (Azure Data Factory) から Microsoft Fabric Lakehouseのデータの読み取りおよび書き込みができるようになりました。 Copy アクティビティまたはマッピング データ フローを使用すると、現在プレビュー段階にある ADF または Synapse Analytics を使用して、データの読み取り、書き込み、変換、処理を行うことができます。
2023 年 12 月 パイプラインのデバッグを容易にするアクティビティの状態を設定する Fabric Data Factory データ パイプラインでは、アクティビティの状態を非アクティブに設定できるようになりました。これにより、不完全で無効な構成でもパイプラインを保存することができます。 これは、パイプライン コードの「コメント アウト」の部分と考えることができます。
2023 年 12 月 パイプライン エディターでの接続の編集 パイプライン エディターを終了せずに、パイプラインの設計中に既存のデータ接続を編集できるようになりました。 接続を設定する際は、[編集] を選択するとポップアップが表示されます。
2023 年 12 月 Fabric Data Factory での Azure Databricks ノートブックの実行 Fabric Data Factory を使用して、Azure Databricks クラスターからのノートブック実行を含む強力なデータ パイプライン ワークフローを作成できるようになりました。 Databricks アクティビティをパイプラインに追加し、既存のクラスターをポイントするか新しいクラスターを要求すると、Data Factory によりノートブック コードが実行されます。
2023 年 11 月 Microsoft Fabric でメダリオン Lakehouse アーキテクチャを実装 メダリオン レイク アーキテクチャの紹介と、Microsoft Fabric でLakehouseを実装する方法です。
2023 年 11 月 データフロー Gen2 の Fabric コネクタの一般提供 Lakehouse、ウェアハウス、KQL データベースのコネクタが一般提供されました。 これらの Fabric ワークロードからデータに接続するとき、これらのコネクタを使用することをお勧めします。
2023 年 11 月 データフロー Gen2 の自動更新の取り消し 不要なリソースが消費されないようにするために、更新の結果に影響がないことが判明したら、データフローの更新を停止する新しいメカニズムが実装されました。 これは、さらに前もって対応して消費を削減するためです。
2023 年 11 月 データフロー Gen2 のゲートウェイ経由でのエラー メッセージ伝達 Enterprise データ ゲートウェイ経由で実行されているデータフローに対するデータフローの更新に失敗したときに、意味のあるエラー メッセージを提供するように診断を改善しました。
2023 年 11 月 データフロー Gen2 の SAP HANA コネクタの列バインドのサポート SAP HANA に対して列バインド サポートが有効になっています。 この省略可能なパラメーターにより、パフォーマンスが大幅に向上します。 詳細については、「SAP HANA コネクタの列バインドのサポート (英語)」を参照してください。
2023 年 11 月 データフロー Gen2 のステージング成果物の非表示 Fabric でデータフロー Gen2 を使用するとき、システムは一連のステージング成果物を自動的に作成します。 これらのステージング成果物は、データフロー Gen2 エクスペリエンスで抽象化され、ワークスペースの一覧で非表示になります。 ユーザーが操作を行う必要はなく、この変更は既存のデータフローには影響しません。
2023 年 11 月 Dataflow Gen2 の VNet Gateway のサポートのプレビュー Fabric のデータフロー Gen2 に対する VNet データ ゲートウェイのサポートがプレビュー段階になりました。 VNet データ ゲートウェイは、オンプレミス のデータ ゲートウェイを必要とせずに、Fabric データフロー Gen2 から VNet 内の Azure データ サービスに接続するのに役立ちます。
2023 年 11 月 クロス ワークスペースの [名前を付けて保存] [名前を付けて保存] ボタンを使用して、ワークスペース間でデータ パイプラインを複製できるようになりました。
2023 年 11 月 動的コンテンツ ポップアップと Email および Teams アクティビティとの統合 Email と Teams のアクティビティに、動的なコンテンツを簡単に追加できるようになりました。 この新しいパイプライン式の統合により、パイプライン式言語を学習することなく、メッセージコンテンツをすばやく選択して構築するのに役立つフライアウト メニューが表示されるようになりました。
2023 年 11 月 Copy アクティビティで、Fabric Data Warehouse コネクタのフォールト トレランスがサポートされるようになりました データ パイプラインの Copy アクティビティで、Fabric ウェアハウスのフォールト トレランスがサポートされるようになりました。 フォールト トレランスを使用すると、データ移動を中断することなく、特定のエラーを処理できます。 フォールト トレランスを有効にすることで、重複した行などの互換性のないデータをスキップしながら、データのコピーを続行できます。
2023 年 11 月 MongoDB と MongoDB Atlas コネクタ Data Factory データ パイプラインでソースと宛先として、MongoDB と MongoDB Atlas コネクタを使用できるようになりました。
2023 年 11 月 Microsoft 365 コネクタが、Lakehouse (プレビュー) へのデータの取り込みをサポートするようになりました Microsoft 365 コネクタが、Lakehouse テーブルへのデータの取り込みをサポートするようになりました。
2023 年 11 月 デザイナーでパイプラインを編集するための複数タスクのサポート さまざまなワークスペースからデータ パイプラインを開いて編集し、Fabric のマルチタスク機能を使用してそれらの間を移動できるようになりました。
2023 年 11 月 パイプラインの戻り値に文字列補間が追加されました データ パイプライン内のデータ接続を編集できるようになりました。 これまでは、接続の編集が必要なときに新しいタブが開いていました。 パイプライン内のままで、接続をシームレスに更新できるようになりました。

Microsoft Fabric の Data Factory のサンプルとガイダンス

Month 機能 詳細情報
2024 年 2 月 Fabric データ パイプライン – 高度なスケジューリング手法 このブログ シリーズでは、Microsoft Fabric Data Pipelines の高度なスケジューリング手法について説明します。
2024 年 1 月 Data Factory を使用して Fabric Data Warehouse のクエリとコマンドを自動化する Fabric Data Factory では、パイプライン アクティビティを使用して、簡単に自動化できるさまざまな方法で、データのクエリ、データの取得、およびウェアハウスからのコマンドの実行を行うことができます。
2024 年 1 月 Fabric Data Factory データ パイプラインを使用してノートブック ベースのワークフローを調整する データ パイプラインによって Fabric の Data Factory を使用して Fabric Spark Notebook ワークフローを構築する際のガイダンスと優れたプラクティス。
2023 年 12 月 DeltaLake.Table M 関数を使用して Delta Lake テーブルからデータを読み取る DeltaLake.Table は、Delta Lake テーブルからデータを読み取るための Power Query の M 言語の新しい関数です。 この関数は、Power BI Desktop と Dataflows Gen1 と Gen2 の Power Query で使用できるようになりました。これにより、コミュニティで開発されたソリューションを使用する必要性が置き換えられます。

Microsoft Fabric での Synapse Data Engineering

このセクションでは、Microsoft Fabric の Data Engineering ワークロードの新機能や能力について要約します。

Month 機能 詳細情報
2024 年 4 月 Fabric Spark Optimistic Job Admission Fabric Spark Optimistic Job Admission は、調整エラー (HTTP 430: Spark 容量制限の超過応答) の頻度を減し、特にピーク使用時に顧客のジョブ受付エクスペリエンスを向上します。
2024 年 4 月 スターター プールの単一ノードのサポート スターター プールの単一ノードのサポート機能を使用すると、スターター プールを最大 1 ノードに設定し、Spark セッションに超高速セッションの開始時刻を得られます。
2024 年 4 月 Synapse VS Code のコンテナー イメージ 開発プロセスを単純化するため、拡張機能に必要な依存関係をすべて含む Synapse VS Code 用のコンテナー イメージをリリースしました。
2024 年 4 月 Spark ジョブ定義を含む Git 統合 Spark ジョブ定義を含む Git 統合は、Spark ジョブ定義の変更を Git リポジトリにチェックインできるようにします。これには、Spark ジョブのソース コードやその他の項目のプロパティが含まれます。
2024 年 4 月 ノートブックの新しく改良されたオブジェクト エクスプローラーのエクスペリエンス 新しいオブジェクト エクスプローラーのエクスペリエンスはエクスプローラーのデータ ソースの柔軟性と検出可能性を向上し、リソース フォルダーの検出可能性を向上します。
2024 年 4 月 Notebook でスクリプトの %Run Jupyter Notebook の %run コマンドと同様に、%run magic コマンドを使用し、Notebook リソース フォルダーで Python スクリプトと SQL スクリプトを実行できるようになりました。
2024 年 4 月 S3 互換データ ソースへの OneLake ショートカット プレビュー SS3 互換データ ソースへの OneLake ショートカットは、現在プレビュー段階です。 Amazon S3 対応のショートカットを作成し、データをコピーまたは移動することなく、1 つの統一された名前空間を介して既存のデータに接続できます。
2024 年 4 月 Google Cloud Storage への OneLake ショートカット (プレビュー) Google Cloud Storage への OneLake ショートカットは現在プレビュー段階です Google クラウド ストレージのショートカットを作成し、データをコピーまたは移動することなく、1 つの統一された名前空間を介して既存のデータに接続できます。
2024 年 4 月 OneLake データ アクセス ロール Lakehouse の OneLake データ アクセス ロールは、現在、プレビュー段階です。 ロールのアクセス許可とユーザー/グループの割り当てを、新しいフォルダー セキュリティ ユーザー インターフェイスまたは API 呼び出しを使用して、簡単に更新することができます。
2024 年 3 月 「テーブルに読み込む」の新しい検証の機能強化 「テーブルに読み込む」機能に対する新しい検証の機能強化 は、検証の問題を軽減し、データの読み込みエクスペリエンスをよりスムーズかつ迅速に行うのに役立ちます。
2024 年 3 月 ノートブック ジョブのキューイング これで、Notebook ジョブのジョブ キュー に入るようになったため、パイプラインまたはジョブ スケジューラによってトリガーされるジョブがキューに追加され、容量が解放されると自動的に再試行されます。 詳細については、「Microsoft Fabric Spark でのジョブ キューイング」を参照してください。
2024 年 3 月 Apache Spark の自動チューニング クエリ チューニング機能 Apache Spark の自動チューニング クエリ チューニング機能 が利用できるようになりました。 Autotune では、Spark SQL クエリと機械学習アルゴリズムの履歴データを利用して構成を自動的に微調整し、実行時間の短縮と効率の向上を実現します。
2024 年 3 月 OneLake エクスプローラー: Excel を使用した編集 エクスプローラーの最新リリース v1.0.11.0 では、Excel を使用してファイルを直接更新できるようになって、OneDrive で使用できるユーザー フレンドリな環境をミラーできるようになったことをお知らせします。
2024 年 2 月 OneLake ショートカットの信頼されたワークスペース アクセス (プレビュー) 信頼されたワークスペース アクセス (プレビュー) は、Fabric で OneLake ショートカットから ADLS Gen2 ストレージ アカウントに安全かつシームレスなアクセスを実現します。 詳細については、「信頼されたワークスペース アクセス (プレビュー)」を参照してください。
2024 年 2 月 OneLake の S3 ショートカットを使用してエグレス コストを削減する S3 への OneLake ショートカットでキャッシュがサポートされるようになりました。これにより、エグレス コストを大幅に削減することができます。 S3 ショートカットで新しい [S3 ショートカットのキャッシュを有効にする] 設定を使用します。
2024 年 2 月 OneLake ショートカット API OneLake ショートカット 用の新しい REST API を使用すると、現在プレビュー段階にあるショートカットをプログラムで作成および管理できます。 OneLake ショートカットをプログラムで作成、読み取り、削除できるようになりました。 たとえば、「OneLake ショートカット REST API を使用する」を参照してください。
2024 年 2 月 コード スニペットを参照する 新しいコード スニペットの参照ノートブック機能を使用すると、サポートされている複数の言語で一般的に使用されるコード スニペットのコード スニペットに簡単にアクセスして挿入できます。
2024 年 2 月 セッションタイムアウトを構成する ノートブックでは、現在のライブ セッションのセッション タイムアウトの構成がサポートされるようになりました。 これは、タイムアウトによるリソースの浪費やコンテキストの損失を回避するのに役立ちます。 Spark セッションの最大期間を分単位から数時間に指定できます。また、セッションの有効期限が切れる前にアラートを取得して延長することもできます。
2024 年 2 月 Fabric ノートブックのステータス バーのアップグレード 新しい Fabric Notebook ステータス バーには、セッション状態、保存状態、セル選択状態の 3 つの保存情報ボタンがあります。 さらに、コンテキスト機能には、git 接続状態、セッション タイムアウトを延長するためのショートカット、失敗したセル ナビゲーターに関する情報が含まれます。
2024 年 1 月 Data Science 用および Data Engineering 用の Microsoft Fabric Copilot Data Science 用および Data Engineering 用の Copilot が世界中で利用できるようになりました。 Data Science 用および Data Engineering 用の Copilot でできることは？
2024 年 1 月 最新バージョンの OneLake ファイル エクスプローラーには Excel 統合が含まれています 最新バージョンの OneLake ファイル エクスプローラー (v1.0.11.0) には、Excel 統合など、OneLake のエクスペリエンスを強化するための更新プログラムがいくつか提供されています。
2023 年 12 月 %%configure — ノートブックで Spark セッションをカスタマイズする 対話型ノートブック アクティビティおよびパイプライン ノートブック アクティビティの両方で、マジック コマンド %%configure を使用して Spark セッションをカスタマイズできるようになりました。
2023 年 12 月 ノートブックのリッチ データフレーム プレビュー display() 関数は Fabric ノートブック で更新され、リッチ データフレーム プレビューという名前になりました。 display() を使用してデータフレームをプレビューする際に、範囲の指定、データフレームの概要および列の統計情報の表示、無効な値または欠落した値の確認、長いセルのプレビューを簡単に行うことができます。
2023 年 12 月 Azure Storage Explorer を使用して OneLake を操作する Windows エクスプローラーと直接統合するアプリケーションを使いたい場合は、OneLake エクスプローラーをチェックしてください。 ただし、データ管理タスクに Azure Storage Explorer を使用することに慣れている場合は、OneLake を使用してその機能とその主な利点の一部を引き続き活用できます。
2023 年 11 月 Lakehouseのアクセシビリティ サポート より包括的でユーザーフレンドリな対話を提供するため、スクリーン リーダーの互換性、応答性の高いデザイン テキストのリフロー、キーボード ナビゲーション、画像の代替テキスト、フォーム フィールドとラベルを含め、Lakehouse でアクセシビリティをサポートする機能強化を実装しました。
2023 年 11 月 Lakehouseでのマルチタスキング エクスペリエンスの強化 操作の実行中のマルチタスキング、非ブロックの再読み込み、より明確な通知など、Lakehouseでのマルチタスキング エクスペリエンスを強化するための新機能を導入しました。
2023 年 11 月 Lakehouseのアップグレードされたデータグリッド機能 Lakehouse テーブル プレビュー のアップグレードされた DataGrid は、列の並べ替え、フィルター処理、サイズ変更が機能として追加されました。
2023 年 11 月 SQL 分析エンドポイントの再プロビジョニング Lakehouse 内で SQL 分析エンドポイントのプロビジョニングを直接再試行できるようになりました。 つまり、最初のプロビジョニングの試行が失敗した場合は、まったく新しいLakehouseを作成しなくても、もう一度試行できるということです。
2023 年 11 月 Microsoft Fabric ランタイム 1.2 Microsoft Fabric ランタイム 1.2 は、データ処理機能の大幅な進歩です。 Microsoft Fabric ランタイム 1.2 には、オペレーティング システムである Apache Spark 3.4.1、Mariner 2.0 と、Java 11、Scala 2.12.17、Python 3.10、Delta Lake 2.4、R 4.2.2 が含まれていて、最先端のツールを自由に使用できます。 さらに、このリリースには、完全な Anaconda インストールと Java/Scala、Python、R 用の重要なライブラリが含まれるデフォルトのパッケージがバンドルされているため、ワークフローが簡素化されます。
2023 年 11 月 複数のランタイムのサポート ランタイム 1.2 の導入により、Fabric は複数のランタイムをサポートし、ユーザーがそれらをシームレスに切り替えられる柔軟性を提供し、非互換性や中断のリスクを最小限に抑えます。 ランタイムを変更すると、ワークスペース内でシステムが作成したすべての項目 (Lakehouse、SJD、ノートブックなど) が、次回の Spark セッションから新しく選択されたワークスペース レベルのランタイム バージョンを使用して動作するようになります。
2023 年 11 月 新しいランタイム 1.2 のデフォルトのテーブル形式 Delta デフォルトの Spark セッション パラメーター spark.sql.sources.default が delta になりました。 Spark SQL、PySpark、Scala Spark、Spark R を使用して作成されたすべてのテーブルは、テーブルの種類が省略されると、デフォルトで Delta としてテーブルを作成します。
2023 年 11 月 インテリジェント キャッシュ 新しく改良され、最適化されたインテリジェント キャッシュ機能が Fabric Spark でデフォルトで有効になります。 インテリジェント キャッシュは、バックグラウンドでシームレスに動作します。また、ショートカットを使用して OneLake または ADLS Gen2 ストレージから読み取りを行う際に Microsoft Fabric での Spark ジョブの実行を高速化するため、データをキャッシュします。
2023 年 11 月 Spark に対する監視ハブの機能強化 監視ハブの最新の機能強化は、Executor の割り当て、Spark アプリケーションのランタイム バージョン、詳細ページの関連項目リンクなどの、Spark とLakehouseのアクティビティに対する包括的で詳細なビューを提供するように設計されています。
2023 年 11 月 Lakehouseの操作に対する監視 ユーザーが、テーブル読み込みアクティビティとLakehouseのメンテナンス ジョブの進行状況と状態を表示できるようになりました。
2023 年 11 月 Spark アプリケーション リソースの利用状況分析 パフォーマンスのチューニングと最適化のために Spark リソースの利用状況メトリックを監視するという顧客の要求に応え、プレビューで利用可能になった Spark リソースの利用状況分析機能を嬉しくお知らせします。 この新しくリリースされた機能を使用すると、ユーザーが Spark の実行と並行して、割り当てられた Executor、実行中の Executor、アイドル状態の Executor を監視できます。
2023 年 11 月 Spark ジョブ定義に対する REST API サポート (プレビュー) Spark ジョブ定義に対する REST パブリック API を使用できるようになりました。これにより、ユーザーが簡単に SJD 項目を管理および操作できます。
2023 年 11 月 Lakehouse、テーブルへの読み込み、テーブルのメンテナンス 用 REST API サポート ワークロード統合の主要な要件である、Lakehouseに対する REST パブリック API を使用できるようになりました。 Lakehouse の REST パブリック API は、ユーザーが Lakehouse 品目をプログラムで簡単に管理と操作できるようにします。
2023 年 11 月 git の統合とデプロイ パイプラインに対するLakehouseのサポート (プレビュー) Lakehouseは、Microsoft Fabric のライフサイクル管理機能と統合されました。これにより、製品の寿命を通じてすべての開発チーム メンバー間の標準化されたコラボレーションを提供します。 ライフサイクル管理は、機能とバグ修正を複数の環境に継続的に提供することで、製品の効果的なバージョン管理とリリース プロセスを容易にします。
2023 年 11 月 ノートブックに Power BI レポートを埋め込む powerbiclient Python パッケージが Fabric ノートブックでネイティブにサポートされるようになったことを嬉しくお知らせします。 つまり、数行のコードのみで簡単にノートブックの Power BI レポートの埋め込みと通信を行うことができます。 powerbiclient パッケージを使用して Power BI コンポーネントを埋め込む方法の詳細をご覧ください。
2023 年 11 月 Mssparkutils の新しい API - 複数のノートブックを並列で実行するリファレンス mssparkutils.notebook.runMultiple() という名前の mssparkutils の新しい runMultiple API を使用すると、複数のノートブックを並列で、または定義済みのトポロジ構造で実行できます。 詳細については、「Notebook のユーティリティ」を参照してください。
2023 年 11 月 ノートブック リソース .JAR ファイルのサポート ノートブック リソース エクスプローラーでの .jar ファイルのアップロードがサポートされるようになりました。 独自のコンパイル済みライブラリの追加、セッションにインストールするためのドラッグ アンド ドロップを使用したコード スニペットの生成、ライブラリのコードへの簡単な読み込みを実行できます。
2023 年 11 月 ノートブック Git 統合 (プレビュー) Fabric ノートブックが、Azure DevOps を使用するソース管理のための Git 統合を提供するようになりました。 これを使用すると、ユーザーが Fabric Git 関数と Azure DevOps を利用して、簡単にノートブック コードのバージョンを制御し、git ブランチを管理できます。
2023 年 11 月 デプロイ パイプライン内のノートブック (プレビュー) 開発、テスト、運用などのさまざまな環境にコードをデプロイするためにノートブックを使用することもできるようになりました。 また、デプロイ ルールを使用して、ノートブックのデフォルトのLakehouseの変更など、デプロイ時のノートブックの動作のカスタマイズも行うこともできます。 デプロイメント パイプラインを開始すると、デプロイメント コンテンツに Notebook が自動的に表示されます。
2023 年 11 月 ノートブックの REST API (プレビュー) ノートブック項目に対する REST パブリック API を使用すると、データ エンジニア/データ サイエンティストがパイプラインを自動化し、CI/CD を便利かつ効率的に確立できます。 ノートブックの Restful パブリック API を使用すると、Fabric ノートブック項目の管理と操作、および他のツールやシステムとのノートブックの統合をユーザーが簡単に実行できるようになります。
2023 年 11 月 環境 (プレビュー) Fabric の環境のプレビュー版を嬉しくお知らせします。 環境は一元化された項目であり、Spark ジョブを 1 か所で実行するために必要なすべての設定を構成できます。
2023 年 11 月 vscode.dev の Synapse VS Code 拡張機能 (プレビュー) vsocde.dev の Synapse VS Code 拡張機能のサポートにより、ユーザーが、ブラウザー ウィンドウを離れることなく、Fabric Notebook の編集と実行をシームレスにできるようになりました。 さらに、VS Code のすべてのネイティブの開発者向け機能に、この環境のエンド ユーザーがアクセスできるようになりました。

Synapse Data Engineering のサンプルとガイダンス

Month 機能 詳細情報
2024 年 3 月 Fabric Lakehouses のブリッジ: シームレス ETL の差分変更データ フィード Delta Change Data Feed を使用して、medallion アーキテクチャ内の異なるLakehouse間でシームレスなデータ同期を容易にする方法について説明します。
2024 年 1 月 Fabric Data Factory データ パイプラインを使用してノートブック ベースのワークフローを調整する データ パイプラインによって Fabric の Data Factory を使用して Fabric Spark Notebook ワークフローを構築する際のガイダンスと優れたプラクティス。
2023 年 11 月 Fabric による変革: Microsoft Fabric で独自のライブラリを使用する Lakehouseで独自の Python ライブラリを使用するためのステップ バイ ステップ ガイド。 Python を使用して独自のライブラリを作成するのは非常に簡単であり、それを Fabric で再利用するのはさらに簡単です。

Microsoft Fabric の Synapse Data Science

このセクションでは、Microsoft Fabric の Data Science に関する最近の改良点や機能について要約します。

Month 機能 詳細情報
2024 年 4 月 セマンティック リンク GA セマンティック リンク が一般公開されました。 パッケージにはデフォルトの VHD が付属しています。pip をインストールせず、Fabric ですぐにセマンティック リンクを使用できるようになりました。
2024 年 4 月 AI と Copilot のキャパシティ レベルの委任 組織全体、特定のセキュリティ グループ、特定のキャパシティに対し、テナント管理者は、Fabric で AI と Copilot を有効にできるようになりました。
2024 年 3 月 ヨーロッパの顧客は、地域をまたいだ設定なしで AI と Copilot を使用できます 3 月中旬以来、ヨーロッパの顧客は地域をまたいだ設定をオンにせず、AI と Copilot を使用でき、AI と Copilot 要求は EUDB 内で処理されます。
2024 年 3 月 Code-First Hyperparameter Tuning のプレビュー FLAML はハイパーパラメーターのチューニング用に統合されました。現在はプレビュー機能となっています。 Fabric のflaml.tune 機能により、このプロセスが合理化され、ハイパーパラメーター調整 にコスト効率が高く効率的なアプローチが提供されます。
2024 年 3 月 Code-First AutoML プレビュー 新規 AutoML 機能を使用すると、機械学習ワークフローを自動化 し、より少ない労力で最良の結果を得ることができます。 AutoML または自動機械学習 は、特定のデータとタスクの種類に対して機械学習モデルを自動的にトレーニングおよび最適化できる一連の手法とツールです。
2024 年 3 月 入れ子になった実行の比較 ML 実験の実行リスト ビューの親と子の実行 には階層構造が導入されており、ユーザーは単一のビュー内でさまざまな親と子の実行を簡単に表示し、それらをシームレスに操作して結果を比較できます。
2024 年 3 月 必須の MIP ラベルの適用のサポート Fabric の ML モデルとテスト項目では、Microsoft Information Protection (MIP) ラベルのサポートが強化されました。
2024 年 1 月 Data Science 用および Data Engineering 用の Microsoft Fabric Copilot Data Science 用および Data Engineering 用の Copilot が世界中で利用できるようになりました。 Data Science 用および Data Engineering 用の Copilot でできることは？
2023 年 12 月 セマンティック リンクの更新 セマンティック リンクの最新の更新プログラムについてお知らせします。 多くの強化された機能の他に、Power BI エンジニアリング コミュニティ向けの新機能も多く追加されました。これらは、すべての自動化ニーズを満たすため Fabric ノートブックから使用できます。
2023 年 12 月 Fabric プレビューでの構築済み Azure AI サービス Fabric の構築済み AI サービスのプレビューは、Azure Cognitive Services と呼ばれていた Azure AI サービスとの統合です。 構築済みの Azure AI サービス を使用すると、前提条件なしで構築済みの AI モデルを使用してデータを簡単に強化できます。 現在、プレビルドされた AI サービスは プレビュー段階にあり、Microsoft Azure OpenAI Service、Azure AI Language、Azure AI 翻訳のサポートが含まれています。
2023 年 11 月 Notebooks の Copilot プレビュー Fabric Data Science と Data Engineering ノートブックの Copilot は、生産性を向上させ、役に立つ回答とガイダンスを提供し、データ探索、データ準備、機械学習などの一般的なタスクのコードを生成するように設計されています。 マジック コマンドを使用して、チャット パネルから、さらにはノートブック セル内から AI とやり取りして、より迅速にデータから分析情報を得ることができます。 詳細については、「ノートブック の Copilot」を参照してください。
2023 年 11 月 Data Wrangler でのカスタム Python 操作 探索的データ分析用のノートブック ベースのツールである Data Wrangler は常に、一般的なデータ クリーニング操作の参照と適用をユーザーに許可し、対応するコードをリアルタイムで生成してきました。 今回、ユーザーは UI からのコードの生成に加えて、Data Wrangler でカスタム操作を使用して独自のコードを記述できるようになりました。
2023 年 11 月 Spark DataFrames 用の Data Wrangler (プレビュー) Data Wrangler で Spark DataFrames がサポートされるようになりました (プレビュー段階)。 これまで、ユーザーは、Python コードにリアルタイムで変換できる一般的な操作を使用して pandas DataFrames を探索および変換できました。 新しいリリースでは、ユーザーは、pandas DataFrames に加えて Data Wrangler を使用して Spark DataFrames を編集できます。
2023 年 11 月 MLflow ノートブックのウィジェット MLflow インライン作成ウィジェットを使用すると、ユーザーは簡単にメトリックおよびパラメーターとともに実験の実行をすべて直接ノートブック内から追跡できます。
2023 年 11 月 新しいモデルと実験項目の使いやすさの向上 新しいモデルと実験追跡機能の機能強化は、貴重なユーザー フィードバックに基づいています。 実行の詳細ビューの新しいツリー コントロールは、どの実行が選択されているかを示すことで追跡を簡単にします。 比較機能が強化され、比較ペインを簡単に調整して、より使いやすいエクスペリエンスを実現できるようになりました。 実行名を選択して、[実行の詳細] ビューを表示できるようになりました。
2023 年 11 月 最近の実験の実行 ユーザーがワークスペースの一覧ビューから、実験の最近の実行を簡単チェックアウトする操作が簡潔になりました。 この更新により、最近のアクティビティの追跡、関連する Spark アプリケーションへのすばやい移動、実行状態に基づくフィルターの適用が簡単になります。
2023 年 11 月 モデルの名前が ML モデルに変更されました 明確さを確保し、他の Fabric 要素との混乱を避けるために、Microsoft は "モデル" という名称を "ML モデル" に変更しました。 詳細については、「Microsoft Fabric での機械学習の実験」を参照してください。
2023 年 11 月 SynapseML v1.0 SynapseML v1.0 がリリースされました。 SynapseML v1.0 を使用すると、Fabric での運用環境に対応した機械学習システムの構築が簡単になるため、6 年以上にわたって Microsoft で使用されています。
2023 年 11 月 SynapseML を使用して解釈可能な Explainable Boosting Machines をトレーニング SynapseML の Apache Spark を利用する Explainable Boosting Machines (EBM) のスケーラブルな実装を導入しました。 EBM は、勾配ブースティングの正確性をモデルの解釈可能性の重視と組み合わせた強力な機械学習手法です。
2023 年 11 月 Microsoft Fabric の事前構築済み AI モデル (プレビュー) Fabric で事前構築された AI モデルのプレビューを嬉しくお知らせします。 Azure OpenAI Service、Text Analytics、Azure AI 翻訳は Fabric で使用できる事前構築済みモデルであり、RESTful API と SynapseML の両方がサポートされています。 OpenAI Python ライブラリを使用して、Fabric の Azure OpenAI サービスにアクセスすることもできます。
2023 年 11 月 sparklyr での既存の Spark セッションの再利用 sparklyr に "synapse" という名前の新しい接続方法のサポートを追加しました。これを使用すると、ユーザーが既存の Spark セッションに接続できます。 さらに、この接続方法を、OSS sparklyr プロジェクトに提供しました。 ユーザーが同じセッションで sparklyr と SparkR の両方を使用して、簡単に両者の間でデータを共有できるようになりました。
2023 年 11 月 ML 実験と ML モデルの REST API サポート ML 実験および ML モデルに対する REST API が使用できるようになりました。 これらの ML テストと ML モデル用の REST APIは、ユーザーが機械学習品目をプログラムで作成と管理できるようにします。これは、パイプラインの自動化とワークロード統合の主要な要件です。

Synapse Data Science のサンプルとガイダンス

Month 機能 詳細情報
2024 年 3 月 新規 AI サンプル 新規 AutoML サンプル、モデル チューニング、セマンティック リンクのサンプルは、Microsoft Fabric のData Science サンプルのクイック チュートリアル カテゴリ に表示されます。
2023 年 12 月 Microsoft Fabric の Lakehouse データとAzure Machine Learning Service のプロンプト フローを使用して RAG アプリケーションを作成する Azure Machine Learning Service のプロンプト フローと Microsoft Fabric の Lakehouse データを組み合わせた、ステップ バイ ステップの RAG アプリケーション。
2023 年 11 月 Microsoft Fabric の新しいデータ サイエンスのハッピー パス チュートリアル Microsoft Fabric のデータ サイエンスのハッピー パス チュートリアルを更新しました。 この新しい包括的なチュートリアルは、データ サイエンス ワークフロー全体を示します。コンテキストとして銀行の顧客離反問題を使用します。
2023 年 11 月 新しいデータ サイエンスのサンプル データ サイエンス サンプルのコレクションを拡張して、新しいエンド ツー エンドの R サンプルと、"Explaining Model Outputs" と "Visualizing Model Behavior" の新しいクイック チュートリアル サンプルを含めました。
2023 年 11 月 新しいデータ サイエンス予測のサンプル 売上予測に関する新しいデータ サイエンス サンプルは、Sonata Software と共同で開発されました。 この新しいサンプルには、データ クリーニングから Power BI 視覚化まで、データ サイエンスのワークフロー全体が含まれます。 ノートブックは、SARIMAX アルゴリズムの機能を利用して、スーパーストア販売の予測モデルを開発、評価、スコア付けする手順を対象にしています。

Microsoft Fabric の Synapse Data Warehouse

このセクションは、Microsoft Fabric の Synapse Data Warehouse に関する最近の改良点や機能に関する情報のまとめです。

月 機能 詳細情報
2024 年 4 月 ADF コピー アクティビティの Fabric Warehouse Azure Data Factory/Synapse パイプラインから Fabric Warehouse に接続できるようになりました。 この新しいコネクタは、コピー アクティビティ、LOOKUP アクティビティ、ストアド プロシージャ アクティビティ、スクリプト アクティビティ、メタデータの取得アクティビティで、新しいソースまたはシンクの宛先を作成するときに見つけることができます。
2024 年 4 月 Git 統合 Warehouse の Git 統合は、SQL データベース プロジェクトとして Azure DevOps Git リポジトリに Warehouse の変更をチェックインできるようにします。
2024 年 4 月 パーティションの削除 パーティションの削除は、多数のファイルを含むテーブルに対するパフォーマンス向上です。 Lakehouse の SQL 分析エンドポイントはパーティションの削除を使用し、クエリに関連する当該パーティションからのみデータを読み取ります。 最近の機能強化は、多くのファイルを含むテーブルのいくつかのパーティションをクエリの対象とする場合、パフォーマンスがさらに向上しました。
2024 年 3 月 Microsoft Fabric でのミラーリング プレビュー Fabric でのミラーリングを使用すると、Microsoft Fabric の OneLake にデータベースを簡単に取り込み、シームレスなゼロ ETL、データに関するほぼリアルタイムの分析情報を実現し、ウェアハウス、BI、AI などのロックを解除できます。 詳細については、「Fabric でのミラーリングとは？」を参照してください。
2024 年 3 月 コールド キャッシュのパフォーマンスの向上 Fabric は Delta テーブルにデータを格納し、データが キャッシュ されていない場合は、クエリ処理のために Parquet ファイル形式の構造体からメモリ内構造にデータをトランスコードする必要があります。 最近のコールド キャッシュのパフォーマンスの向上により、コード変換がさらに最適化され、データが以前にキャッシュされていない場合にテストで最大 9% 高速なクエリが確認されました。
2024 年 3 月 DW エディターを使用して SQL データベース プロジェクトを直接抽出して発行する SQL データベース プロジェクトの拡張情報 は、テーブル、ストアド プロシージャ、関数など、単一データベースのスキーマを構成する SQL オブジェクトをローカルで表現した、SQL プロジェクト (.sqlproj) を作成します。 DW エディターを使用して SQL データベース プロジェクトを直接抽出して発行 できるようになりました。
2024 年 3 月 倉庫アイテムのオーナーを変更する 新しい引き継ぎ API を使用すると、ウェアハウス所有者を現在の所有者から新しい所有者 (SPN または組織アカウント) に変更 できます。
2024 年 3 月 テーブル RLS と CLS を複製する 複製されたテーブルは、複製テーブルのソースから行レベル セキュリティ (RLS) と動的データ マスクを継承するようになりました。
2024 年 2 月 パフォーマンスの向上を体験する 最近の接続性とパフォーマンスの強化には、ウェアハウスの作成、T-SQL 実行、メタデータの自動検出、およびエラー メッセージングのエクスペリエンスの向上が含まれます。
2023 年 12 月 Fabric Warehouse の自動ログ チェックポイント処理 自動ログ チェックポイント 機能は、お客様の Data Warehouse が優れたパフォーマンスを提供するのに役立つ方法の 1 つであり、ユーザーによる追加作業は必要ありません。
2023 年 12 月 ポイントを復元し、所定の位置に復元する 復元ポイントを作成し、過去の時点へのウェアハウスのインプレース リストアを実行できるようになりました。 復元ポイントと復元インプレース機能は現在プレビュー段階です。 インプレース復元は、データ ウェアハウスの復旧 に不可欠な部分です。これにより、復元ポイントが作成された既存のデータ ウェアハウスを置き換えたり、書き換えたりすることで、データ ウェアハウスを以前の安定した状態に復元できます。
2023 年 11 月 TRIM T-SQL のサポート TRIM コマンドを使用し、TRIM (Transact-SQL) で LEADING、TRAILING、または BOTH キーワードを使用して、文字列からスペースまたは特定の文字を削除できるようになりました。
2023 年 11 月 GENERATE_SERIES T-SQL のサポート GENERATE_SERIES (Transact-SQL) を使用して、指定したサイクル間隔内に一連の数値を生成します。 サイクル間隔と系列値間のステップは、ユーザーによって定義されます。
2023 年 11 月 SSD メタデータ キャッシュ ファイルと行グループのメタデータもメモリ内および SSD キャッシュにキャッシュされるようになり、パフォーマンスがさらに向上しました。
2023 年 11 月 CSV インジェストに対するパーサー 2.0 の機能強化 COPY INTO 用の CSV ファイル パーサー バージョン 2.0 は、Microsoft Research のデータ プラットフォームと分析グループからイノベーションを構築し、Fabric Warehouse での CSV ファイルインジェストを高速に実現します。 詳細については、「COPY INTO (Transact-SQL)」を参照してください。
2023 年 11 月 高速コンピューティング リソースの割り当て有効 Fabric Warehouse のすべてのクエリ実行が、新しいテクノロジを利用するようになりました。これは、コンピューティング リソースをミリ秒単位で割り当てるグローバル リソース ガバナンス コンポーネントの一部として最近デプロイされました。
2023 年 11 月 ウェアハウスに対する REST API サポート ウェアハウスのパブリック API を使用すると、SQL 開発者がパイプラインを自動化し、CI/CD を便利かつ効率的に確立できるようになりました。 ウェアハウス REST パブリック API を使用すると、Fabric Warehouse 項目の管理と操作をユーザーが簡単に実行できます。
2023 年 11 月 Fabric Warehouse に対する SQLPackage サポート SQLPackage で Fabric Warehouse がサポートされるようになりました。 SqlPackage は、パブリックのデータ層アプリケーション フレームワーク (DacFx) API の一部を公開することで、次のデータベース開発タスクを自動化するコマンドライン ユーティリティです。 SqlPackage コマンド ライン ツールでは、これらの操作と共に、操作固有のパラメーターおよびプロパティを指定できます。
2023 年 11 月 Power BI セマンティック モデル Microsoft は、Power BI "データセット" のコンテンツ タイプの名前を "セマンティック モデル" に変更しました。 これは、Microsoft Fabric セマンティック モデルにも適用されます。 詳細については、「Power BI データセットの新しい名前」を参照してください。
2023 年 11 月 SQL 分析エンドポイント Microsoft は、Lakehouseの SQL エンドポイントの名前をLakehouseの SQL "分析" エンドポイントに変更しました。
2023 年 11 月 動的データ マスク Fabric Warehouse 用の動的データ マスク (DDM) とLakehouseの SQL 分析エンドポイント。 詳細とサンプルについては、「Fabric データ ウェアハウスでの動的データ マスク」および「Synapse Data Warehouse で動的データ マスクを実装する方法」を参照してください。
2023 年 11 月 タイム トラベルを使用してテーブルを複製する テーブルの複製を使用して、過去7 日間までのデータに基づいてテーブルの複製を作成できるようになりました。
2023 年 11 月 ユーザー エクスペリエンスの更新 ウェアハウスのいくつかのユーザー エクスペリエンスが公開されました。 詳細については、Fabric Warehouse のユーザー エクスペリエンスの更新に関するブログ投稿を参照してください。
2023 年 11 月 自動データ圧縮 自動データ圧縮は、多数の小さな Parquet ファイルをいくつかの大きな Parquet ファイルに書き直して、テーブルの読み取りのパフォーマンスを向上させます。 データ圧縮は、追加のユーザー作業を必要とせずにウェアハウスで優れたパフォーマンスを提供するのに役立つ方法の 1 つです。

Synapse Data Warehouse のサンプルとガイダンス

Month 機能 詳細情報
2024 年 4 月 Fabric Change the Game: Azure SQL Database を Microsoft Fabric にミラーリングする Azure SQL データベースを Microsoft Fabric にミラーするためのステップ バイ ステップ ガイド。
2024 年 2 月 Azure Synapse 専用 SQL プールを Fabric Data Warehouse コンピューティングにマッピングする Azure Synapse Analytics 専用 SQL プールからほぼ同等の数の Fabric 容量ユニット (CU) に Data Warehouse ユニット (DWU) をマッピングする方法に関するガイダンスをお読みください。
2024 年 1 月 Data Factory を使用して Fabric Data Warehouse のクエリとコマンドを自動化する Fabric Data Factory では、パイプライン アクティビティを使用して、簡単に自動化できるさまざまな方法で、データのクエリ、データの取得、およびウェアハウスからのコマンドの実行を行うことができます。
2023 年 11 月 Azure Synapse 専用 SQL プールからの移行 Azure Synapse Data Warehouse 専用 SQL プールから Microsoft Fabric への移行に、移行 Runbook の詳細なガイドを使用できます。

Microsoft Fabric の Synapse リアルタイム分析

このセクションは、Microsoft Fabric のリアルタイム分析に関する最近の改良点や機能に関する情報のまとめです。

Month 機能 詳細情報
2024 年 4 月 Kusto キャッシュの使用 (プレビュー) Kusto キャッシュ従量課金のプレビューとは、KQL データベースと Eventhouse 品目からの OneLake Cache データが格納されたメーターの課金対象の使用量が表示されることを意味します。 詳細については、「KQL データベースの使用量」を参照してください。
2024 年 4 月 Eventstream プレビューで一時停止と再開 一時停止と再開機能は、Eventstream 内のさまざまなソースと宛先からデータ ストリーミングを一時停止できるようにします。 その後、一時停止した時間またはカスタマイズされた時間からシームレスにデータ ストリーミングを再開し、データ損失を防ぐことができます。
2024 年 3 月 Fabric Real-Time Analytics と Azure SQL 用の新しく発表された Database Watcher の統合 Azure SQL のユーザーは、Microsoft Fabric を持つ Database Watcher 監視ソリューションを使用できます。 Azure SQL 用の Database Watcher (プレビュー) は高度な監視機能を提供し、Eventhouse KQL データベース と統合できます。
2024 年 3 月 KQL データベース プレビューでレコードを更新する .update コマンド がプレビュー機能として使用できるようになりました。 「Kusto データベースのレコードの更新」方法の詳細について説明します。
2024 年 3 月 Queryset からの Azure Data Explorer データのクエリ Fabric の KQL Queryset から Azure Data Explorer クラスターのデータに接続して使用する。
2024 年 2 月 Eventhouse の概要: Microsoft Fabric を使用したリアルタイム データの処理 Eventhouse (プレビュー) は、複数の KQL データベースをホストする動的ワークスペースであり、Fabric の Real-Time Analytics の一部です。 Eventhouse は、大量のリアルタイム データを管理および分析するための信頼性の高いソリューションを提供します。 「Eventhouse を作成して管理する」に関するガイドを使用して開始します。
2024 年 2 月 Delta Lake テーブルへの KQL DB ショートカットでは、名前ベースの列マッピングがサポートされます KQL DB では、列名マッピングを使用した Delta テーブルの読み取りがサポートされるようになりました。 列マッピング機能を使用すると、Delta テーブル列と基になる Parquet ファイル列で異なる名前を使用できます。 これにより、基になる Parquet ファイルを書き換える必要なく、Delta テーブルに対するDelta スキーマの展開操作が可能になり、Parquet で許可されていない文字を使用して Delta テーブルの列に名前を付けることもできます。
2024 年 2 月 Delta Lake テーブルへの KQL DB ショートカットで削除ベクターがサポートされる KQL DB は、削除ベクターを含むデルタ テーブルを読み取ることができるようになり、削除ベクターによって示された削除を最新のテーブル バージョンに適用することで現在のテーブルの状態を解決できます。
2024 年 2 月 KQL DB のデータの取得で、イベントストリーム を使用したインジェスト前のイベントの処理がサポートされるようになりました [イベントストリーム で取り込む前にイベントを処理する] オプションを使用すると、宛先テーブルに取り込む前にデータを処理できます。 このオプションを選択すると、データ取得プロセスが イベントストリーム でシームレスに続行され、宛先テーブルとデータ ソースの詳細が自動的に入力されます。
2024 年 2 月 KQL DB で Apache Flink を使用したデータ インジェストがサポートされるようになりました オープン ソースの Flink コネクタを使用すると、Flink からテーブルにデータを送信できます。 Azure Data Explorer と Apache Flink を使用すると、データ ドリブン シナリオをターゲットとする、高速でスケーラブルなアプリケーションを構築できます。
2024 年 2 月 Kusto Splunk Universal Connector を使用して Splunk Universal Forwarder から KQL DB にデータをルーティングする Kusto Splunk Universal Connector を使用して、Splunk Universal Forwarder から KQL DB内のテーブルにデータを送信できるようになりました。
2023 年 12 月 KQL データベースでレポートを実行している Power BI での個別のカウントの計算 新しい Fabric KQL データベースの dcount および dcountif 関数は、非常に大きなデータセットであっても、特殊なアルゴリズムを使用して個別のカウントの推定値を返します。 新しい関数 count_distinct および count_distinctif により、正確な個別のカウントを計算できます。
2023 年 12 月 KQL DB への事前構成済みの接続を使用してノートブックを作成する KQL DB への事前構成済みの接続を使用して KQL DB エディターから新しいノートブックを作成し、PySpark を使用してデータを探索できるようになりました。 このオプションでは、すぐに実行できるコード セルを含む PySpark ノートブックを作成し、選択した KQL DB からデータを読み取ることができます。
2023 年 12 月 KQL データベース スキーマの検証 新しい Kusto コマンド .show database schema violations は、データベース スキーマの現在の状態を検証し、不整合を検出するように設計されています。 データベースまたは CI/CD オートメーションのスポット チェックには、.show データベース スキーマ違反を使用できます。
2023 年 12 月 OneLake での KQL データベースのデータ可用性の有効化 OneLake での KQL データベースのデータ可用性とは、両方の長所を利用できることを意味します。 KQL データベースでは、高パフォーマンスで低遅延のデータに対してクエリを実行できます。また、Power BI Direct Lake モード、ウェアハウス、Lakehouse、ノートブックなどを使用して Delta Parquet で同じデータに対してクエリを実行できます。
2023 年 12 月 Fabric の大変革: リアルタイム分析 リアルタイム分析は、優れたツールで、複雑さを減らし、データ統合プロセスを合理化します。 Microsoft Fabric を使用すると、イベントストリーム または Spark Stream を使用してリアルタイム ストリーミング分析を構築できます。
2023 年 11 月 Real-Time Analytics の KQL データベースにおける Delta Lake サポートを発表 Delta Lake 形式で KQL データベースの可用性を有効にできるようになりました。 Delta Lake は、Microsoft Fabric のすべてのコンピューティング エンジンにわたってシームレスなデータ アクセスを実現するために選択された、統合データ レイク テーブル形式です。
2023 年 11 月 Microsoft Fabric のリアルタイム分析の一般提供 (GA) Microsoft Fabric のリアルタイム分析の一般提供を発表します。 リアルタイム分析には数多くの機能が提供されていますが、すべて、データ分析をより効率的かつ効果的に行うことを目的としています。
2023 年 11 月 KQL データベースでの Delta Parquet サポート 1 つの論理コピー保証の一環として、KQL データベースのデータを、Delta Parquet 形式の OneLake で使用できるようになったことを嬉しくお知らせします。 Lakehouse、ウェアハウスから OneLake ショートカットを作成することで、または Power BI の Direct Lake モード経由で直接、この Delta テーブルにアクセスできるようになりました。
2023 年 11 月 KQL データベース用のオープン ソース コネクタ ユーザーがさまざまなソースからデータを取り込み、KQL DB を使用して処理できるように、リアルタイム分析用のいくつかのオープンソース コネクタがサポートされるようになりました。
2023 年 11 月 KQL データベースに対する REST API サポート KQL DB に対する REST パブリック API の公開をお知らせします。 KQL DB に対するパブリック REST API を使用すると、ユーザーがプログラムでフローを管理および自動化できます。
2023 年 11 月 イベントストリーム が一般提供されました イベントストリーム が一般公開され、データ処理エクスペリエンスを次のレベルに引き上げることを目的とした機能強化が追加されました。
2023 年 11 月 KQL データベースに対する イベントストリーム データ変換 データ ストリームを KQL データベースに送信する前に、イベントストリーム 内でリアルタイムに変換できるようになりました。 イベントストリーム で KQL データベース変換先を作成するときに、インジェスト モードを "インジェスト前イベント処理" に設定し、フィルター処理や集計などのイベント処理ロジックを追加してデータ ストリームを変換できます。
2023 年 11 月 Splunk アドオン (プレビュー) Splunk 用 Microsoft Fabric アドオンを使用すると、ユーザーが Kusto Python SDK を使用して Splunk プラットフォームから Fabric KQL DB にログを取り込むことができます。
2023 年 11 月 Fabric 内の任意の場所で イベントストリーム からデータを取得 他のFabric 項目で作業しており、イベントストリーム からデータを取り込もうとしている場合は、「イベントストリーム からデータを取得する」という新しい機能によりプロセスを簡素化できます。この機能では、KQL データベースおよびLakehouseの操作中に イベントストリーム からデータを取得できます。
2023 年 11 月 Lakehouseの変換先に対する 2 つのインジェスト モード Lakehouseの変換先に、ファイルあたりの行数と期間という 2 つの異なるインジェスト モードが導入されました。
2023 年 11 月 Lakehouseにデータを取り込む前にテーブルを最適化 Lakehouse テーブルに生成された多数の小さなストリーミング ファイルを圧縮するための、テーブル最適化ショートカットを、イベントストリーム のLakehouseの変換先内で使用できるようになりました。 テーブルの最適化ショートカットは、Spark ジョブを使用してノートブックを開くことで機能します。このジョブにより、変換先のLakehouse テーブル内の小さなストリーミング ファイルが圧縮されます。
2023 年 11 月 イベントストリーム 内にクラウド接続を作成 イベントストリーム 内で Azure サービスへのクラウド接続を確立するプロセスを簡素化しました。 Azure IoT Hub や Azure Event Hubs などの Azure リソースを イベントストリーム に追加するときに、クラウド接続を作成し、イベントストリーム 内で Azure リソースの資格情報を直接入力できるようになりました。 この機能強化により、イベントストリーム に新しいデータ ソースを追加するプロセスが大幅に改善され、時間と作業が節約されます。
2023 年 11 月 リアルタイム分析でデータを取得: 新規および向上したエクスペリエンス 新しいデータ取得エクスペリエンスは、KQL データベースのデータ インジェスト プロセスを簡素化します。

Synapse リアルタイム分析のサンプルとガイダンス

Month 機能 詳細情報
2024 年 3 月 データの取得を使用して Azure リソースを参照する [データの取得] の [Azure の参照] 機能を使用して、すべての Azure リソースを参照して接続する方法について説明します。 Azure リソースを参照し、Synapse、BLOB ストレージ、または ADLS Gen2 リソースに簡単に接続できます。
2023 年 11 月 セマンティック リンク: Great Expectations を使用したデータ検証 Great Expectations Open Source (GX OSS) は、データの許容可能な状態を記述および検証するためのフレームワークを提供する一般的な Python ライブラリです。 Microsoft Fabric セマンティック リンクの最近の統合により、GX はセマンティック モデルにアクセスできるようになり、データ サイエンティストとビジネス アナリスト間のシームレスなコラボレーションがさらに可能になりました。
2023 年 11 月 KQL データベース統合のために イベントストリーム でデータの変換を調べる 実際の自転車シェアリング データを使用した実際のシナリオの詳細を調べ、イベントストリーム の強力なイベント プロセッサを使用し、リアルタイムのデータ変換をマスターし、処理されたデータを KQL データベースに簡単に転送して、各通りで 1 分ごとにレンタルされている自転車の台数を計算する方法を確認します。

Microsoft Fabric のコア機能

Microsoft Fabric エクスペリエンスの中核となるニュースとフィーチャーのお知らせ。

Month 機能 詳細情報
2024 年 3 月 Microsoft Fabric が HIPAA 準拠になりました 企業向けのオールインワン分析ソリューションである Microsoft Fabric が、HIPAA および ISO 27017、ISO 27018、ISO 27001、ISO 27701 の新しい認定 を取得したことをお知らせします。
2024 年 3 月 ワークスペースプレビューのフォルダー ワークスペースの組織単位として、フォルダー は、アイテムを整理および管理するための階層構造を提供することで、この問題点に対処します。 詳細については、「ワークスペースでのフォルダー作成 (プレビュー)」を参照してください。
2024 年 3 月 Fabric Copilot の価格: エンドツーエンドの例 既存の Power BI Premium または Fabric Capacity の一部として Fabric 用 Copilot は、 2024 年 3 月 1 日に請求が開始されます。 Fabric Copilot の使用状況の計算方法について説明します。
2024 年 3 月 一時停止/再開の Capacity Platform 更新、Capacity Metrics、Copilot 用の仮想化品目とワークスペース、VNet Gateway Fabric Capacity Platform は、一時停止/再開、Copilot をサポートする仮想化品目とワークスペース、Capacity Metrics と VNET Gateway に対する使用状況レポートをサポートするようになりました。 詳細については、「Copilot と VNet Gateway の一時停止と再開および Capacity Metrics に関する Capacity Platform の更新」を参照してください。
2024 年 2 月 Microsoft Fabric 用マネージド プライベート エンドポイント (プレビュー) Microsoft Fabric 用マネージド プライベート エンドポイント (プレビュー) は、ファイアウォールの背後にあるデータ ソースまたはパブリック インターネットからアクセスできないデータ ソースに対し、セキュリティ保護接続を実現します。 マネージド プライベート エンドポイントを持つワークスペースは、Microsoft Fabric によって作成されたマネージド仮想ネットワークを介してネットワークが分離されます。 詳細については、「Microsoft Fabric プレビューのマネージド プライベート エンドポイントの概要」を参照してください。
2024 年 2 月 Azure Private Link Support for Microsoft Fabric (プレビュー) Azure Private Link for Microsoft Fabric では、Microsoft Fabric 内の機密データへのアクセスを、ネットワークの分離を提供して、必要な制御を受信ネットワーク トラフィックに適用することでセキュリティで保護します。 詳細については、「プレビューでの Microsoft Fabric の Azure Private Link サポートの発表」を参照してください。
2024 年 2 月 OneLake の ドメイン (プレビュー) OneLake の ドメイン は、データを論理データ メッシュに整理し、フェデレーション ガバナンスを可能にし、ビジネス ニーズに合わせて最適化するのに役立ちます。 これで、サブ ドメイン、ユーザーのデフォルト ドメイン を作成し、ドメイン 間でワークスペースを移動できるようになりました。 詳細については、「Fabric ドメイン」を参照してください。
2024 年 2 月 カスタマイズ可能な Fabric ナビゲーション バー 一般的なエントリ ポイントの固定や、使用頻度の低いオプションの固定解除など、ナビゲーション バーで優先エントリ ポイントをカスタマイズできるようになりました。
2024 年 2 月 ワークスペース内の永続的なフィルター 選択したフィルターをワークスペースの一覧ビューに保存できるようになりました。選択したフィルターは、次回ワークスペースを開くと自動的に適用されます。
2023 年 12 月 Microsoft Fabric の管理 API のプレビュー Fabric の管理 API は、管理タスクを効率化するように設計されています。 Fabric の管理 API の初期セットは、ワークスペース、Fabric 項目、ユーザー アクセスの詳細の検出を簡略化するように調整されています。
2023 年 12 月 Fabric および Power BI でのワークスペースの保存期間の変更 コラボレーション ワークスペースの保存期間を 7 日から 90 日に設定できます。 ワークスペースの保存設定はデフォルトで有効になっており、デフォルト保存期間は 7 日になります。
2023 年 11 月 Fabric のワークロードが一般提供されました。 Microsoft Fabric が一般提供されました。 Microsoft Fabric Synapse Data Warehouse、Data Engineering と Data Science、リアルタイム分析、Data Factory、OneLake、および Fabric プラットフォーム全体が一般提供されました。
2023 年 11 月 Microsoft Fabric のユーザー API のプレビュー Microsoft Fabric のユーザー API のプレビュー版をお知らせします。 Fabric ユーザー API は、企業とパートナーの両方が Microsoft Fabric を使用できるようにするための主要な機能です。これらが、エンド ツー エンドの完全に自動化されたサービスとの対話を可能にし、外部 Web アプリケーションへの Microsoft Fabric の統合を可能にし、一般に顧客とパートナーがソリューションをより簡単にスケーリングできるようにするからです。

Microsoft Fabric での継続的インテグレーション/継続的デリバリー (CI/CD)

このセクションは、Microsoft Fabric ワークスペースでの開発プロセス、ツール、ソース管理、バージョン管理に関するガイダンスとドキュメント更新の情報です。

Month 機能 詳細情報
2024 年 4 月 ファブリック データ パイプラインでの信頼されたワークスペース アクセスの導入 ファイアウォールが有効な ADLS Gen2 ストレージ アカウントに簡単かつセキュリティでアクセスするための データ パイプラインを Fabric に作成します。 この機能では、ワークスペース ID を利用して、Fabric とストレージ アカウントの間にセキュリティで保護されたシームレスな接続を確立します。
2024 年 3 月 Fabric Data Pipelines の CI/CD プレビュー Git 統合およびビルトインの展開パイプラインと Data Factory のデータ パイプラインの統合 がプレビュー段階になりました。 詳細については、「Data Factory による Fabric データ パイプラインへの CI/CD の追加」を参照してください。
2024 年 3 月 Git 統合のシステム ファイルの更新 自動的に生成されたシステム ファイル item.metadata.json および item.config.json は、単一のシステム ファイル .platform に統合されています。 詳細については、「自動的に生成されたシステム ファイル」を参照してください。
2024 年 2 月 Fabric Git 統合用の REST API Fabric Git 統合用の REST API を使用すると、チームのエンド ツー エンドの CI/CD パイプラインに Fabric Git 統合をシームレスに組み込むことができます。Fabric からのアクションを手動でトリガーする必要がなくなります。
2024 年 2 月 Git 統合設定の委任 Git 関連の設定をより詳細に制御できるように、テナント管理者は、管理ポータルとは何ですか?を介してこれらの設定を容量管理者とワークスペース管理者の両方に委任できるようになりました。
2023 年 11 月 Microsoft Fabric のユーザー API Microsoft Fabric のユーザー API は利用できるようになりました。 Fabric ユーザー API は、企業とパートナーの両方が Microsoft Fabric を使用できるようにするための主要な機能です。これらが、エンド ツー エンドの完全に自動化されたサービスとの対話を可能にし、外部 Web アプリケーションへの Microsoft Fabric の統合を可能にし、一般に顧客とパートナーがソリューションをより簡単にスケーリングできるようにするからです。
2023 年 11 月 デプロイ パイプライン内のノートブック (プレビュー) 開発、テスト、運用などのさまざまな環境にコードをデプロイするために、ノートブックも使用できるようになりました。 また、デプロイ ルールを使用して、ノートブックのデフォルトのLakehouseの変更など、デプロイ時のノートブックの動作のカスタマイズも行うこともできます。 デプロイメント パイプラインを開始すると、デプロイメント コンテンツに Notebook が自動的に表示されます。
2023 年 11 月 ノートブック Git 統合 (プレビュー) Fabric ノートブックが、Azure DevOps を使用するソース管理のための Git 統合を提供するようになりました。 これを使用すると、ユーザーが Fabric Git 関数と Azure DevOps を利用して、簡単にノートブック コードのバージョンを制御し、Git ブランチを管理できます。
2023 年 11 月 ノートブックの REST API (プレビュー) ノートブック項目に対する REST パブリック API を使用すると、データ エンジニア/データ サイエンティストがパイプラインを自動化し、CI/CD を便利かつ効率的に確立できます。 ノートブックの Restful パブリック API を使用すると、Fabric ノートブック項目の管理と操作、および他のツールやシステムとのノートブックの統合をユーザーが簡単に実行できるようになります。
2023 年 11 月 git の統合とデプロイ パイプラインに対するLakehouseのサポート (プレビュー) Lakehouse 品目は、Microsoft Fabric のライフサイクル管理機能と統合されました。これにより、製品の寿命を通じてすべての開発チーム メンバー間で標準化されたコラボレーションを実現します。 ライフサイクル管理は、機能とバグ修正を複数の環境に継続的に提供することで、製品の効果的なバージョン管理とリリース プロセスを容易にします。
2023 年 11 月 Fabric Warehouse に対する SQLPackage サポート SQLPackage で Fabric Warehouse がサポートされるようになりました。 SqlPackage は、パブリックのデータ層アプリケーション フレームワーク (DacFx) API の一部を公開することで、次のデータベース開発タスクを自動化するコマンドライン ユーティリティです。 SqlPackage コマンド ライン ツールでは、これらの操作と共に、操作固有のパラメーターおよびプロパティを指定できます。

継続的インテグレーション/継続的デリバリー (CI/CD) のサンプル

Month 機能 詳細情報
2024 年 3 月 Microsoft Fabric ライフサイクル管理 – Git 統合および展開パイプラインの概要 デモ シナリオを通じて ライフサイクル管理の要点 について説明し、ライフサイクル管理とは何か、Fabric の意味について説明します。

Microsoft Fabric の Data Activator

Data Activator は、データの変更でパターンまたは条件が検出されたときに自動的にアクションを実行するための、Microsoft Fabric のコードなしエクスペリエンスです。 このセクションは、Microsoft Fabric の Data Activator に最近加わった新機能や能力に関する情報のまとめです。

Month 機能 詳細情報
2024 年 3 月 新しい式「変更」、「増加」、および「減少」 トリガーに条件を設定するときに、データに絶対数または割合で変更が発生したことを検出できる構文が追加されました。 「新しい式「変更」、「増加」、および「減少」」を参照してください。

Fabric と Microsoft 365

このセクションは、Microsoft Fabric と Microsoft Graph および Microsoft 365 との統合に関する記事やお知らせの情報です。

Month 機能 詳細情報
2024 年 3 月 Microsoft Fabric から Dataverse テーブルを分析する Fabric 内でショートカットを作成すると、Dataverse のオプションが表示されます。 このショートカットの種類を選択し、Dataverse 環境の詳細を指定すると、その環境のテーブルをすばやく表示して操作できます。
2023 年 11 月 Fabric + Microsoft 365 Data: 組み合わせるとさらに便利 Microsoft Graph は、Microsoft 365 のデータとインテリジェンスにアクセスするための入口です。 Microsoft 365 Data Integration for Microsoft Fabric では、各種の分析エクスペリエンスを使用して、Microsoft 365 を 1 つの場所で、他のデータ ソースと一緒に管理できます。
2023 年 11 月 Microsoft 365 コネクタが、Lakehouse (プレビュー) へのデータの取り込みをサポートするようになりました Microsoft 365 コネクタが、Lakehouse テーブルへのデータの取り込みをサポートするようになりました。

移行

このセクションは、Microsoft Fabric への移行に関するガイダンスとドキュメント更新の情報です。

Month 機能 詳細情報
2024 年 2 月 Azure Synapse 専用 SQL プールを Fabric Data Warehouse コンピューティングにマッピングする Azure Synapse Analytics 専用 SQL プールからほぼ同等の数の Fabric 容量ユニット (CU) に Data Warehouse ユニット (DWU) をマッピングする方法に関するガイダンスをお読みください。
2023 年 11 月 Azure Synapse 専用 SQL プールからの移行 Azure Synapse Data Warehouse 専用 SQL プールから Microsoft Fabric への移行に、移行 Runbook の詳細なガイドを使用できます。
2023 年 11 月 Azure Synapse Spark から Fabric への移行 複数のシナリオとフェーズを含む移行プロセスなどの、Azure Synapse Spark から Microsoft Fabric への移行に関する詳細な記事のセット。

モニター

このセクションは、Microsoft Fabric の容量と使用率の監視 (監視ハブを含む) に関するガイダンスとドキュメント更新の情報です。

Month 機能 詳細情報
2024 年 3 月 一時停止と再開の容量メトリックのサポート ファブリック容量メトリックは、一時停止された容量の分析 を簡略化するために、新しいシステム イベントと調整ロジックで更新されました。 ファブリックの一時停止と再開 は、F SKU 容量を一時停止してコストを管理できる容量管理機能です。 容量が動作していない場合は、一時停止してコスト削減を実現し、後で容量の作業を再開する場合は、再アクティブ化できます。

Microsoft Purview

このセクションは、Microsoft Fabric の Microsoft Purview に関するガバナンスとコンプライアンスの機能について、最近行われた発表のまとめです。 詳細については、「Microsoft Fabric での情報保護」を参照してください。

Month 機能 詳細情報
2023 年 5 月 Microsoft Fabric の管理、セキュリティ、ガバナンス Microsoft Fabric には、Microsoft Purview を利用した企業グレードのガバナンスおよびコンプライアンス機能が組み込まれています。

アーカイブ

以前の更新プログラムについては、Microsoft Fabric の以前の更新プログラムのページを参照してください。

関連するコンテンツ