データ変換 - フィルター
重要
Machine Learning Studio (クラシック) のサポートは、2024 年 8 月 31 日に終了します。 その日までに、Azure Machine Learning に切り替えすることをお勧めします。
2021 年 12 月 1 日以降、新しい Machine Learning Studio (クラシック) リソースは作成できません。 2024 年 8 月 31 日まで、既存の Machine Learning Studio (クラシック) リソースを引き続き使用できます。
- ML Studio (クラシック) から Azure Machine Learning への機械学習プロジェクトの移動に関する情報を参照してください。
- Azure Machine Learning についての詳細を参照してください。
ML Studio (クラシック) のドキュメントは廃止予定であり、今後更新されない可能性があります。
この記事では、Machine Learning Studio (クラシック) のフィルター モジュールを使用してデジタル データを変換する方法について説明します。 Machine Learning Studio (クラシック) 用ツールのこのグループのモジュールは、デジタル信号処理テクノロジ用に開発されたフィルターに基づいています。
Note
適用対象: Machine Learning Studio (クラシック) のみ
類似のドラッグ アンド ドロップ モジュールは Azure Machine Learning デザイナーで使用できます。
通常、フィルターは、データ処理ステージまたは前処理ステージのデータに適用されます。 フィルターは、機械学習に使用されるシグナルの明確さを高めます。 たとえば、Machine Learning Studio (クラシック) のフィルター モジュールを次の処理タスクに使用できます。
- 音声認識に使用される波形をクリーンアップします。
- ノイズの多い営業データや経済データからトレンドを検出したり、季節的影響を除去したりする。
- テレメトリ信号のパターンまたはアーティファクトを分析します。
これらのモジュールは、よく研究されたアルゴリズムを使用して波形データを数学的に変換することで、フィルタを簡単に構成できます。 データに適用する正しい係数が既に決まっている場合、カスタム フィルターを作成することも可能です。
関連タスク
行ごとにデータセットからデータを除外する、欠損値を削除する、データセットのサイズを小さくするなどのタスクを実行する必要がある場合は、代わりに次のモジュールを使用します。
- 欠損データのクリーンアップ: 欠損値を削除するか、欠損値をプレースホルダーに置き換えます。
- パーティション分割とサンプル: 日付の範囲、特定の値、正規表現などの条件を使用して、データセットを分割またはフィルター処理します。
- クリップ値: 値の範囲を設定し、その範囲内の値のみを保持します。
デジタル信号処理のフィルタ
カメラにフィルターをアタッチして照明を補正したり、特殊効果を作成したりできるのと同様に、機械学習に使用するデータにフィルターを適用できます。 フィルターは、信号の明瞭性の向上、興味深い特性のキャプチャ、ノイズの低減に役立ちます。
理想的なフィルタは、すべてのノイズを除去し、目的の信号に対して均一な感度を有します。 ただし、非常に優れたフィルターを設計する場合でも、多くのイテレーションや手法の組み合わせが必要になる場合があります。 効果的なフィルターの設計に成功した場合は、新しいデータを変換するときに再利用できるようにフィルターを保存することを検討してください。
一般に、フィルター処理は波形解析の原則に基づいています。 フィルターを設計するときは、信号の一部を抑制または増幅する方法、基になる傾向を明らかにする方法、ノイズや干渉を減らす方法、または認識されない可能性があるデータ値を特定する方法を探します。
個々の傾向や、実際のデータ値を作成する波形コンポーネントを分解するために、さまざまな手法が適用されます。 一連の値は、三角関数を使用して個々の波形を識別および分離することによって分析できます。 (これは、エコノメトリック シリーズであるか、オーディオ信号の複合周波数であるかに関係なく当てはまります)。その後、これらの波形にフィルターを適用して、ノイズを除去したり、一部の波を増幅したり、ターゲットコンポーネントを削除したりできます。
ノイズの多い系列にフィルター処理を適用し、さまざまなコンポーネントを分離する場合、使用する周波数帯域を指定して削除または強化する周波数を指定できます。
Machine Learning Studio (クラシック) のデジタル フィルター
Machine Learning Studio (クラシック) では、次の種類のフィルターがサポートされています。
- 波形分解に基づくフィルター。 例としては、有限インパルス応答 (FIR) と無限インパルス応答 (IIR) フィルターがあります。 これらのフィルターは、シリーズ全体から特定のコンポーネントを削除することによって機能します。 その後、簡略化された波形を表示して調査できます。
- 移動平均値または中央値に基づくフィルター。 これらのフィルターは、データ系列内のバリエーションを時間帯で平均して除去します。 この時間帯は、固定またはスライドしたり、異なる形にすることも可能です。 たとえば、三角ウィンドウのピークは現在のデータ ポイントがピーク (現在の値がより強く重み付けされます) で、データ ポイントの前後に漸減します (前後の値がより軽く重み付けされます)。
- ユーザー定義、つまりカスタム フィルター。 データ系列に適用する変換が既にわかっている場合は、ユーザー定義フィルターを作成できます。 データ系列の変換に適用される数値係数を指定します。 カスタム フィルターは、FIR または IIR フィルターをエミュレートできます。 ただし、カスタム フィルターを使用すると、系列の各ポイントに適用する値をより詳細に制御できます。
フィルターの用語
次の一覧には、フィルターのパラメーターとプロパティで使用される用語の単純な定義が含まれています。
- 通過帯域:減衰または弱体化することなくフィルタを通過できる周波数の範囲。
- ストップバンド:信号が通過しない指定された制限間の周波数範囲。 阻止帯域は、カットオフ周波数を設定して定義します。
- ハイパス:高周波数のみを通過させる。
- ローパス:指定したカットオフ値より下の周波数のみを受け入れます。
- コーナー: ストップバンド周波数と通過帯域周波数の境界を定義します。 通常、コーナーを帯域に含めるか除外するかを決定するオプションがあります。 一次フィルタは、コーナー周波数まで緩やかな減衰を引き起こします。 その後、フィルターによって指数関数的な減衰が発生します。 高次フィルタ(バターワースやチェビシェフフィルタなど)は、コーナー周波数の後に急勾配があります。 高次フィルタは、ストップバンド内の値をより迅速かつ完全に減衰します。
- バンドストップフィルタ ( バンドリジェクト フィルタまたは ノッチ フィルタとも呼ばれます):ストップバンドは1つだけです。 ストップバンドを定義するには、高カットオフ周波数と低カットオフ周波数の 2 つの周波数を指定します。 バンドパス フィルタには、通常、2 つのストップバンドがあります。1 つは目的のコンポーネントの両側にあります。
- リップル:定期的に発生する小さな不要なバリエーション。 Machine Learningでは、IIR フィルター設計のパラメーターの一部として許容するリップルの量を指定できます。
ヒント
さらに詳しく知りたい場合 デジタル信号処理を初めて使用する場合は、「 デジタル信号処理の概要」を参照してください。 この Web サイトでは、基本的な用語と概念を説明する定義と役立つ視覚補助を提供します。
モジュールの一覧
データ 変換 - フィルター カテゴリには、次のモジュールが含まれています。
- フィルターの適用: データセットの指定した列にフィルターを適用します。
- FIR フィルタ: 信号処理用の FIR フィルタを作成します。
- IIR フィルター: 信号処理用の IIR フィルターを作成します。
- 中央値フィルター: 傾向分析のためにデータを滑らかにするために使用される中央値フィルターを作成します。
- 移動平均フィルター: 傾向分析のためにデータを滑らかにする移動平均フィルターを作成します。
- しきい値フィルター: 値を制限するしきい値フィルターを作成します。
- ユーザー定義フィルター: カスタム FIR または IIR フィルターを作成します。