EnableOverlays レジストリ値は DirectDraw のオーバーレイミキサーフィルターの有効無効をアプリケーション単位で指定するためのもののようです。
ただし オーバーレイミキサーフィルターは Windows XP 時代の古いテクノロジーで、Windows Vista 以降に対応したグラフィックドライバーであればハードウエア オーバーレイが利用できるので、ソフトウエア的なオーバーレイは無効にされます。特定のアプリケーションのために広報互換が必要な場合、EnableOverlays でオーバーレイミキサーフィルターを有効にできます。
質問されている現象は、動画を再生しているアプリケーションが Windows 10 と互換性がないために発生している可能性が考えられますが、どのようなアプリケーションで動画を再生されているのでしょう?
参考
Overlay mixer seems to be broken in Windows 8 (microsoft.com)