[HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Policies\Explorer]
および
[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\Explorer]にNoAutoTrayNotify(DWORD)を定義して値を1にすれば、すべてのアイコンを強制的に表示します。この設定に対応するグループポリシーもあります。
[HKEY_CURRENT_USER\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\FeatureUsage\AppLaunch]
か
[HKEY_CURRENT_USER\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\FeatureUsage\AppSwitched]
あたりに個別のアイコンの設定がありそうですが、アンドキュメントな仕様ですので、あきらめた方がいいでしょう。
基本的に設定でGUIで設定できるものはGUIで設定してください。
グループポリシーやPowerShellで設定用Cmdletが提供されているようなものはそちらを使った方がいいでしょう。
SDKやWindows Tuning Guideなどに書かれていないレジストリの設定については基本的に触らないでください。