Boa tarde pewghtak .
Aconteceu o mesmo comigo.
Meu windows é 64 bits.
Segue solução:
Entre na seguinte pasta:
C:\Windows\winsxs\amd64_microsoft-windows-explorer_31bf3856ad364e35_6.1.7601.17567_none_afa79dc39081d0ba
dentro dela vai ter o ícone do explorer, clique com o botão direito e selecione Fixar na barra de tarefas.
Isso deve funcionar.
Se o seu for 32 bits tente:
Entre em C:\Windows e procure por "explorer" sem aspas, provavelmente ele dará o local onde está o explorer dê dois cliques para abrir a pasta depois é só cliquar com o botão direito e selecione Fixar na barra de tarefas.
Isso deve funcionar.
Poste se deu certo no meu computador deu abçs..