Você está correto, ao fazer o update do Windows 10 para o 11 uma pasta chamada Windows.old é automaticamente criada para caso você queira voltar para o Windows 10 dentro de 10 dias.
Para fazer a limpeza dessa pasta, clique no menu iniciar e digite Limpeza de disco.
Selecione a Unidade onde o Windows está instalado (geralmente C:)
Clique em "Limpar arquivos do sistema" e selecione novamente o disco
Marque a opção "Instalações anteriores do Windows**"** > Clique em Ok.
Lembrando que isso fará com que não seja possível reverter para o Windows 10, mas não irá interferir nos seus arquivos e aplicativos instalados no sistema.