Questo di solito accade perché OneNote per il web mantiene un riferimento in cache a quaderni che erano stati aperti in precedenza, anche dopo che il file è stato cancellato da OneDrive. Quando il notebook viene rimosso da OneDrive, il file vero e proprio scompare, ma la scorciatoia o la voce recente possono comunque apparire nella lista dei notebook di OneNote finché non vengono rimossi manualmente o la cache non viene aggiornata.
Normalmente puoi risolvere questo rimuovendo direttamente la voce del quaderno da OneNote Web. In OneNote per il web, trova il quaderno nel pannello sinistro, clicca con il tasto destro e scegli "Chiudi quaderno".