So wie ich Deine Frage verstehe, hast Du ja kein Latenz-Problem beim Streamen, sondern das Füllen der Puffer für die unterbrechungsfreie Wiedergabe "dauert" sichtbar. Das kann an einer geringen Übertragungsrate zwischen Router und PC oder auch an Störungen der Bluetooth-Verbindung durch eigene oder fremde WLAN-Netze liegen. Teste doch mal, ob die Verzögerungen auch in unmittelbarer Nähe zum Router auftreten.
Stell' darüber hinaus sicher, dass während der Wiedergabe das Mikro des Headsets ausgeschaltet ist. Trenne auch mal testhalber die BT-Verbindung und verbinde bei ausgeschaltetem Mikro das Headset neu. Auch ein Zurücksetzen der Kopfhörer könnte Besserung bringen.
Führe darüber hinaus einfach mal die Problembehandlung für Bluetooth durch: Einstellungen > System > Problembehandlung > Andere Problembehandlungen > Andere > Bluetooth.