Hola.
Mi nombre es Dante Martino, asesor de la Comunidad.
Los archivos html, o css, como dices, los administran ciertas aplicaciones, y son esas aplicaciones las que clocan su icono predeterminado. Esos iconos no se pueden cambiar mediante las herramientas de Windows, sería necesario utilizar aplicaciones de terceros. Pero si son accesos directos, entonces los programas sí que te dejan cambiar el icono del acceso directo:
Clic derecho sobre el acceso directo > Propiedades > Cambiar icono (siempre que el ejecutable disponga de iconos para cambiar; no todas las aplicaciones tienen más de un icono).
La gran mayoría de carpetas permiten cambiar el icono representativo (excepto algunas carpetas de sistema). Haz clic derecho sobre una carpeta > Propiedades > Personalizar > Cambiar icono.