Facil si tienes localizados los iconos por los que quieres cambiar los que hay.
Explorador de archivos (Tecla windows + E) ->Herramientas -> Opciones de Carpeta -> tipos de archivo -> Buscas la extension que quieres modificar y le das a OPciones avanzadas. Lo primero que te sale es cambiar icono. seleccionas la ubicación del icono o un icono de la lista diferente y aceptas.
y en teoria ya esta (lo he provado y funciona).
si lo que quieres es simplemente diferenciar los tipos de archivos lo que puedes hacer es activar la opcion de mostar la extension de los archivos, a lo mejor es más practico, no?