Yo estuve en agosto, pero me imagino que no tendrá nada que ver con el invierno. Te puedo decir que la principal carretera(la famosa 1) sí que se suele mantener y en invierno me dijeron que siempre que el clima lo permite(y no son días festivos) pasan los quitanieves. Aunque un coche tracción total y neumáticos especiales de nieve te hará falta seguro porque allí puede estar despejado y a los 10 miuntos aparecer una niebla que no ves a metro y medio, y en invierno me imagino que puede empezar a nevar a saco.
Hay un tramo de la carretera 1, al este de la isla, que no está mantenido y actualmente es gravilla con algunos baches, este tramo puede ser un poco complicado si no tienes experiencia porque es una zona montañosa que primero sube con algunas curvas difíciles y luego baja, además las ovejas suelen usar los baches para beber agua, y no es de extrañar encontrar a grupos de 3 o 4 en mitad de la carretera. En verano yo me lo hice con un tracción delantera, coche tipo station wagon con 5 personas y maletas, y no tuve problemas aunque la gravilla estaba mojada de la lluvia/niebla. En invierno toda esa carretera está nevada y helada y ya hay un aviso antes de entrar que te dice que es posible que no puedas pasarla
Si vas a usar el coche ten en cuenta que allí las luces son obligatorias todo el día, aunque en febrero no te quedará más remedio. Y el peligro de las ovejas no sé si en invierno sigue estando, pero en verano en casi cualquier sitio puedes encontrar ovejas cerca de la carretera y hay que estar atento porque a veces les da por cruzar o por caminar por el borde.
Sobre sitios para visitar, la mayoría de cascadas/ríos en invierno están congelados pero aún así siguen siendo una atracción turística y vale la pena visitarlos. Te pondría una lista pero hay infinidad de cosas a ver repartidas por toda la isla. Las aguas termales que hay cerca del lago Myvatn creo que en invierno abren también.
Y personalmente, pueblos/ciudades, mis favoritos fueron Husavik y Akureyri. Pero todos los pueblos de costa o en fiordos que estuve me encantaron también
Te dejo un par de fotos curiosas
modo rally activado

Lo de las ovejas que comentaba antes

El tramo de gravilla en la carretera 1