Quitarlo no lo puedes quitar, porque forma parte del SO. De hecho el explorador de archivos, funciona exactamente igual que el IE
Lo que puedes hacer, es eliminar el icono, usando la opción del panel de control de "agregar y quitar programas", elige el dibujito de "Configurar acceso y programas predeterminados", la opción de "personalizado"... y eliges los programas que usaras de forma predeterminada.