Entiendo que ahora mismo tienes un router-modem ADSL (si la entrada al router es rj-11, tiene que tener modem sí o sí).
Tienes varias posibilidades:
1) Buscar un router-modem que reemplaze por completo al de movistar, tipo Asus DSL-AC68U (u otro más barato, pongo uno que va bastante bien y soporta no-ip con el firmware de serie, ya puestos a cambiar)
2) Buscar documentación de tu router (googleando mayormente), a ver si permite ponerlo en modo bridge, para conectar un router neutro a un RJ-45 de tu router actual, manteniendo ambos aparatos pero haciendo que el segundo sea el que pide la IP al ISP y demás. Probablemente sea la opción más barata y más sencilla y lo más cercano a lo que quieres hacer.
3) Hacer algo "a medida", tipo una raspberry pi conectada a la red que pueda comprobar la IP externa y actualizarla en no-IP. Personalmente, me parece más fácil hacer un programita en la RPI que hacerlo con un segundo router, si el segundo router no es el que tiene "visión" al exterior tendría que leer la IP manualmente con algún servicio tipo echoip, y los firmwares de routers suelen estar muy limitados en cuanto a qué puedes hacer
Saludos