El tamaño es directamente proporcional al bitrate... asi que el hecho de que bajes la resolucion no va a hacer que puedas usar mas bitrate para el video.
La solucion como has dicho es bajar la resolucion pero tambien bajar el bitrate. El hecho de que sea menos resolucion significa que se nececita menos bitrate para llenarla.
Asi que, al hacer calculos, supongamos que tu pelicula dura 1:30 para poner la pelicula que deseas en un archivo de 750MB se necesita un bitrate de 960 en video y 192 en audio. Esos 960 se aprovechan mejor usando una resolucion tipo 640X352, que la de 720x400, pues en esta ultima podrian aparecer artefactos o los clasicos pixeles gigantes ya que esa cantidad de bitrate no llena todo el frame.
Espero haberme explicado bien, te recomiendo que, si no quieres complicarte mucho, uses el Gordian Knot, ese programa te calcula la resolucion recomendada respecto a la duracion y al tamaño final desado.
Salu2