Por partes:
Ubuntu te instala GRUB, que es el gestor de arranque, que te permite elegir que sistema operativo arrancar, pero... si arrancas desde USB casi no sería necesario, y me explico, al iniciar el sistema por defecto arrancará de un sitio, habitualmente el disco duro interno, y si quieres arrancar desde USB tendrás que hacerlo usando las opciones de la BIOS.
Respecto a esto último, las placas base más antiguas seleccionan desde dónde arrancar mediante un Boot Order, configurable en la configuración de la BIOS, y las actuales, además de eso, permiten seleccionar al encender el ordenador, antes de cargar el SO, desde donde arrancar.
Entonces lo primero de todo será que mires si tu placa te permite arrancar desde USB, para eso nada más encender el ordenador entra en el Setup (habitualmente pulsando la tecla Supr ó F2, si te fijas nada más encender saldrá en una esquina de la pantalla o abajo algo como "pulsa F2 para entrar en el Setup). Ahí busca las opciones de arranque y dependiendo de tu BIOS tendrás que ver si está la opción de arranque desde USB o si lo puedes poner en el Boot Order ([url="http://www.wikilearning.com/tutorial/configuracion_de_la_bios/3392"]aquí[/url] un tutorial de BIOS, normalmente te saldrá en la parte de arriba nada más entrar en la BIOS el nombre y la versión para buscar más información vía Google, hay bastantes tutoriales y ayudas sobre esto). Si es así podrás instalarlo en el disco externo. Te recomiendo que uses el instalador gráfico de Ubuntu, primero arranca la versión LiveCD para comprobar que funciona todo lo imprescindible y luego instálalo siguiendo los pasos y eligiendo tu disco externo.
Te aconsejo que busques información en los foros de Ubuntu porque esto es algo que ya se ha hecho antes, así salvarás los principales problemas y todo será más sencillo.
Espero que te sea de ayuda