Tira por MySQL, en mi trabajo tenemos BBDD de mas de 100Gb, y en servidores de mucho trafico de red, constantemente hacemos pruebas de rendimiento con JMeter, y cumple muy muy bien, encima gratis!!!
Te comentare mas o menos tenemos 4 cluster con 256Gb de RAM, 16 Intel Xeon y 32Tb repartidas en cabinas de discos con sistema NFS, hay tenemos montados servidores virtuales, la gran mayoria son Linux, hay varias cosas montadas, pero asi a groso modo, pues en tema de BBDD, estan montadas sobre 2 servidores virtuales con DRBD, Hearbeat y Keepalive, Apache, Tomcat, en algunos JBoss, y otras herramientas, te hablo que el uso no es de empresa pequeña, se le mete muucha pero muucha caña, y constantemente tiene trafico, y mira, sin problemas, de vez en cuando nos salta el Nagios alguna alarma y es por sobrecarga.. pero pa lante!!
te recomiendo MySQL

bien montado en la empresa, tira cojonudamente bien.
Es mas, te recomendaria 3 servidores (1 frontal y 2 backend), o 2 uno cargadito de ram para la BBDD y otro mas sencillo para el frontal. Tambien lo puedes hacer en virtual y ahorrais costes, para hacer una parte frontal y una parte backend con la BBDD y montado con DRBD, alta disponibilidad y balanceo de carga, te lo montas en un apache con php, mirar la opcion de jboss y tomcat y sobre un Debian a pelo la version NetInstall e instalas lo necesario.
Parte Frontal:
Apache, PHP, Tomcat y JBoss
Parte Backend:
MySQL, Hearbeat, Keepalive y DRBD
Si te recomiendo que si vas a tener datos vitales de la empresa en la BBDD lo tengas con DRBD, KeepAlive y Hearbeat en 2 servidores, sean fisicos o virtuales.
y con eso lo tienes todo montado

saludos