Este es un tema muy complejo, y aunque tengas un dedicado potente, te explico:
Tienes dos opciones, que la conversión de video (cualquier formato que subas - > FLV o H264 ) la haga el propio servidor, prepárate si tu server no es un high end tardará en hacerte una conversión, no esperes resultados como youtube ni soñando, conversiones similares a las de vimeo: subes un video y esperas 40-50 minutos, si bien te va.
eso es en hardware, en software necesitas cumplir con estos requisitos: apache +php 5+ y ffmpeg (no es necesario mysql). estos son softwares libres y los puedes descargar e instalar gratis en tu servidor, aquí el "back-end" o software de administracion de subida/conversion/publicacion de videos es el que te saldrá caro: 500-800 euros uno sencillito. (un portal con administracion de videos/usuarios/conversiones etc etc) si requieres de algo mas sencillo pues un script php que maneje el upload y la conversión +/- 150-200 euros. si sabes programar gratis.
y la opción que veo mas viable si lo que quieres es solamente subir tus videos y no depender de la potencia / ancho de banda de tu servidor, además de que sería mas rápido: conviertes tus videos en tu pc, luego solos los subes, de esta forma le ahorras al server la carga de subir->convertir->publicar.
Para video en vivo (broadcasting) es algo completamente diferente.
Si quieres algo como youtube es posible pero muy caro, ellos tienen miles de servidores a lo largo y ancho del planeta.
PD. si requieres ayuda MP