A ver... supongamos que tienes el valor fijo en A1, y la columna por la que vas a multiplicar es la B, desde B1 hasta B4000. El resultado quieres que esté en la columna C, desde C1 hasta C4000 de tal modo que C1=A1*B1, C2=A1*B2... y C4000=A1*B4000. Es eso, ¿no?.
Bueno, pues te vas a C1 y pones la fórmula =$A$1*B1
Luego ya sólo es copiar y pegar en el resto de la columna C. La gracia es que si pones el símbolo $, te deja fijo el operando.
Saludos.