Es muy facil.
Excel considera la medida del tiempo tomando como unidad de medida un dia ( 1 = 1 dia) y como punto de referencia el 1 de enero de 1900 a las 0:00 horas al que le corresponde el numero temporal 1, las 12:00 de ese dia seria el numero temporal 1,5 y asi sucesivamente
Por lo tanto cuando usas la formula = B1-A1 en realidad estas contando LOS DIAS transcurridos entre las fechas de A1 y B1
Si lo que quieres es contar LAS HORAS, como un dia tiene 24 horas lo unico que tienes que hacer es multiplicar por 24
Es decir la formula seria:
= 24*(B1-A1)
Luego haces que la casilla que contenga esa formula tenga formato GENERAL (o si quieres numerico y le pones los decimales que desees)
Suerte.