Con lo que te tienes que quedar es con el resto, no con el resultado.
Divides 255/16, te da 15 de resto y 15 de cociente.
Bien, ya sabes que 15 = F, por lo tanto el resultado es FF. Si el resultado te da más de 15, vuelves a dividir.
----------------------------------------------
Pongamos un número más grande, 5.416. Bien, coge papel y boli y empieza.
5416/16 = 338 de cociente y 8 de resto. Vuelves a dividir el cociente:
338/16 = 21 de cociente y 2 de resto. Vuelves a dividir el cociente:
21/16 = 1 de cociente y 5 de resto. Bien, Eliminas los cocientes usados anteriormente y te quedas con todo ordenado de arriba a abajo, es decir, que el resultado sería 1528.
-------------------------------------
La operación inversa es infinitamente más fácil, solo hay que multiplicar cada uno de los números por potencias de 16. Vamos, las unidades las multiplicas por 16^0(1), las decenas por 16^1 (16), las centenas por 16^2 (256) etc.
Siguiendo con el ejemplo, volvemos a pasar 1528 a decimal:
8 * 16^0 = 8 * 1 = 8
+
2 * 16 ^1 = 2*16 = 32
+
5 * 16^2 = 5*256 = 1280
+
1 * 16^3 = 1*4096 = 4096
=
5416
¡¡ooohhh!! ¡¡milagro!! El mismo resultado que al empezar.
PD Ya sabes que cualquier número superior a 9 en hexadecimal se escribe como A,B,C,D o F.
PPD El ejemplo de pasar de decimal a hexadecimal hazlo con papel y boli (dividiendo a mano) subrayando los restos y el cociente final o no te enterarás de nada. Haz las divisiones con papel o boli, no con calculadora, porque si tienes que usar la calculadora directamente busca la opción de pasar de decimal a hexadecimal y te ahorras tiempo.