El método está bien pero tienes un error en el apartado a) que hace que los dos apartados estén mal.
Fijate en que te dan un intervalo en el que está alpha, que va de 90 a 180º. Con eso deberias saber que el seno será positivo y el coseno negativo. Por lo tanto cuando aplicas la suma de cuadrados igualada a la unidad, debes considerar tanto la raiz positiva como la negativa, y en este caso en particular la buena es la negativa. Por lo tanto coseno(alpha)=-3/5 y coseno(alpha+180)=3/5.
En estos ejercicios siempre es ineteresante que te hagas un croquis con los 4 cuadrantes y asi seguro que no te equivocas en el signo del seno/coseno.
saludos
EDITO: Habia leido mal tu ejercicio. No sé muy bien que haces en el apartado b (supongo que utilizas la tg y la cotg), pero es mucho más sencillo. Hazte un dibujo de un angulo que esté entre 90 y 180º y sumale 180º. Veras que su coseno simplemente cambia de signo.