Tio, estos problemas no son de estadistica, son de maquinas probabilisticas (cadenas de Markov ¿ocultas?), y son muy faciles de hacer porque la dificultad que tiene es saber cuales son las matrices, ya que supongo que sabras multiplicarlas.
Qué va, nos lo han puesto en clase, y creo que se soluciona con la probabilidad condicionada como bien dice demnim, pero la cuestión es que no se parece a la tónica de ejercicios que llevamos, por lo que es un gran candidato a entrar en el exámen final.