Buenas...
Consiste en maximizar/minimizar la función raiz de x^2 + y^2 + z^2, que, es lo mismo que maximizar/minimizar f(x,y,z))=x^2 + y^2 + z^2 (sin la raiz), sujeto a DOS restricciones, x^2 + y^2 - z^2 =0 y 1 +x +y-z=0.
Llamando a esas dos restricciones g(x,y,z)=0 y h(x,y,z)=0 planteamos un sistema de multiplicadores de Lagrange en el que Df(x,y,z)=lambda*Dg(x,y,z) + mu*Dh(x,y,z) (siendo Df/Dg/Dh la diferencial / gradiente).
Tienes cinco ecuaciones, las tres que dan las diferenciales, y las dos restricciones.
2x=lambda*2x + mu
2y=lambda*2y + mu
2z=lambda*-2z - mu
x^2 + y^2 - z^2 =0
1 +x +y-z=0
Cinco ecuaciones, cinco variables... resuelves y voila!