en gnuplot, cuando haces x**2 estas elevando x al cuadrado.
1/(lx*lx) sería lo mismo que poner lx**(-2), o sea: lx elevado a -2
EDITO: Más sencillo de comprobar
plot exp(((ly**(-2))+4*(lx**(-2)))*x) --------------> BIEN
plot exp((1/(ly*ly)+4/(lx*lx))*x) --------------> MAL
Oh, pollas.... He encontrado la causa. Se trata del redondeo debido a que lx e ly sean números enteros.
Con lx=5 falla. Pero con lx=5.0 funciona bien.
Realmente no es un bug, sino una feature un poco oscura, ocultada a través del uso de variables. Niños! acordaos de definir bien vuestros enteros!