El unico requisito para el SLI es que la GPU sea la misma, en este caso no habria problema porque son las dos 8800gts (aunque comprueba que sea la misma, en tu caso casi seguro el G80).
Luego si una tiene mas memoria que la otra esa memoria sobrante se desaprovecharia. En principio que las velocidades del core sean distintas no seria problema.
Despues ya esta el hecho de que realmente no suele servir de mucho, esta muy bien para sacar puntos en un 3DMark por ejemplo, pero este programa esta diseñado para soportar el SLI, cosa que muchos juegos no son capaces de hacer. La idea en principio seria sacar un rendimiento del doble, la realidad es que el incremento ronda mas bien el 20%.