Como te dicen, no creo que notes mucho cambio.
Si acaso notarías cambio con el 5820K pero no con gaming, sino con tareas multihilo de renderización como edición de video, etc. gracias a los 6 nucleos y 12 hilos en comparación a los 4 nucleos y 8 hilos del 6700k.
Yo tenía el mismo dilema cuando compré mi PC, y aunque el 6700k tiene más IPC y más MHz de base, un buen 5820k oceado te llega a niveles similares de velocidad, menos IPC si, pero también más nucleos y más caché. Y como yo, a parte de jugar a 1440p @ 144Hz, también edito y hago otras tareas, pues la plataforma X99 me vino mucho mejor y con más proyección de futuro que la del socket 1151.