Hola.
Creo que en excel no se puede, y en word, aunque lo controlo menos, me da la impresión de que tampoco.
Como chapuza para salir del paso, si la tabla no es muy complicada, puedes intentar en vez de poner un borde a las celdas de la tabla, insertar una autoforma (da igual en word o en excel) que sea un rectángulo transparente con los bordes redondeados, colocada como si fuera el borde de la tabla.
Saludos.