Carballeda se sitúa en el extremo oriental de Galicia y por ella transcurren el trazado de la antigua N-120, que une Galicia con la meseta, y el ferrocarril de Palencia a La Coruña.

Estos y otros ríos transcurren en los valles de la Sierra del Eje, que tiene sus mayores alturas en el sur: Macizo de Peña Trevinca (2119 m en Peña Negra, Peña Survia 2095 m., a Sierra del Eje (1500 m.) y los Valles del Casaio (1773 m.).

Los montes son de pizarras y esquistos, y su extracción en canteras es la principal actividad económica del municipio.