Para tener población disponible y poder derribar casas debes derribar, primero, alguna construcción de artesanía o de guerra.
También existe la opción de, derribar una estructura de creación de materiales, como puede ser el marmolista, por poner un ejemplo.
Añado: Me acabo de dar cuenta que repetiste, dos veces el mismo Tema con diferentes títulos, con uno creo que da de sobra xD
Reporto este para que lo borren, un saludo.
*En el otro tienes las dos mismas respuestas mejor expuestas*