Creo que lo más practico es hacerlo con Reactor Fracture. No se bien como funciona, pero creo que tenes que armar por un lado la casa entera, y por el otro la casa con los pedacitos que se van a romper. Los pedazos rotos los tenes que tener con visibilidad 0, y despues cuando llegue el momento del derrumbe, lo invertis, es decir le pones visibilidad 0 a la casa entera, y 1 a los pedacitos. Los pedacitos los tenes que asignar previamente al sistema fracture, que supongo tendra alguna configuracion para elegir el momento de la fractura...
en fin, no creo que te sirva mi explicacion si no conoces algo de reactor, porque fue muy poco clara y precisa. seguro alguien que sepa manejar bien reactor te lo pueda explicar mejor
