Popayan, Cauca. L'abbandono