司空家,灭亡