Høje Bjergby, Slots Bjergby