En sten från den ursprungliga katedralen har lämnats som ett minne.