Земля была отдана в обмен на военную службу, как было принято во времена Норманнского феодального строя. На этих условиях Вильям Рассел, один из баронов, чьи усилия вынудили короля Джона подписать Великую Хартию Вольностей, получил феодальную власть над поместьем Грумбридж в 1230-х годах. Вильям и его жена Хавейс построили здесь замок, окруженный рвом с водой, а в 1239 году получили в дар от Генриха III привилегию основать часовню, частную церковь для проведения мессы. Когда в 1261 году Вильям Рассел умер, феодальная власть над землями была дарована Генри де Кобэму, потомку влиятельного Кентского рода де Кобэмов. К середине четырнадцатого века земли оказались во владении сэра Джона де Клинтона, чей внук, Лорд Клинтон и Сэй, приблизительно в 1400 году продал Грумбридж Томасу Уоллеру, местному землевладельцу.
Внук Уоллера, Ричард, был Гофмейстером двора рода Бофоров. В 1412 году он получил опекунство над двенадцатилетним Джином, герцогом Ангиемским, и держал заложника в Грумбридже 30 лет в ожидании оплаты долга в 150 000 крон его старшим братом Чарльзом, герцогом Орлеанским, который сам был пленником в Портефракте в ожидании выкупа от армии двора Агинов. Младший герцог, по общему мнению, после долгих лет своего заточения обнаружил любовь к этим местам и, как считается, содействовал переустройству местной церкви в Спелдхерсте. Семья Уоллеров владела Грумбриджем в течение двух столетий. В 1604 году поместье было приобретено сэром Томасом Сэквилем, первым Графом Дорсетским и Государственным казначеем Англии, чья семья владела (и владеет до сих пор) соседними землями. Сэр Томас, превосходный поэт и политик, возможно, построил некоторые здания в старом Грумбридже.