RABY CASTLE упоминается как собственность короля Canute, владения которого простирались на Норвегию с Данией и захватывали север Англии. Семья Neville, которая владела этим замком до середины 16 века, происходила от его племянницы Isabella Neville, которая взяла себе фамилию своих более поздних нормандских предков. От датчан в юго-западном углу замка сохранилcя бастион странной формы, который называется Bulmer's Tower, а сам замок датируется в основном 1380 гг., когда John, лорд Neville начал укреплять свое поместье в Raby. При нем также построили большие сводчатые ворота, Neville's Tower, - единственный вход во внутренний двор RABY CASTLE, вокруг которого группировались башни и другие замковые строения. Самой большой башней является Clifford’s Tower, высота которой достигает 24.7 метров, а самой интересной - Kitchen Tower, которая до сегодняшнего дня сохранила неприкосновенным свой средневековый внешний вид. Но несмотря на толстые каменные стены, какие возводили в 13 веке, RABY CASTLE всегда оставался просто укрепленным домом конца 14 века, который строили, скорее, для комфортного проживания, чем для военных нужд. Члены семьи Neville сыграли выдающуюся роль в Войне Алой и Белой Роз: Ralph Neville, граф Westmorland, помог Генриху IV занять трон, его внук Richard получил прозвище "Делатель королей", а Cicely Neville стала матерью Эдварда IV и Ричарда III. Состояние семьи заметно поубавилось во время восстания 1569 года на севере Англии против королевы Елизаветы I, когда местная знать попыталась вернуться к католическому вероисповеданию и лишилась всех своих титулов и земель. Charles Neville, граф Westmorland, бежал во Фландрию, где затем скончался в одиночестве и нищете. Земли Nevilles отошли Короне и перешли в частные руки только в 1626 году, когда замок купил сэр Henry Vane. RABY CASTLE не пострадал во время Гражданской войны благодаря тому, что сэр John и его сын были стойкими республиканцами. Однако в руки Christopher, лорда Barnard, который был внуком сэра Henry, замок перешел в полуразрушенном состоянии. Разгневанный браком своего сына сэр Henry решил сравнять свой замок с землей. Двести рабочих сняли крышу со здания, разобрали полы и окна, и уже приступили к сносу стен, когда его сын добился судебного постановления о прекращении разрушения замка. Благодаря интригующему совпадению RABY CASTLE снова перешел к потомкам семьи, которая его построила, т.к. бабушка нынешнего лорда Barnard была урожденная Neville.