A właściwie zamek Highclere wybudowano na miejscu wcześniejszego, średniowiecznego pałacu biskupa Winchester, który mieszkał na tych terenach od VIII w. W 1679 roku posiadłość przeszła w ręce rodziny Carnarvon. W XIX wieku nowi właściciele zlecili przebudowę zamku w stylu neogotyckim, który w XIX-wiecznej Anglii był bardzo popularny.

Spożywanie posiłków to niezwykle ważny element życia w Downton Abbey. Odbywają się w dużej jadalni przy długim i wystawnym stole nakrytym białym obrusem. W zasadzie stół zajmuje większą część pomieszczenia. Oprócz tego mebla widzimy komody, pomocniki dla służby czy mnóstwo obrazów na ścianach.

Skromniejsze, ale każdy detal w pomieszczeniach dla serialowej służby jest tu dopracowany. Kuchnia stanowi zdecydowanie królestwo pani Patmore – głównej kucharki, która dosyć twardą ręką zarządza podlegającym jej zespołem. Cały czas jest tam gwar i praca w pocie czoła. Tak jak "na górze", tak w pomieszczeniach służby na dole w centrum - oprócz stołu, gdzie przygotowuje się potrawy - stoi długi drewniany stół, gdzie służba spożywa posiłki i gdzie widzowie są świadkami wielu rozmów oraz sekretów.

Były bardziej skromne, bo przystosowane do ich użytkowników. Nie były to miejsca, które odwiedzali goście, więc nie musiały być bardzo reprezentacyjne. Wszystko dokładnie odwzorowano w serialu. Na zdjęciu Michelle Dockery jako Lady Mary podczas zdjęć.

Są naprawdę okazało i bogato zdobione. Pełno w nich dywanów, obrazów w dekoracyjnych ramach czy żakardowych tapet. Tu hol zamku, gdzie również wiele się dzieje w serialu i filmie.

Bohaterowie Downton Abbey różnie spędzają czas wolny. Albo we wnętrzach zamku albo na zewnątrz. Głowa rodu, czyli lord Grantham (Hugh Bonneville) ze swoim wnukiem gra w warcaby w bibliotece.