Такое название неслучайно — Касл-Ховард действительно является родовым имением английского аристократического семейства Говардов, главой и самым известным представителем которого был королевский казначей граф Карлайл.
Замок находится в 25 километрах к северу от Йорка, в Северном Йоркшире
К его строительству был привлечён человек, позже ставший самым выдающимся архитектором Англии, работавшим в стиле английского барокко — Джон Ванбру, впоследствии взявшийся за проект ещё одного, не менее пышного, барочного дворца Бленхейм — родового поместья герцогов Мальборо. Но, в отличие от Бленхеймского дворца, где архитектору помогал его ассистент Николас Хоксмур, замком Ховард Джон занимался самостоятельно, и, несмотря на то, что это был его первый проект, Касл-Ховард считается венцом его творчества, самым пышным барочным дворцом Великобритании.