Дом построен из тесаного камня в три этажа квадратной формы (9 пролетов на 8 пролетов) на приподнятом цокольном этаже с развитыми угловыми башнями.
Дом и связанные с ним ворота Файф, обнесенный стеной сад, домик Колли, мавзолей, ледяной дом, дом Бридж-Гейтс и домик Иглз-Гейт отнесены к группе зданий категории А.
Дом Дафф был спроектирован Уильямом Адамом и построен между 1735 и 1740 годами для Уильяма Даффа из Брацо . Первоначально предполагалось, что фланговые павильоны будут соединены квадрантами с колоннами, но они так и не были завершены. Позже Дэвиду Брайсу-младшему было поручено построить 3-этажный павильон и коридорный блок, но он был поврежден бомбой в 1941 году и впоследствии снесен.
В Графы Файф переехал из Duff House в 1903 году, подарив имущество в Banff Бурга в 1906. С тех пор Duff House был в свою очередь, Palm Court гостиница, санаторий, военнопленный лагеря и бараки , но до сих пор сидит в продуманный ландшафт, правда, с добавлением поля для гольфа. С 1995 года он является частью Национальной галереи Шотландии .