Kasteel Ammersoyen is een typisch voorbeeld van een Hollandse burcht uit de veertiende eeuw. Het kasteel heeft een vierkante grondvorm en vier ronde torens. Achter de dikke torens is een kasteel behouden gebleven dat veel van zijn geschiedenis heeft behouden. Archeologische vondsten geven een beeld van de Middeleeuwse leefstijl. Om het museum ligt een gracht. De spullen die uit deze slotgracht zijn opgevist, zijn gebruikt om de bovenverdieping in te richten, die nu als museum te bezichtigen is.