Omstreeks het jaar 1200 is Schaloen gebouwd als verdedigingsburcht in opdracht van de familie Van Hulsberg. Overblijfselen van het burchtverleden zijn nog steeds te zien in de gewelven van het huidige kasteel. Schaloen was een bijna vierkant gebouw met op elke hoek twee massieve steunberen en een arkeltoren in de kap. Rondom het dak, dat in een tentvorm binnen de muren stond, was een weergang, waar de soldaten waakten over de veiligheid van de kasteelbewoners en hun gasten. Om de soldaten te beschermen tegen beschietingen van buitenaf was een weergangmuur opgetrokken. Schietgaten in deze muur zorgden er voor dat de soldaten zich van binnenuit konden verweren. De bijgebouwen stonden bij het oorspronkelijke kasteel aan de rechterzijde van het hoofdgebouw. Van daaruit gaf een brug over de moerassige slotgracht toegang tot het ‘eiland’ Schaloen. Als de brug was opgehaald vormde het moeras een uitstekende verdedigingslinie. De muren van het kasteel in zijn eerste vorm zijn ruim twee meter dik en gebouwd van basaltkeien. De deuren waren van tien centimeter dik massief eikenhout. Hierdoor werd de burcht een bijna onneembare vesting.  Toch is het kasteel in 1575 door oorlogsgeweld bijna geheel afgebrand. In het jaar 1656 was de herbouw van het kasteel voltooid. Van de oorspronkelijke bouw rond 1200 waren alleen de muren en twee arkeltorens over. Omdat de weergangen niet meer zijn herbouwd was er geen sprake meer van een verdedigingsburcht. Het kasteel werd vanaf dat moment dan ook vaak beschreven als de ‘Lusthof” Schaloen.