Albons apareix a la documentació medieval a partir del s. XII, tant si es fa referència al lloc com un alberg del comte del Rosselló (Alburnos, Alburnis i Albornis), com a l’església de Sant Cugat (Sancti Cucuphatis de Albornis). Malauradament, la seva història posterior és quasi desconeguda.

El castell també es cita en documents del s. XIII, quan la familia Torrent el tenia en feu pels senyors de Torroella, encara que formava part del comtat d’Empuries. Però al passar el districte de Torroella a l’infant D. Joan l’any 1272, també adquirí el domini sobre el castell d’Albons.

El 1311 el rei Jaume II va vendre el domini feudal d’Albons al comte d’Empúries, el qual va fortificar la població i, 11 anys més tard, en va fer donació a Bernat d’Orriols. A partir dels darrers anys del s. XIV va passar a mans de la familia Foxà, fins que l’any 1462, a començament de la guerra civil catalana, el rei el va donar altra vegada al comte d’Empúries.