Die von den Arabern erbaute Burg von Loulé wurde im 13. Jh., nachdem die Stadt von den Mauren zurückerobert wurde, von D. Paio Peres Correia wieder aufgebaut.
Im Innern der Burg befinden sich das städtische Museum und das städtisch Dokumentationszentrum.