Die eindrucksvolle Burg von Silves ist römischen Ursprungs und befindet sich auf der Spitze eines Hügels. Die heutige Anlage stammt jedoch von den Arabern und wurde zwischen dem 8. und 13. Jh. errichtet. Die aus lokalem Sandstein errichtete Burg weist einen unregelmäßigen, polygonalen Grundriss auf. Sie verfügt über ein Haupttor, das von zwei Verteidigungstürmen flankiert wird, sowie drei Festungstürme und sieben verschiedene Mauerabschnitte, die für Besucher zugänglich sind und um die Burg führen. In der Burg sind noch verschiedene Überreste der muslimischen Besetzung zu sehen, insbesondere ein als Getreidelager genutzter Speicher und eine Zisterne, die von einem Gewölbe mit fünf Rundbögen überdeckt ist. Obwohl die Burg von Silves im 13. Jh. nach der Eroberung der Stadt durch D. Paio Peres Correia umgebaut wurde, ist sie die am besten erhaltene arabische Militäranlage Portugals.