Il y avait une ancienne forteresse. Il n'en reste que la Tour de Khalef, haute de trente mètres, édifiée au point le plus haut des remparts. Elle servait de "manar" ou tour à signaux, transformée en phare. De là, on a une vue magnifique sur la médina avec, au Nord-Est, le ribat et la Grande mosquée. les bâtiments actuels de la Kasbah ont été construits, autour de la Tour de Khalef, entre le IXè et le XIIIè siècle.