A más de 500 metros sobre el nivel del mar, dominando la Villa sobre un peñasco, se encuentra el Castillo de Sax.

Junto a los castillos vecinos de Villena y Biar es una de las principales fortalezas de la comarca del Alto Vinalopó, en el interior de Alicante.

El acceso al castillo-fortaleza de Sax se realiza por la vertiente noroeste, siendo inaccesible por su parte oeste.

El castillo cuenta con dos torres cuadradas. La primera, de una sola planta y que data del S. XII, está situada en una superficie rectangular de la zona norte. La segunda, la gran torre del Homenaje, fue construida en el S. XIV en la zona suroeste.

Periódicamente se realizan visitas guiadas gratuitas al Castillo de Sax.