Le château au bord de mer “Il Castello a Mare” dont Castellammare tira son nom, s'élève à 100 mètres d’altitude au-dessus du niveau de la mer derrière lesquels se détachent d'imposants dômes de rochers (les contreforts de Faito), qui s'élèvent verticalement jusqu'à 650 mètres. Le château fût construit pour monter la garde à l'étroit tronçon de côte pour lequel seule - entre la montagne imperméable et la mer - une armée aurait pu passer avec la mission opérationnelle d'avancer dans la péninsule de Sorrente.
Le nom de "Castello a Mare" apparaît pour la première fois dans un document de 1086 preuve documentaire que le Château existait déjà depuis longtemps. Construit par le duc de Sorrente, d’observance byzantine, comme forteresse frontière de sa domination, il subit, au cours de quatre siècles (du XI au XV) diverses transformations imposées par l’évolution des différentes techniques de l’art de la guerre. L’aspect actuel lui vint de la dernière transformation subie en 1470, afin de rendre le fort apte à soutenir les attaques de l’artillerie. Au début des années 500 il a été ajouté aux positions défensives des bouches de feu, la barbacane bastionné donnant sur le fossé extérieur rempli d’eau. Le "Castrum de Stabiis ad Mare" était la pierre angulaire d’un système complexe de défense comprenant entre autres les châteaux de Gragnano, Lettere et Pimonte et avaient plusieurs tours déployées sur l’avant du terrain , y compris une tour d’une taille considérable qui s’élevait sur le cordon littoral et était reliée grâce à un cheminement le long de de la muraille qui descendait du château à cette tour. Ressemblant au château “Nuovo “de Naples, le “Castello a Mare di Stabia” doit être considéré comme une œuvre médiévale, même si, à l’époque aragonaise, il fut équipé pour la défense : en effet, ces contreforts escarpés de renfort aux bases des tours préexistantes remontent au XV ème siècle et même à la première moitié du XVI ème siècle. Au XV ème siècle, la stratégie à large rayon en appui à la dislocation des navires et des flottes en mer, la forteresse de Castellammare n’était pas de peu de compte, si bien qu’elle devait être insérée dans la Chronique napolitaine figurante du '400 édita par le Filangieri di Candida.
Les trois armoiries que Castellammare a eues au cours des siècles portent toutes la représentation schématique du Château. Il est aussi à rappeler que la deuxième des quatre cathédrales de Castellammare faisait partie du complexe fortifié, où résidaient les évêques qui se sont succédés, qui y officièrent de 840 à 1362. Au temps de la conjuration des Barons, la forteresse fut livrée (octobre 1459), sans aucune résistance, par le châtelain, le catalan Gaillard, aux troupes de Jean d’Anjou, fils de René, Gaillard lui-même qui défendit, vaillamment et victorieusement le Château en 1461 pour les Anjou, contre Antonio Piccolomini, Duc d’Amalfi, qui avait vaincu, à l’embouchure du Sarno, les Angevins armés et avait occupé la ville le 23 octobre.