Il Castello di Matera, noto come il Castello Tramontano, nome del conte più famoso della città, è situato su un'altura dalla quale era possibile vigilare su tutta la città.

A partire dal 1501 fu fatto costruire ad opera del feudatario Giovan Carlo Tramontano che lo volle in un possente stile aragonese, con torri e feritoie.

Il conte non fu amato dai materani in quanto, per risolvere i suoi problemi di debiti, tassò oltremodo la popolazione portandola all'esasperazione. Il motivo economico unito a chi non sopportava lo Jus Primae Noctis che pare esercitasse il conte sulle spose materane, scatenò un odio che lo porto ad essere ucciso dal popolo nella strada accanto alla Cattedrale, che da quel momento prese il nome di via Riscatto.

Il Castello, che oggi rimane un monumento possente e simbolo supremo della Matera medievale, è incompleto rispetto al progetto inizialmente voluto dal Conte. Rimangono tutt'ora, le vie sotterranee che collegavano il castello al resto della città, creando intorno a quel periodo un denso alone di mistero.