Il Castello fu edificato su di un promontorio detto Punta Penna, a nord della città in un punto che nei documenti è citato come promontorium.

Era la parte della penisola che corrispondeva al punto terminale della Monopoli medioevale.

In origine, quindi, l'insediamento doveva trovarsi alla periferia del nucleo urbano per essere poi inglobato nel corso del XII e XIII secolo fra i sobborghi settentrionali della città.