Nelle Murge, fra Spinazzola e Gravina, rimangono i resti di un castello costruito nel XII secolo e distrutto da un terremoto nel XVIII.
Intorno al castello si trovava un abitato, probabilmente sul sito della Silvim peuceta, cittadina sul tratto della Via Appia che congiungeva Venosa e Gravina, sottomessa dai Romani nel III secolo a.C.
Costruito dai Normanni il castello passò con l'intero feudo nel 1195 ai Frati Gerosolimitani che ne fecero un luogo di produzione e raccolta di cereali che venivano spediti ai Crociati in Terra Santa.
Intorno al 1220 il castello fu incluso nel complesso difensivo di Federico II di Svevia come quello di Castel del Monte. Dopo la morte di Federico e la sconfitta di Corradino, venne depredato dagli Angioini.
In queste circostanze e nonostante le vessazioni fiscali degli Angioini ed i tentativi di invasione del duca di Andria, i Gerosolimitani riuscirono a tenere il feudo di Garagnone fino al XIV secolo.
Successivamente fu conteso fra Gravina e Altamura e posseduto da alcune famiglie nobiliari pugliesi fino al terremoto che, come si è detto, lo distrusse nel XVIII secolo.