Castello di origini alto medievali costruito su uno sperone di roccia tra il greto dei torrenti Isauro e Fossato, prima della loro confluenza nel Foglia.
Appartenuto in origine all'antica pieve di S.Lorenzo in Foglia, nel 1390 fu dato in feudo ai conti di Montefeltro che ne affidarono la ricostruzione a Francesco di Giorgio Martini.
Dopo una breve dominazione malatestiana ripassò ai Montefeltro, per essere poi assegnato nel 1631 al ducato di Urbino.
Acquistato nel 1874 dal Barone di Beaufort che lo donò definitivamente al comune a condizione che fosse utilizzato per scopi didattici.
Dalla primavera del 1996 il Castello insieme a gran parte del Centro storico completamente restaurato sono diventati sede di un Centro di lingua e cultura italiana per stranieri.