Nato intorno al 1219 dalla nobile famiglia degli Ubertini originaria del Casentino, Guglielmino fu avviato alla carriera ecclesiastica e nel 1248 fu eletto vescovo di Arezzo. In questa veste promosse la fondazione dell'Ospedale, della nuova cattedrale e di altre istituzioni cittadine.
Prese parte al concilio di Lione del 1274 al termine del quale ospitò ad Arezzo il papa Gregorio X ammalatosi durante il ritorno a Roma. Il pontefice morì nel palazzo vescovile di Arezzo il 10 gennaio 1276 e ancora ad Arezzo si tenne il conclave che il 21 gennaio elesse Innocenzo V.
Nel 1289 il vescovo si mise alla guida dell'esercito ghibellino nella battaglia di Campaldino durante la quale ricevette una ferita mortale. Sepolte nella chiesa di Poppi, le sue spoglie furono rinvenute nel 2008 e trasferite nella cattedrale di Arezzo fondata dallo stesso Ubertini.