Figlio di Annibale I Bentivoglio e di Donnina Visconti, nacque a Bologna il 15 febbraio 1443.
Il padre morì il 24 giugno 1445 e la carica di "primo cittadino", considerando che Giovanni aveva solo due anni, passò a Sante Bentivoglio, figlio di un cugino di Annibale.
Sante morì a sua volta il I ottobre 1463 e Giovanni ne sposò la vedova Ginevra Sforza, dalla quale ebbe ben sedici figli, ed ottenne la carica.
Giovanni II governò in modo assolutistico reprimendo il potere del senato cittadino, ma il suo mecenatismo e le sue iniziative in campo culturale dotarono Bologna di una delle corti più raffinate del tempo.
Nel 1488 i Bentivoglio scamparono alla congiura organizzata dalla famiglia Malvezzi, nel 1501 Giovanni II rischiò di essere spodestato da Cesare Borgia che aveva già conquistato Faenza, ma riuscì a trattare cedendo Castel Bolognese.
Negli anni seguenti Giovanni II dovette fronteggiare una nuova congiura, quella dei Marescotti, oltre ai danni della carestia del 1504 e del terremoto del 1505.
Quando Giulio II, con il pretesto di accogliere gli appelli dei Malvezzi e dei Marescotti, ordinò a Giovanni II di abbandonare Bologna, il Bentivoglio rinunciò a resistere e si trasferì a Milano mentre il pontefice entrava in città nel novembre 1506.
Processato ed assolto, Giovanni II morì a Milano nel febbraio 1508.