Figlio naturale di Ludovico il Moro e di Lucrezia Crivelli, nacque a Milano nel 1497.
Nel 1513, durante il governo del fratello Massimiliano, difese Novara contro l'attacco francese.
Nel 1525 combattè contro gli Spagnoli che lo assediarono a Milano nel Castello Sforzesco e a Lodi, riuscendo a respingere gli assedianti.
Dopo la pace di Bologna ottenne nel 1532 il titolo di marchese di Caravaggio.
Morì in circostanze mai chiarite a Napoli nel 1535 mentre si accingeva a dimostrare a Carlo V i suoi diritti di successione nel ducato di Milano.
Il figlio Muzio, nato dal matrimonio con Violante Bentivoglio, ereditò il marchesato di Caravaggio.
Giovanni Paolo è considerato capostipite del ramo di Caravaggio della famiglia Sforza.