Figlio di Ferdinando d'Asburgo e di Anna Jagellone, il secondo figlio maschio della coppia imperiale, Ferdinando nacque a Linz il 14 giugno 1529.
Nel 1547 il padre gli affidò il governo della Boemia e nel 1556 il comando militare contro i Turchi.
Nel 1567 sposò in segreto Philippine Welser, donna colta e bella appartenente ad una famiglia molto facoltosa ma non alla nobiltà, si trattò quindi di un matrimonio morganatico e i figli della coppia furono esclusi dalla successione.
Nel 1564 Ferdinando d'Asburgo morì e Massimiliano II, fratello maggiore di Ferdinando, divenne imperatore mentre a Ferdinando andarono i titoli di duca dell'Austria Anteriore e conte del Tirolo, ma continuò a governare la Boemia fino al 1567, quando si trasferì con la moglie nel castello di Ambras, nei pressi di Innsbruck, una straordinaria residenza nella quale accumulò la sua famosa collezione di opere d'arte ed oggetti preziosi.
Nel 1572 rifiutò la possibilità di salire sul trono di Polonia perché accettando avrebbe dovuto lasciare la moglie.
Rimasto vedovo nel 1580, Ferdinando si risposò nel 1582 con Anna Caterina Gonzaga, figlia di sua sorella Eleonora e del duca di Mantova Guglielmo Gonzaga.
Ferdinando morì a Innsbruck il 24 gennaio 1595.
Da Philippine Welser erano nati quattro figli: Andrea d'Austria, Carlo d'Austria, Filippo d'Austria e Maria d'Austria. Da Anna Caterina Gonzaga nacquero Anna Eleonora d'Austria, Maria d'Austria e Anna d'Austria. Quest'ultima sposò l'imperatore Mattia d'Asburgo portandogli in dote il Tirolo.