Figlio di Joscelin I conte di Edessa e principe di Galilea e di Beatrice di Armenia, divenne a sua volta conte alla morte del padre nel 1131.
Nel 1125 era stato catturato dai Turchi Selgiuchidi nella battaglia di Azaz insieme a Baldovino II e rilasciato su pagamento di un riscatto.
Si rivelò un governante mediocre, spesso distratto da dispute teologiche o da dissidi con gli altri piccoli stati latini.
Si alleò con Folco di Gerusalemme principe di Antiochia e con Giovanni II Comneno ma quando entrambi morirono nel 1143 i Selgiuchidi ebbero il sopravvento e nel 1144 si impadronirono della città di Edessa. Nel 1146 la popolazione si ribellò e Joscelin tornò brevemente in città ma dopo pochi mesi i Turchi conquistarono definitivamente Edessa.
Anche la città di Turbessel fu presa nel 1149 e ciò comportò la fine della contea di cui Joscelin II fu l'ultimo governante effettivo.
Nel 1150 Joscelin II fu catturato dai Turchi e imprigionato ad Aleppo dove morì nel 1159. Dopo la sua cattura la moglie Beatrice si traferì nel regno di Gerusalemme con i figli Agnese di Courtenay, Joscelin III e Isabella di Courtenay.