Поскольку здесь не возникает сомнений, что определение относится ко всем существительным, лучше использовать форму единственного числа: мое детство, отрочество и юность.
Предпочтительно согласование во мн. ч.
Постановка запятой зависит от интонации. Решение принимает автор.