Если это официальное название организации, то правильно: Центр досуга.
При существительных женского рода, зависящих от числительных два, три, четыре, определение, находящееся между числительным и существительным, чаще ставится в форме именительного падежа множественного числа: две (три, четыре) взрослые дочери. Но и вариант две (три, четыре) взрослых дочери возможен, это не ошибка.
Постановка запятой уместна.