Возможна форма как единственного, так и множественного числа сказуемого.
С прописной следует написать Министерство культуры Украины, Министерство культуры России. А вот "наше министерство культуры" - со строчной.
Да, все слова пишутся строчными, т. к. название не является официальным: в пресс-службе регионального министерства культуры сообщили...