В художественном тексте возможно написание строчными буквами.
Министерство пишется с прописной буквы как первое слово официального названия: Министерство финансов Российской Федерации. При неофициальном употреблении верно написание со строчной (например, в газетном тексте: в министерстве финансов нам сообщили...). Сокращенное название Минфин тоже пишется с прописной.