Можно написать первое слово с прописной буквы, если имеется в виду образное наименование города. Кавычки при этом использовать не нужно.

В неофициальных устойчивых, в том числе образных, названиях государств и городов с прописной буквы пишется первое (или единственное) слово, а также (если они есть) собственные имена, напр.: Страна восходящего солнца (о Японии), Страна утренней свежести (о Корее), Поднебесная империя или Поднебесная (об императорском Китае), Страна кленового листа (о Канаде), Страна тюльпанов (о Голландии), Вечный город (о Риме), Белокаменная, Первопрестольная (о Москве), Северная Пальмира (о Петербурге).

Слово Первопрестольная (о Москве) пишется с большой буквы.

Это сочетание лексически избыточно, т. к. значение слова первопрестольный - 'являющийся старейшей столицей'. Правильно: первопрестольный город или первая столица.