Верно: в городе Белгороде, в Республике Таджикистан.
Правильно: выбыл из г. Белгорода.
Можно написать первое слово с прописной буквы, если имеется в виду образное наименование города. Кавычки при этом использовать не нужно.
В неофициальных устойчивых, в том числе образных, названиях государств и городов с прописной буквы пишется первое (или единственное) слово, а также (если они есть) собственные имена, напр.: Страна восходящего солнца (о Японии), Страна утренней свежести (о Корее), Поднебесная империя или Поднебесная (об императорском Китае), Страна кленового листа (о Канаде), Страна тюльпанов (о Голландии), Вечный город (о Риме), Белокаменная, Первопрестольная (о Москве), Северная Пальмира (о Петербурге).
Названия городов склоняются. Подробные рекомендации см. в «Письмовнике».
См. в «Горячей десятке вопросов».
Правильно: Островский район, хотя город Остров. Ср.: Белгород, но Белгородская область. Русский язык не любит, когда после ударного слога остается много безударных.