Прилагательные, образованные от географических названий, пишутся с прописной буквы, если они являются частью составных наименований — географических и административно-территориальных, индивидуальных имен людей, названий исторических эпох и событий, учреждений, архитектурных и др. памятников, военных округов и фронтов.

В остальных случаях они пишутся со строчной буквы.

Ср., напр.: невские берега, невские набережные и Александр Невский, Невский проспект, Невская битва; донское казачество и Дмитрий Донской, Донской монастырь; московские улицы, кварталы, московский образ жизни и Московская область, Московский вокзал (в Петербурге), Московская государственная консерватория; казанские достопримечательности и Казанский кремль, Казанский университет, Казанский собор (в Петербурге, Москве); северокавказская природа и Северо-Кавказский регион, Северо-Кавказский военный округ; 1-й Белорусский фронт, Потсдамская конференция, Санкт-Петербургский монетный двор, Великая Китайская стена, Большой Кремлёвский дворец.

Запятая не ставится.

Это просторечие.

Существуют обе формы. Ряд словарей указывает, что форма мучаюсь разговорная.