В сочетании с географическим термином гора названия женского рода склоняются: на горе Зеленой. Названия мужского рода остаются в начальной форме: у горы Эльбрус.

От прилагательного горький образуются обе формы сравнительной степени, различающиеся по значению: горче (по вкусу) и горше (горестнее). Они образованы суффиксальным способом: горче – с помощью суффикса -е (перед ним происходит чередование к – ч), горше – с помощью суффикса -ше (перед ним отсекается финаль -к- основы исходной формы). Подробнее см. в «Русской грамматике». 

Правилен второй вариант. Аналогичные примеры можно найти в «Письмовнике».

А. В. Суперанская, один из лучших специалистов по ономастике, считала, что «номенклатурные термины [родовые понятия] составляют неотъемлемую часть географических названий», однако в своих публикациях она часто пишет о «собственно названиях», отделяя их от родовых слов-понятий. Объединяющим термином у А. В. Суперанской часто выступает слово топоним (см., например: Суперанская А. В. Прописная и строчная буква в собственных именах различных категорий // Орфография собственных имен / отв. ред. А. А. Реформатский; АН СССР, Ин-т рус. языка. М.: Наука, 1965. С. 25–43).

Современной орфографической норме соответствует написание Соколиная Гора – и по отношению к названиям улиц, и по отношению к названию района. Разнобой в написании вызван противоречивостью рекомендаций в справочных изданиях. См. также ответ на вопрос № 236224.