Правильно: Дом культуры «Олимп».
Слово олимп в знач. 'избранный круг, верхушка какого-либо общества' пишется строчными. Кавычки не нужны: политический олимп.
Собственное условное наименование "Олимп" нужно заключить в кавычки: ПКТС "Олимп". Подробно об оформлении на письме собственных наименований см. в рубрике "Письмовник":
Как правильно употреблять кавычки (часть первая)
Как правильно употреблять кавычки (часть вторая)
Как правильно употреблять кавычки (часть третья)
В данном случае - со строчной буквы.
Орфографический словарь
Большой толковый словарь
Вряд ли такое словоупотребление корректно. В данном контексте верно написание со строчной буквы.
Верно: Ну и конечно, гора Олимп, самая высокая в Греции.