При обращении к Богу: О Боже!
Как междометие: О боже!
См. также: http://gramota.ru/spravka/letters/?rub=ortho
При наличии пояснительного оттенка запятая возможна.
Да, ответ на вопрос № 246491 был неполным. Ответ уточнен. Спасибо за замечание!
Нет оснований для использования прописной буквы.
Возможны оба варианта.
Запятая ставится.