Слово солнце пишется с большой буквы только в астрономическом контексте - как название центра Солнечной системы: Вращение Земли вокруг Солнца. Затмение Солнца. В остальных случаях используется строчная буква: На с. смотреть. С. катится, стоит, висит. До солнца вставать.
Вне "астрономического" контекста верно написание со строчной буквы: на восходе солнца, сожженного солнцем.
Эта фраза восходит к словам князя Владимира Федоровича Одоевского (1803–1869) «Солнце нашей поэзии закатилось!». Это неподписанное извещение о смерти А. С. Пушкина в «Литературных прибавлениях к "Русскому инвалиду"», 1837, № 5, 30 января. Автором извещения долгое время считался редактор «Литературных прибавлений» А. А. Краевский.