Внутренняя речь, невысказанные мысли оформляются по правилам прямой речи. Постановка восклицательного знака возможна.
Разделяем Ваши сомнения. В предложении представлена невысказанная мысль, которую уместнее оформить не как прямую, а как косвенную речь: Пытаясь не задаваться вопросом, откуда во мне столько сентиментальности, решительно встаю и выхожу из кофейни.