Правило существует для конца слов. В конце иноязычных слов после как твердых, так и мягких согласных пишется буква е, напр.: алиготе, амбре, анжанте, антре, апплике, аутодафе, безе, буриме, бурре, галифе, глясе, гофре, декольте, де-юре, кабаре, канапе, карате, каре, консоме, купе, кураре, кюре, макраме, мачете, моралите, нотабене, падре, пенсне, пике, пирке, плиссе, подшофе, пюре, резюме, реноме, руте, саке, соте, суаре, сюзане, тире, удэге, форте, фрикасе, фуэте, экспозе, эмансипе, эссе (кроме удэ, мохэ).

О собственных именах в правилах русской орфографии говорится, что во многих именах иноязычного происхождения пишется буква э. Как передавать по-русски японское имя, нужно спросить у специалистов по передаче японских собственных имен. Мы можем только констатировать, что в текстах встречаются оба варианта. 

Корректно: в Костроме, в городе Костроме.

Предпочтительно не склонять.

Верен второй вариант.

Возможны оба варианта, пунктуация зависит от интонации. Выбор за автором текста.