Устойчивый оборот: истина в последней (высшей) инстанции.
Запятая перед как не требуется. Кавычки ставятся, если последней инстанцией учреждение называют сами граждане. Если это не цитата, то кавычки не нужны.
Определение, относящееся к двум или нескольким существительным – однородным членам, ставится в форме единственного числа, если по смыслу сочетания ясно, что определение относится не только к ближайшему существительному, но и к последующим. В противном случае употребляется форма множественного числа. При написании первая авария, кража, растрата поймет ли читатель, что прилагательное первая относится ко всем трем существительным? Если в этом есть сомнения, лучше написать первые.
Устойчивое выражение: истина (не мнение) в последней инстанции.
Корректно: по Первой улице.
Оба варианта возможны.