Топонимы с родовым словом остров обычно не склоняются: на острове Кипр.
Да оба слова пишутся с большой буквы: Лосиный Остров.
Топонимы в сочетании со словом остров обычно не склоняются. Поэтому верно: на острове Коневец. Подробнее см. в "Письмовнике".
При сохранении общего смысла "на острова" предпочтительно использование предлога НА: на Южную Георгию и Южные Сандвичевы Острова.
Правильно: на Тайване.
Правильно: стрелка Васильевского острова.
Об одном острове корректно: остров Курильской гряды.
Правильно: вглубь острова, вглубь Арктики. Ср.: в глубь океана (=в глубину).