Лучше написать: побыть в одиночестве, уединиться.
Рекомендации словарей, действительно, разнятся. На наш взгляд, корректным следует считать написание Остров свободы как соответствующее общему правилу: в образных названиях государств и городов с прописной буквы пишется первое слово, а также (если они есть) собственные имена. Ср.: Страна тюльпанов (о Голландии).
Верно: Бали.
Первое. Если речь именно о названии населенного пункта, а не о названии острова, то корректно написание обеих частей названия с прописной буквы: Попов Остров.
И второе. Склонять следует обе части названия: порт Попова Острова.