Есть орфографическое правило: пишутся через дефис прилагательные, образованные от существительных, пишущихся через дефис, в том числе от пишущихся через дефис собственных имен, напр.: санкт-петербургский (от Санкт-Петербург), нью-йоркский (Нью-Йорк), коста-риканский (Коста-Рика), лос-анджелесский (Лос-Анджелес), сан-францисский (Сан-Франциско), алма-атинский (Алма-Ата), йошкар-олинский (Йошкар-Ола), усть-каменогорский (Усть-Каменогорск), соль-илецкий (Соль-Илецк), орехово-зуевский (Орехово-Зуево) и т. д. Исключения: москворецкий и китайгородский. См.: Правила русской орфографии и пунктуации. Полный академический справочник / Под ред. В. В. Лопатина. М., 2006. Поэтому орфографически верно: коста-риканский кролик.
В пишущихся через дефис прилагательных, образованных от географических названий, обе части пишутся с прописной буквы, если эти прилагательные начинают собой наименования – географические и административно-территориальные, наименования исторических событий, учреждений, памятников и т. п., например: Западно-Сибирский металлургический комбинат, Санкт-Петербургский государственный университет, Орехово-Зуевский педагогический институт, Нью-Йоркский филармонический оркестр, Алма-Атинский метрополитен. В остальных случаях они пишутся строчными. Правильно: алма-атинские истории (в середине предложения), Алма-атинские истории (в начале предложения). В названии книги: «Алма-атинские истории».
По-русски этот город традиционно называется Новый Орлеан (т. е. определение переводится на русский язык). Корректно использовать именно это название.
Возможны оба варианта: предлог на подчеркивает, что имеется в виду остров, предлог в – что речь идет о районе Нью-Йорка. Обратите внимание на орфографию: Манхэттен.
Корректно без кавычек: Штат садов (ср.: Город желтого дьявола, Страна утренней свежести – образные названия городов и стран не заключаются в кавычки, поэтому так же можно писать и образное название штата).
Приводим формулировки правил.
В названиях, начинающихся на Северо- (и Северно-), Юго- (и Южно-), Восточно-, Западно-, Центрально-, с прописной буквы пишутся (через дефис) оба компонента первого сложного слова, напр.: Северо-Байкальское нагорье, Восточно-Китайское море, Западно-Сибирская низменность, Центрально-Черноземный район, Юго-Западный административный округ. Так же пишутся в составе географических названий компоненты других пишущихся через дефис слов и их сочетаний, напр.: Индо-Гангская равнина, Волго-Донской канал, Военно-Грузинская дорога, Алма-Атинский заповедник.
В названиях учреждений, организаций, начинающихся географическими определениями с первыми компонентами Северо- (и Северно-), Юго- (и Южно-), Восточно-, Западно-, Центрально-, а также пишущимися через дефис прилагательными от географических названий, с прописной буквы пишутся, как и в собственно географических названиях, оба компонента первого сложного слова, напр.: Северо-Кавказская научная географическая станция, Западно-Сибирский металлургический комбинат, Санкт-Петербургский государственный университет, Орехово-Зуевский педагогический институт, Нью-Йоркский филармонический оркестр.
Прилагательные, образованные от географических названий, пишутся с прописной буквы, если они являются частью составных наименований – географических и административно-территориальных, индивидуальных имен людей, названий исторических эпох и событий, учреждений, архитектурных и др. памятников, военных округов и фронтов. В остальных случаях они пишутся со строчной буквы. Например: северокавказская природа и Северо-Кавказский регион, Северо-Кавказский военный округ.
См.: Правила русской орфографии и пунктуации. Полный академический справочник / Под ред. В. В. Лопатина. М., 2006 (и более поздние издания).
По-русски этот город называется Новый Орлеан, поэтому прилагательное: новоорлеанский.
В данном случае элемент -Парк не обозначает собственно парка. Ведь речь идет не о названии парка, а о названии гоночной трассы. Тогда как Уолл-стрит - это улица, Пятая авеню - это авеню, а Гайд-парк - это, действительно, парк. Ср.: Кузнецкий Мост (моста там нет).
В тех названиях городов, где компонент Сити по-русски пишется, он пишется с прописной буквы: Атлантик-Сити, Канзас-Сити, Кесон-Сити. Но Mexico City, New York City по-русски называются Мехико, Нью-Йорк.
Мехико и Мексика по-испански называются одинаково: México. Неодинаковое написание в русском языке объясняется традицией.
Правильно: в городе Нью-Йорке, в штате Нью-Йорк. Топонимы обычно не склоняются в сочетании с родовым словом штат. А вот в сочетании с родовым словом город топоним склоняется, если он русского, славянского происхождения или представляет собой (как в рассматриваемом примере) давно заимствованное и освоенное наименование. Такие названия можно считать исключениями из процитированного Вами правила (статья дополнена этим примечанием).