Действительно, вариант щербет почти не фиксируется словарями, а произношение с начальным звуком [щ] отмечается как неправильное. Однако этот вариант не только распространен в разговорной речи, но и встречается в художественной и научной литературе. 

― Такого щербета мудрости уши мои никогда не пили! [Ф. Искандер]

…Молоховец, как летописец кулинарных дел, составляла яркую опись того, что предстоит потерять. Сотни желтков, (белки ― вылить! ) для одного кулича; розовый окорок, который можно достать из подпола, если гости пришли внезапно; алые муссы и белые щербеты, седые головы сахара… [А. Архангельский]

― А сорбет ― это щербет? ― спросила Сонина мама. [М. Трауб]

Морщась, я ем, потягиваю, пью тусклый лимонный щербет. [К. Азерный]

В Каффе для торжества закупали продукты к столу: вино, вишни или изюм, щербет, а также материалы для иллюминации и фейерверка. [из журн. «Общество: философия, история, культура», 2014] 

Аппарат использовался для охлаждения смеси лимонного щербета после пастеризации. [Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств», 2015]

Возможно, уже стоит подумать о введении варианта щербет в словарь. Спасибо за интересный вопрос!

Допустимы варианты: изюмцы и изюмчане.