Слова с первой частью пол- (полчаса, полгода и др.) обычно требуют постановки сказуемого в форму единственного числа: полчаса прошло, полгорода замерзло.
Это отглагольное прилагательное или причастие, непринципиально.
Корректно: не замерзшая еще речка.
С полными формами причастий отрицание не пишется раздельно:
а) если при них имеются зависимые слова, напр.: человек, не гнушающийся никакими средствами; не ведающий, что творит; не заботящийся о пропитании; друзья, не видевшиеся много лет; не подтверждаемая фактами версия; не признанный современниками гений; не опознанный наземными службами объект; не связанный обязательствами; не обязанный подчиняться; не растроганный её слезами; давно не стиранное платье; с весны не крашенная крыша;
б) в составе конструкций с противопоставлением или конструкций, усиливающих отрицание, напр.:
Это не законченная работа, а какие-то наброски; не знающий, а лишь догадывающийся; не воюющие, а мирно соседствующие страны; не уважаемый — любимый; отнюдь не успокоенный, нимало не смущённая, нисколько не обрадованный, никем не замеченный, никогда не унывающий, никем не любимый.
Возможны оба варианта.
_Воздушная и хрупкая,
Холодная и нежная,
Вся белая, узорная,
Растает на руках...
Особенная, чуткая
И с кружевами белыми
Тончайшим шёлком сшитая
Замерзшая вода.
В разговорной речи такая замена возможна.