Слово наоборот вводное, поэтому корректно: С ним договариваться сложно, а с тобой, наоборот, легко.
В этой сугубо разговорной конструкции деепричастие не поднимая играет роль несогласованного определения: сброс (какой?) не поднимая. Будет логичным не ставить перед ним запятую.