Слова по возможности не требуют обособления.
Пунктуация зависит от контекста, но чаще слова недолго думая обособляются как деепричастный оборот.
Если в тексте это выражение синонимично наречию "быстро, спешно", то обособление, как правило, не требуется.
См. "Справочник по пунктуации".
Нужно обособить этот оборот как вводный.
Само по себе это выражение не обособляется. Однако если далее следует придаточная часть сложного предложения, то нужна запятая: Держу пари, что...
Сами по себе эти слова не требуют обособления.