ПО МЕНЬШЕЙ МЕРЕ, частица Не требует постановки знаков препинания. Все это по меньшей мере странно, Иван Васильевич! А. Чехов, Предложение. На полустанке, где поезд случайно задержался, по меньшей мере двадцать фотоаппаратов нацелились на верблюжью морду. И. Ильф, Е. Петров, Золотой теленок. И ваши советы по меньшей мере лично мне кажутся смешными. Ю. Бондарев, Берег. 

...ПО МЕНЬШЕЙ МЕРЕ, частица Не требует постановки...

...По меньшей мере...

ЕЙ-БОГУ, междометие Выделяется (или отделяется) запятыми, если произносится без восклицательной интонации. Если междометие имеет повышенную эмоциональность, после него ставится восклицательный знак. А всё ведь, ей-богу, дворянство наше! А. Писемский, Русские лгуны. Ей-богу, до сегодня считал: мимоза ты, интеллигентик… Ю. Бондарев, Горячий снег. Я ж не знал... Я бы сберег, ей-богу… А. и Г. Вайнеры, Я, следователь... Давеча, граждане, воз ...

...ЕЙ-БОГУ, междометие Выделяется (или отделяется...

...Ей-богу...

ПО ВСЕЙ ВЕРОЯТНОСТИ, вводное сочетание Подробно о пунктуации при вводных словах и сочетаниях см. в Прил. 2. Этот замечательно активный человек, вышедший, по всей вероятности, из трудящихся, прежде чем взяться за такое огромное дело, как плановая организация центрального района, сначала основательно поработал над плановым хозяйством в своем родном Егорьевске. М. Пришвин, Голубиная книга. По всей вероятности, это была какая-то разбитая немецкая часть…

...ПО ВСЕЙ ВЕРОЯТНОСТИ, вводное сочетание Подробно...

...По всей вероятности...