Название государства Бангладеш редко употребляется как склоняемое существительное; предпочтительно это слово не изменять по падежам: граничит с Бангладеш.
Запятая нужна: обособляется определительный оборот иногда даже граничащие с глупостью, стоящий после определяемого слова поступки.