Как правило, если обе части сложного слова склоняются, то род определяется по последней части слова (которая одновременно является главной по смыслу). В данном случае корректно согласование слова трос-рулетка по женскому роду (рулетка в виде троса, но не наоборот).
Правильно: русская рулетка. Написание зависит от конкретного случая, например: игра «Города».