Верно написание без запятой.
Правильно: на Арбате, на улице Арбат.
Номер дома и номер корпуса (строения) принято разделять запятой, как и другие элементы адреса, хотя в данном случае обоснованность постановки знака вызывает сомнения.
Такое употребление возможно в разговорной речи, в других случаях оно нежелательно.
О происхождении этого названия см. в пособии М. В. Горбаневского «Окликни улицы Москвы».