Предпочтительно: Его нездоровая бледность — это было первое, что бросалось в глаза. Также возможен вариант: Его нездоровая бледность была первым, что бросалось в глаза.
Запятая нужна: придаточное предложение что бросается в глаза выделяется с обеих сторон. Каждый из знаков (запятая и тире) ставится на своих основаниях.
Пунктуация верна.
Нужно тире: Oписать систему математически с учетом присущей ей нелинейности - значит не выпустить из поля зрения многие режимы, в том числе и те, что не бросаются в глаза, но могут возникнуть.