Употребление зависит от контекста, чаще употребляют сочетание тревожный признак. Однако обратите внимание, что фактор - обстоятельство, способствующее чему-либо, влияющее на что-либо, а признак - это показатель, знак.
Кавычки не требуются, поскольку одно из зафиксированных словарями значений слова тревожный – "извещающий об опасности".