Правильно: альбомом, появившимся. Окончание -им- пишется в творительном падеже, окончание -ем- пишется в предложном падеже: в альбоме, появившемся.
Причины такого явления нам не известны.
В зависимости от значения возможны два варианта написания: художественно иллюстрированный (иллюстрированный (как?) художественно) или художественно-иллюстрированный (художественный и иллюстрированный).