Кавычки не нужны. Ср.: напишите букву эль. 

Приведем словарную статью для слова алфавит из школьного этимологического словаря «Почему не иначе?» Л. В. Успенского.

Алфави́т. Помните, что мы говорили о нашем слове «азбука»? Оно — точная копия греческого «alfabetos»: оба слова построены совершенно одинаково.

Две первые буквы греческого письма звались «альфа» и «бета». Их история не простая; они были получены греками от финикийцев вместе со всей финикийской, семитической, письменностью. Письменность эта была некогда иероглифической. Каждый иероглиф назывался словом, начинавшимся со звука, который обозначался этим значком.

Первый в их ряду имел очертания головы быка; «бык» — по-финикийски «алеф». Вторым стоял рисунок дома; слово «дом» звучало как «бет». Постепенно эти значки стали означать звуки «а» и «б».

Значения финикийских слов греки не знали, но названия значков-букв они сохранили, чуть переделав их на свой лад: «альфа» и «бета». Их сочетание «альфабе́тос» превратилось в слово, означавшее: «обычный порядок букв», «азбука». Из него получилось и наше «алфавит». Впрочем, в Греции было такое время, когда слово «альфабетос» могло звучать и как «альфавитос»: в разные времена жизни греков они один и тот же звук произносили то как «б» то как «в».