Интересный случай. Кавычки — знак дословной передачи чужой речи. При пересказе они использоваться не должны. Можно было бы оформить предложение как бессоюзное:

Как он там говорил? Двадцать три года живу здесь, никого, кроме зайцев и белок, не трогаю — так вроде бы...

Ср. с примером из справочника по пунктуации: Идти вперёд или погибнуть — так стоял вопрос перед партизанским отрядом.

Но Ваше предложение по форме является предложением с прямой речью. Говорящий думает, что он передает чужую речь более или менее точно. Полагаем, что границы этой восстанавливаемой по памяти прямой речи желательно показать, чтобы предложение легко и правильно воспринималось: 

Как он там говорил? «Двадцать три года живу здесь, никого, кроме зайцев и белок, не трогаю» — так вроде бы...

После закрывающих кавычек ставится только тире (независимо от того, каким знаком препинания заканчивается прямая речь) в тех случаях, когда в последующих авторских словах содержится характеристика прямой речи, ее оценка и т. д. (авторская ремарка начинается словами так говорит, так указывает, вот что сказал, вот как описывает и т. п.): «Ничего не случилось» — так говорил ум; «Случилось» — так говорило сердце; «Нет ничего прекраснее этих снежных вершин» — так описывает эту местность один путешественник; «Будь внимателен и осторожен!» — вот что он сказал мне на прощание.

В ЦЕЛОМ, наречие

Не требует постановки знаков препинания.

Правда, у Госбанка сейчас появились свои бандиты, так что ситуация чуть сложнее, но в целом картина не изменилась. В. Пелевин, Generation «П». Ну, а вообще как тебе это всё... ну весь обряд в целом? А. Вампилов, Прощание в июне.

Действительно, вопрос непростой. В «Справочнике по пунктуации: для работников печати» Д. Э. Розенталя (М., 1984) указано: «Всегда обособляется приложение при личном местоимении». В качестве иллюстрации приведен пример: Мне, как лицу высокопоставленному, не подобает ездить на конке (Ч.).

В «Полном академическом справочнике» под ред. В. В. Лопатина (М., 2006), в параграфе 63, формулируется следующее правило: «При отнесенности к личным местоимениям место приложения не играет роли, оно обособляется всегда».

При этом в обоих справочниках есть особое правило об оборотах с союзом как. Д. Э. Розенталь формулирует его так: «Обособленное приложение может присоединяться союзом как (с дополнительным значением причинности), а также словами по имени, по фамилии, по прозвищу, родом и др. (независимо от того, какой частью речи выражено определяемое слово): Илюше иногда, как резвому мальчику, так и хочется броситься и переделать все самому (Гонч..); Как старый артиллерист, я презираю этот вид холодного украшения (Ш.); Леонтьев увлекся этой мыслью, но, как человек осторожный, пока что о ней никому не рассказывал (Пауст.)... Примечание. Если союз как имеет значение «в качестве», то присоединяемый им оборот не обособляется: Полученный ответ рассматривается как согласие (Аж.)... Не обособляется и приложение с союзом как, характеризующее предмет с какой-либо одной стороны: Читающая публика успела привыкнуть к Чехову как юмористу (Фед.).

В «Полном академическом справочнике» подчеркивается: «Приложение с союзом как надо отличать от оборота со значением 'в качестве'. Ср.: Он, как инженер, должен быть руководителем стройки (будучи инженером, должен руководить; приложение). — Он приехал на стройку как инженер (в качестве инженера...)».

Сравним с приведенным в вопросе предложением: Я (?) как читатель (?) обращаю. «Как читатель» означает ‘будучи читателем’. Как и в предложении Он, как инженер, должен быть руководителем стройки слова как инженер означают ‘будучи инженером’.

Обратим внимание и на то, что необособляемые обороты с как в значении ‘в качестве’ в обоих справочниках занимают позицию конца предложения и являются частью сказуемого. В «Полном академическом справочнике» дается прямая отсылка к следующему правилу (§ 90, б): «Обороты со сравнительными союзами (частицами) как, словно, будто, точно, как будто, что не выделяются запятыми <...> при передаче значения 'в качестве' (оборот является частью сказуемого): Сергей Лазо был прислан комитетом как главнокомандующий (Фад.); ...Тамара Ивановна поняла этот голос как посланное ей вдогонку прощание (Расп.)». Подобная отсылка есть и у Д. Э. Розенталя.

В заключение добавим, что, по нашему мнению, отсутствие запятых в приведенном предложении не должно считаться грубой ошибкой и служить поводом для снижения оценки пишущиму, т. к. правила, регламентирующие пунктуацию в подобных конструкциях, чрезвычайно сложны и не изучаются в школе. Возможно даже, что данная норма нуждается в пересмотре. Спор профессиональных филологов заставляет по крайней мере усомниться в ее существовании.