Интересный случай. Кавычки — знак дословной передачи чужой речи. При пересказе они использоваться не должны. Можно было бы оформить предложение как бессоюзное:

Как он там говорил? Двадцать три года живу здесь, никого, кроме зайцев и белок, не трогаю — так вроде бы...

Ср. с примером из справочника по пунктуации: Идти вперёд или погибнуть — так стоял вопрос перед партизанским отрядом.

Но Ваше предложение по форме является предложением с прямой речью. Говорящий думает, что он передает чужую речь более или менее точно. Полагаем, что границы этой восстанавливаемой по памяти прямой речи желательно показать, чтобы предложение легко и правильно воспринималось: 

Как он там говорил? «Двадцать три года живу здесь, никого, кроме зайцев и белок, не трогаю» — так вроде бы...

После закрывающих кавычек ставится только тире (независимо от того, каким знаком препинания заканчивается прямая речь) в тех случаях, когда в последующих авторских словах содержится характеристика прямой речи, ее оценка и т. д. (авторская ремарка начинается словами так говорит, так указывает, вот что сказал, вот как описывает и т. п.): «Ничего не случилось» — так говорил ум; «Случилось» — так говорило сердце; «Нет ничего прекраснее этих снежных вершин» — так описывает эту местность один путешественник; «Будь внимателен и осторожен!» — вот что он сказал мне на прощание.

Вы правы: ставить эти запятые нет оснований. Корректная пунктуация: Рыцари Ордо Фавинус, Алиса и даже тот путешественник с окружающей его аурой космических глубин — все они очень дороги Альбедо, но учитель занимает в его сердце особенное место.

Интересный вопрос. Рекомендаций в справочных пособиях найти не удалось, поэтому обратимся к примерам из художественной литературы (которые можно подобрать благодаря «Национальному корпусу русского языка»). На конструкцию «столько-то градусов и один/одна» в корпусе только один пример: Иона Овсеич вздрогнул, сестра вынула из-под мышки термометр, тридцать восемь и одна, сказала, к вечеру подымется еще... А. Львов, Двор. А вот примеров на конструкцию «столько-то градусов и два/две» гораздо больше: Нормальная моя температура ― тридцать три и два. Е. Шварц, Снежная королева. Его нужно обязательно подкармливать, понемножку, но чаще. Утром тридцать пять и два было? Вот видите; это так же опасно, как большой жар. М. Осоргин, Сивцев Вражек. «Он ― путешественник… ― вернувшись, сказала старушка. ― Тридцать семь и две… Он пешком в Туркестан шел. Ты его не обижай, Катя» В. Каверин, Два капитана. Видишь, ни то ни сё, тридцать семь и две. Было бы тридцать восемь, так каждому ясно. Я тебя освободить не могу. На свой страх, если хочешь, останься. А. Солженицын, Один день Ивана Денисовича. «Какая температура тела?» ― спросил Николай, отключив микрофон. «Тридцать восемь и две, ― ответил врач. ― Это не опасно ― волнение…» В. Высоцкий, Как-то так все вышло... У бабушки было тридцать девять и два. Зашелушившимися губами она отказалась от аспирина и от чая с малиной. Н. Крыщук, Отступление.

Как видно из примеров, в рассматриваемых конструкциях возможны варианты: женский род поддерживается тем, что подразумевается слово (одна) десятая, (две) десятых, но отсутствие этого слова способствует употреблению в мужском роде.