Садись на «пятёрку» — доедешь прямо до дома.

Правильно
Садись на пятёрку — доедешь прямо до дома.

Почему
«О трамвае, троллейбусе, автобусе, следующих по маршруту под таким номером» — это одно из значений существительного пятёрка, указанных в толковом словаре. А раз значение зафиксировано, то смысл слова не считается переносным и пишется оно без кавычек.

Любопытно, что существительных двойка, тройка, четвёрка и так далее до десятки это тоже касается: если речь о транспорте, то кавычки не нужны. А вот для единицы или, например, двадцатки такого значения в словарях нет.

Выходит, надо писать так: Садись на пятёрку, а не на «единицу» или «двадцатку»? Но такой разнобой выглядит странно. Как вариант, можно руководствоваться принципом аналогии и не ставить кавычки во всех подобных случаях. Или оформить мысль иначе: Садись на автобус № 5 — № 1 и № 20 едут в другую сторону.