Нейродайджест за неделю (#9):

Я нечасто постил на прошлой неделе, однако произошло много интересного. Вот тут несколько хайлайтов.

🔥 LLaMA - новая языковая модель от Meta AI
LLaMA - семейство моделей (7, 13, 33 и 65 млрд параметров). При том, что количество параметров у LLaMA на порядок меньше, она может превосходить GPT-3 по качеству на бенчмарках. Что не менее важно, Meta релизит веса для исследователей.

🛞 Стартап Амазона Zoox, производящий автономные такси, получил разрешение на поездки
В машине полностью отсутствует руль и педали. Однако, пока что, тестирование на дорогах общего пользования сильно ограничено: ездить можно только по выходным, не более 65км/ч и только в отведенных районах.

🤗 Библиотека PEFT от Hugging Face для эффективного файн-тьюнинга
PEFT интегрирован с HF Accelerate и позволяет оптимизировать только часть параметров, что значительно экономит необходимые ресурсы. Как прмер, авторы приводят файнтьюнинг bigscience/T0_3B (3B params), для которой требования VRAM снизились с ~50Gb до 15Gb.

⚡Либа FlexGen позволяет запустить огромную языковую модель типа OPT-175B/GPT-3 на одной видеокарте 16 GB VRAM. Вот только нужно 200Gb оперативки.

📈 Трендовый гайд по промпт-инженерингу
Хочешь красивую генерацию – люби и промпты подбирать. В репе есть примеры инженеринга промтов для разных задач, а так же лекция и другие материалы на тему.

👀 Grid-search по лекарствам против рака с помощью Компьютерного зрения.
Ученые испытывали препараты не на раковом больном, а параллельно на десятках образцах его тканей. При этом, за изменениями в целевых клетках, наблюдала нейронка, которая позволяла отмечать даже малые изменения в клетках после терапии. В итоге смогли найти подходящее лекарство, про которое раньше даже и не думали, и у пациента началась ремиссия.

🔎 Google нашел новый эффективный оптимайзер – Lion. [Пост]

❱❱ Читать предыдущий нейродайджест

#дайджест
@ai_newz