Адаптация LLM за минуты: нужен всего один шаг градиентного спуска Title: Compress to Impress: Efficient LLM Adaptation Using a Single Gradient Step on 100 Samples Authors: Shiva Sreeram, Alaa Maalouf, Pratyusha Sharma, Daniela Rus Paper: https://arxiv.org/abs/2510.20800 Review: https://arxiviq.substack.com/p/compress-to-impress-efficient-llm Code: не указан Models: GPT-J, Roberta # TL;DR Что сделано? В статье представлен чрезвычайно эффективный метод адаптации больших языковых моделей (LLM) к новым доменам, не требующий обучения. Он основан на технике LAyer-SElective-Rank reduction (LASER), но решает её главное узкое место: медленный полный перебор весовых матриц, которые нужно сжать. Авторы заменяют этот перебор одним-единственным обратным проходом всего по 100 размеченным примерам. Градиент сингулярных значений каждой матрицы используется для надёжной оценки и определения компонентов, которые вредят модели и которые следует подвергнуть прунингу. Кроме того, авторы улучшают качество сжатия, вводя многопо…