Переосмысляя маску: как мягкая обратная связь улучшает диффузионные языковые модели Title: Soft-Masked Diffusion Language Models Authors: Michael Hersche, Samuel Moor-Smith, Thomas Hofmann, Abbas Rahimi Paper: https://arxiv.org/abs/2510.17206 Code: Not available Model: Not available Review: https://arxiviq.substack.com/p/soft-masked-diffusion-language-models # TL;DR Что сделали? В статье представлен Soft-Masking (SM) — новый механизм для масочных диффузионных языковых моделей (MDLM). Вместо стандартного жёсткого бинарного выбора (сохранить токен [MASK] или заменить его одним предсказанным вариантом) SM обогащает обратную связь для последующих шагов декодирования. Для этого он динамически смешивает эмбеддинг токена [MASK] с взвешенной по уверенности выпуклой комбинацией эмбеддингов топ-k предсказанных токенов с предыдущего шага. Авторы также предлагают эффективную, распараллеливаемую двухпроходную методологию обучения, чтобы научить модель использовать этот более богатый, непрерывный сигнал обратной связи. …