Ну и дистилляция дистилляцией, но не забывайте, что появился ещё и весьма качественный ALBERT (тоже на ICLR 2020), который существенно легче оригинального BERT'а, но по качеству круче RoBERT'ы. И его по идее тоже можно отдистиллировать :)

Про ALBERT уже было тут: https://moocaholic.medium.com/speeding-up-bert-5528e18bb4ea