Это не IKEv2 тормознутый, это у тебя драйвер сетевухи кривой.
Автор весьма качественно заморочился с поиском проблемы перфоманса сабжа под виндой и откопал сразу несколько мест, комбинация которых может отнять до 20% красивого графика. С моим любимым выводом в конце - There are no good workarounds.

https://gary-nebbett.blogspot.com/2021/07/slow-performance-of-ikev2-built-in.html