Происходит из-за того что вместо "переключения языка" в какой то момент происходит "Переключение раскладки клавиатуры". Что бы избежать, отключаем его на сервере:
[HKLM\System\CurrentControlSet\Control\Keyboard Layout]
"IgnoreRemoteKeyboardLayout"=dword:00000001
[HKLM\System\CurrentControlSet\Control\Keyboard Layout]
"IgnoreRemoteKeyboardLayout"=dword:00000001