Попробуйте не отпускать клавиши F1 F2 до тех пор, пока не появится синяя заставка. Дело в том, что Вектор вовсе не терминальная система, и там нету очереди нажатых клавиш. Загрузчик (тот который синий экран) анализирует, нажаты ли клавиши F1-F5 (или их комбинации) уже после того, как появилась заставка.
То есть, чтобы загрузить .rom файл, надо:
1. нажимаем на иконку ПЗУ в тулбаре
2. выбираем любой понравившийся файл
3. нажимаем и не отпускаем F2
4. нажимаем F11
5. ждём синего экрана
6. отпускаем F2
7. нажимаем F12