формат тут значения не имеет.
убедись, что клавиша, которая во фрапсе настроена на скриншот, не настроена также на какую то функцию в плеере, которым ты смотришь мп4.
но вообще приличные плееры типа
media player classic умеют
сохранять скриншоты без всяких фрапсов.