Наверняка включена аппаратная поддержка в декодере(DXVA), у меня такое тоже проявляется на некоторых рипах, например с CyberLink Video Decoder (PDVD 10), с CoreAVC Professional Edition 2.0 таких проблем нет, он программный. Скорее всего завышен параметр Reference frames(--ref),
=====================
Number of reference frames:
Количество кадров на которые могут ссылаться P- и B-кадры.
Чем больше - тем эффективней могут быть закодированы P/B-кадры, но для кодирования потребуется больше времени. Максимальное значение 16, однако уже после 5 прирост качества ощущается все меньше и меньше, а прирост времени кодирования все больше и больше. Рекомендуемое значение - 4.
http://wiki.oszone.net/index.php/MeGUI
для большей совместимости с железными плеерами выше 4 его видимо не стоит задирать, особенно на 1920x1080, тут вот есть небольшая табличка
http://forum.kinozal.tv/showthread.php?t=65774 и ссылка на профили там же
в XviD4PSP есть пресеты прямо говорящие о совместимости с DXVA, DXVA есть в названии, к примеру x264 2P DVD5 DXVA-HD-HQS Film.txt
и видимо лучше стоит вообще забыть о профиле выше чем L4.1