Попробуйте так.
Вкладка Кодирование. Приоритет обычный, установите чекбокс Двухпроходное кодирование.
Вкладка Обработка видео. Количество ядер 1, фильтр Lanczos.
Вкладка Аудио. Отметить чекбокс Преобразовать DTS в АС3 (лучшая совместимость), отметить чекбокс Не проверять промежутки аудио.
Если все равно на выходе после кодирования будет квадратить, попробуйте изменить фильтр Lanczos на Cubic или Fast Linear в последовательности, как написал. Для проверки лучше записывать на DVD
+RW, чтобы не портить болванки.
Времени на кодировку может уйти больше. Дерзайте.