Можно, конечно, пошаманить и установить прямоугольный пиксел вместо положенного по стандарту квадратного, но может проявиться несовместимость с некоторыми плеерами, т.к. прямоугольный пиксел для контейнера AVI - нестандартный.
Да и в принципе это не нужно: если у вас фильм 1280x544, а дисплей - 1280x720, плеер должен сам при выводе на экран добавить "шторки" (прямоугольные полосы сверху и снизу). Если боитесь, что плеер это корректно не сделает, не изменяя размера кадра, добавьте шторки при перекодировании.
Для этого подключите фильтр "Resize", соотношение сторон не меняйте.
Выберите алгоритм кодирования как минимум "Precise bicubic (A=-1.00)", а еще лучше (но медленнее) - "Lanczos3".
Установите опцию "Заполнение до соотношения сторон" и задайте в окошечке соотношение сторон равным 1280:720 = 16:9.
Но лучше этого не делать (разве только исключительно для себя лично) и оставить как есть, т.к. в контейнере AVI соотношение сторон допускается любое (лишь бы ширина была обязательн кратна 32, а высота - 16), а вот шторки не приветствуются, и размещать на Кинозале такое уродство нельзя.