Честно говоря я отошел уже от использования VDM и пользуюсь программой XVID4PSP. где хорошо видны настройки разрешения, кодеков, аудио итд.
640х480 это стандартное разрешение для размера 4х3 ( и так же будет 480х360) Здесь где то была тема года 2 назад по настройке кодека Xvid, если не стерли, попробую найти. Ну а пока можете
вот здесь наглядно почитать настройки кодека с картинками
Там же в технической мастерской можете почитать как работать с Xvid4psp если заинтересует..
Удачи