Причина не в названии, и не в длине. В этом случае кодирование просто бы не началось. Тут другое. Как говорится где тонко там и рвется. Где то у вас в исходнике есть слабое звено. И когда вы запускаете тяжелый скрипт, то при втором проходе это звено дает сбой. В первом там более щадящие настройки. Когда делаете в один проход, то нагрузка идет полностью, и это звено не выдерживает сразу. Лечение тут может быть разным. Первое что посоветовал бы, сделать рип без настроек, для проверки. Если без нагрузок все проходит, то дело именно в этом. Тогда нужно подбирать фильтры по силам этого слабого звена. Если же и без фильтров не будет риповаться, тогда надо или менять исходник, или воспользоваться фреймсервером, и тогда уже загружать в XviD4PSP его проект.