При кодировании по битрейту, кодек при насыщении по фреймам оставляет оптимальный битрейт (зачем его раздувать выше?).
Если нужен определенный размер - кодируйте по размеру, как написали выше.
Так Вы кодируете в один проход, а нужно выбирать 2-Pass Bitrate
И программу лучше обновите.