Не надо извращений с бирейтом и подсчетом B-фреймов, делай все в один проход в режиме CRF, программа сама вычислит необходимый битрейт. Просто проставь -preset medium и -crf 18, не отличишь от оригинала. Если хочется сжать по-сильней, поставь -crf 21, пресет оставь тем же. Пресет вообще не трогай, по умолчанию стоит самый нормальный. При более высокой скорости слишком плохо сжимает, при более низкой - неоправданно грузит комп всякими излишествами, усложняющими процесс сжатия и процесс декодирования. Качество определяется сугубо величиной CRF, а preset в свою очередь влияет на скорость сжатия и размер выходного файла :)