Скажем так, что качество Bits/(Pixel*Frame) больше применимо к рипам формата AVI, а у вас формат MKV. Поэтому оптимальный битрейт высчитывается исходя из средних квантов. А то что у вас бандинг появляется, так при таких сценовых настройках, как вы ставите, там не только бандинг появится может, а и рассыпание картинки, пиксализация и другое.