在针对连续动态图像编码时，将连续若干幅图像分成P,B,I三种类型，P帧由在它前面的P帧或者I帧预测而来，它比较与它前面的P帧或者I帧之间的相同信息或数据，也即考虑运动的特性进行帧间压缩。P帧法是根据本帧与相邻的前一帧（I帧或P帧）的不同点来压缩本帧数据。采取P帧和I帧联合压缩的方法可达到更高的压缩且无明显的压缩痕迹。
在H.264编码中，I帧是内部编码帧，不需要参考其它帧，P帧需要前向的I帧作为参考，B是双向预测帧，需要前向和后向的I或者P帧作为其参考帧。由于帧与帧之间的参考关系比较复杂，彼此之间互相关联，对帧编码的简单并行是行不通的。因此，寻找共用参考帧的可编码帧成为实现帧级并行的关键。
假设编码序列中设置的B帧个数为2，其具体视频编码序列为IBBPBBPBBP…，依照I、P和B帧之间的参考关系，可以把连续的视频序列按照BBP的样式分割成一个个单元序列。经过分析可以看出一个BBP单元序列中的两个B帧由于共用前后的两个P帧作为参考帧，可以实施并行。同时，这个BBP单元序列中的P帧又作为下一个BBP单元序列中P帧的参考，因此前一单元序列中的两个B帧加上下一个单元序列中的P帧就可以实施三帧同时并行。以上是B帧设置参数为2时帧级并行的基本思路，可以得出原本执行一帧的时间现在可以用来执行三帧，理论加速比基本可以达到3，等于B帧设置参数加1。
当设置编码序列中B帧个数可变时，帧级并行的线程数取决于B帧的个数，B帧数越大，并行加速比越高，在处理器足够的情况下，理论上获得的最大加速比等于B帧设置参数加1。由于在并行过程中，创建编码线程需要分配内存，线程之间的数据传输也会消耗资源，实际加速比会小于理论加速比，再加上处理器个数资源的限制，会在某个B帧的个数上获得一个峰值加速比.