用于先进视频处理解决方案的现场可编程逻辑门阵列（FPGA）产品与技术

2021-03-23 11:33

视频内容创作

用于内容创作的视频编辑软件支持多种压缩格式，其中包括Apple ProRes、Avid DNx、Sony XAVC和Panasonic AVC－Intra，这些格式都带有基于内帧结构的专有压缩方案。此外，还有一些支持RAW模式的格式，诸如Apple ProRes RAW、RED RAW、ARRI RAW和Blackmagic RAW，这些格式都得到了摄像机制造商的支持。由于这些格式（以及新型的和不断出现的格式）具有不断变化的特性，因此基于ASIC的解决方案并不实用，而需要基于FPGA的解决方案。

在过去，主要的分辨率为HD／2K，CPU具有足够的速度来处理这些视频流。但是，随着4K或8K分辨率变得越来越普遍，仅靠CPU加软件的解决方案不能够提供实时处理。另一方面，基于FPGA的解决方案可以轻松地实时处理4K和8k分辨率视频。

内部基准测试表明，即使与中级FPGA芯片相比，基于FPGA解决方案的处理速度也比最新的CPU加软件解决方案快五倍。虽然GPU可以提供与FPGA类似的性能，但其功耗更高、解决方案占用空间更大。

用于先进视频处理解决方案的现场可编程逻辑门阵列（FPGA）产品与技术

图5：仅使用CPU（无FPGA卸载）的处理方案性能

FPGA解决方案的好处不仅仅在于加速，而且还能降低CPU的繁忙程度。在只有CPU的解决方案中，所有CPU周期都被4K或8K内容的编码所消耗，而使用FPGA来卸载编码任务可以释放CPU周期。因此，FPGA加速器为该应用提供了最佳的解决方案，通过减少4K和8K视频制作所需的处理时间，来提高视频编辑人员的创作效率。

用于先进视频处理解决方案的现场可编程逻辑门阵列（FPGA）产品与技术

图6：使用FPGA卸载的CPU利用率

人工智能与深度学习

如前所述，在处理H．264／H．265解码方面，FPGA提供了与CPU相当或更高的性能。如果解码器和内帧编码器（例如JPEG或PNG）都位于同一FPGA中，那么基于FPGA的解决方案将提供比CPU更佳的性能。此外，在深度学习应用中，在将图像数据发送到深度学习处理之前，通常会进行一些图像预处理。在同一个FPGA上可以执行所有的处理，包括解码、图像处理和编码等（如图7所示），并且与CPU相比，FPGA可以提供高吞吐量、低延迟和更少的数据事务。深度学习技术在现在和未来都将被广泛应用于各个行业或领域，而基于FPGA的解决方案将助力这一发展。

用于先进视频处理解决方案的现场可编程逻辑门阵列（FPGA）产品与技术