视频内容创作

在过去，高清分辨率（HD）格式在视频内容创作中占据主导地位。最近，标准分辨率已被提升至4K，甚至到8K，这使得视频编码或解码面临挑战。用于这些较高分辨率的压缩格式主要有Apple ProRes、Avid DNx和SONY XAVC。由于这些压缩格式是专有的，因此ASIC或GPU并不能原生支持这些格式，而且CPU提供的性能也不佳。因此，在较高分辨率下创作视频内容时，FPGA是最佳的解决方案。

图3：视频编辑工作流程

Import：导入

Editing Software：编辑软件

Import（Decode）：导入（解码）

Export（Encode）：导出（编码）

Remote Edit：远程编辑

Export：导出

在新的趋势下，远程后期制作的概念正变得越来越普遍。然而，现有的电脑并没有足够的能力来实时处理高分辨率的内容（例如8K）。因此，编辑人员开始借助云基础设施来获得更好的计算性能。此外，由于需要保持社交距离，新冠肺炎疫情也加速了这一趋势。基于云和FPGA的解决方案为编辑人员提供了巨大的好处。Achronix Speedster7t系列FPGA器件进行架构创新，例如二维片上网络（NoC），使其特别适合于加速编码和解码算法。

人工智能与深度学习

人工智能、机器学习和深度学习是众所周知的领域，它们在过去几年中得到了迅速的发展。除了这些领域，图像识别也逐渐成为一个全新的重要领域，这得益于人工智能／机器学习（AI ／ ML）的创新。例如，先进驾驶员辅助系统（ADAS）使用深度学习算法来处理捕获的图像。安装在车上的行车记录仪使用H．264压缩技术记录视频，然后将视频流转码为诸如JPEG或PNG等合适的图像格式，以用于深度学习图像识别。根据应用场景，可以同时完成丢帧、更改分辨率或其他图像处理任务。

在零售业的安全摄像头或物流业的包裹分拣中也有类似的应用案例，其数据流与上述示例相同 —— 这些应用中的摄像头使用H．264或H．265等压缩比相对较高的压缩格式记录视频，然后将编码的视频流传输到云端或数据中心。在云端，视频流由原始格式转码为适合深度学习的格式，将视频文件转换为图像资料库。

图4：典型的深度学习图像数据流

Transcoding：转码

Different compression：不同的压缩率

Video＝Image：视频＝图像

AI：人工智能

Deep Learning：深度学习

Image Recognition：图像识别

从历史来看，FPGA一直擅长将电影转码为图像。此外，使用FPGA中的深度学习算法对图像预先进行预处理，不仅可以提高吞吐量，而且还能减少系统级的数据事务量。Achronix Speedster7t的创新架构及其带有的专用机器学习处理器（MLP），使之成为实现定制的和既定的深度学习算法的理想选择。

FPGA代表性视频用例的性能

我们分别使用FPGA和CPU来实现上述三个典型应用案例，并对一些关键指标进行对比，如下表所示。

表2：FPGA与CPU的性能比较

表注

↑ FPGA提供更佳的性能。

? FPGA和CPU提供同等的性能，但FPGA是卸载CPU负担的首选解决方案。

↓ FPGA和CPU提供同等的性能，但CPU是首选解决方案。

视频流传输

在视频流传输应用中，常用的压缩格式是H．264或H．265，因为终端（接收端）设备原生支持这些格式。诸如位深或色度和分辨率等参数通常为8位、4：2：0和1920×1080或1280×720。在解码器方面，基于FPGA的实现比基于CPU的系统提供更高的吞吐量。在数据层面，FPGA效率更高，因为如果将CPU用于纯数据处理之外的其他任何与数据相关的任务时，它通常都没有得到充分的利用。然而在编码器方面，硬化的CPU编码器内核是专门针对这些典型参数而设计的，并提供了足够的性能。

为了获得两全其美的效果，将FPGA和CPU解决方案相结合，并由FPGA来处理繁重的工作负载是理想的解决方案。FPGA上的高效功能可以被移植到可重新配置的硬件上去运行。例如，运动估计算法是一种适合FPGA的工作负载。另一方面，CPU更适合处理比特率控制算法。

一些服务提供商要求在软件解决方案中实现与x264相同的视频质量和流媒体格式。FPGA和CPU的组合解决方案可以有效地满足这些要求。使用这种方法，每种功能都被合理地分配，较繁重的处理负载被转移到FPGA，与纯软件解决方案相比，这种方法能提供类似或更好的视频质量和流媒体格式，而且编码时间显著减少。

下表列出了使用这种方法的x264评测结果，第一行显示了在FPGA上的运动估计函数（x264＿8＿me＿search＿erf）的结果。运动估计是CPU最繁重的工作负载之一，占据总处理时间的21．2278％。

表3：x264评测结果（通过评测软件获得）