视频已经逐渐成为了最流行的媒体形式，超越了文字和图片，用户在浏览时花费在视频上的时间也越来越多，因此，视频理解变得尤为重要。
各大互联网公司和顶尖高校都在积极研究最新的视频理解模型和算法，以求在这一领域取得突破。
在谷歌、脸书和Open-MM Lab等公司纷纷推出各自的解决方案后，脸书人工智能实验室在发布PYslowFAst一年后，再次推出了PyTorchVideo，重返这一竞争激烈的领域。
今天我们将探讨PyTorchVideo这个代码库的特点，以及它如何在开源的首日即跻身于GitHub的趋势榜单。
PyTorchVideo的广泛适用性
与其他专注于自身框架的视频理解代码库不同，PyTorchVideo具有极高的兼容性，能够在多种环境中使用。
就像Torchvision等基础库一样，PyTorchVideo可以在视频理解任务中使用，甚至可以被整合进其他任务的代码库中。
脸书人工智能实验室的团队不仅在自家的PYslowFAst代码库中无缝集成了PyTorchVideo，还能在ClaSSy Vision、PyTorch Lightning等框架中轻松应用。
作为一款具有强大兼容性的工具，PyTorchVideo被默认视为PyTorch Lightning-Flash中的视频理解组件。
在FiftyOne项目中，开源社区的开发者们利用Lightning-Flash创建了一个视频浏览工具，可以直接查看视频中的动作类别。
PyTorchVideo的多功能性
更令人惊叹的是，PyTorchVideo似乎具备“样样通”的能力！不仅在视频分类和动作检测等任务中表现出色，甚至在自监督学习和音频事件检测等多样化任务中也游刃有余。
基于PyTorchVideo的SlowFAst模型在动作监测方面表现优异。
PyTorchVideo的移动端应用
值得一提的是，PyTorchVideo还开源了移动端的加速优化，提供了详细的教程，帮助用户逐步优化视频模型的核心内核，并进行量化加速。
经过数倍加速后，该模型在移动端可以实时运行，官方甚至发布了Android和iOS的开源代码，使得SOTA的视频模型可以在手机上流畅运行。
在三星Galaxy S10手机上，PyTorchVideo的加速X3D模型运行速度提高了8倍，处理一秒视频的时间约为130毫秒。
PyTorchVideo的核心功能
PyTorchVideo本质上是一个视频理解的机器学习库，支持多种代码库和各类SOTA视频模型，以及开源的视频模型。
它还涵盖了视频基础算法、视频数据操作、流行的视频数据集、视频增强和模型加速等全方位的视频相关内容。
如何使用PyTorchVideo
首先，可以通过以下命令安装：
pip install pyTorchvideo
接着，浏览官方教程并进行实验后，可以发现使用PyTorchVideo只需几行代码就能训练一个视频模型：
from pyTorchvideo import data, Models, acceleRaTor # 创建视觉和音频模型。visual_Model = Models.slowFAst.create_slowFAst(Model_num_class=400,) acoustic_Model = Models.Resnet.create_acoustic_Resnet(Model_num_class=400,) # 创建Kinetics数据加载器。kinetics_loader = Torch.utils.data.DataLoader(data.Kinetics(data_path=DATA_PATH, clip_sampler=data.Make_clip_sampler(“uniform”, CLIP_DURATION),), batch_size=BATCH_SIZE,) # 部署模型。visual_net_inst_deploy = acceleRaTor.deployment.convert_to_deployable_form(net_inst, input_tensor)
那么，如何直接使用开源的训练模型库中的模型效果呢？
Model = Torch.hub.load(“facebookResearch/pyTorchvideo”, model=Model_name, pretrained=True)
官方的模型库丰富多样，令人眼花缭乱。
Kinetics-400
其中似乎还包括MultiScale Vision Transformer，有兴趣的朋友可以去深入了解。
[[[IMG_1]]]
[[[IMG_2]]]
[[[IMG_3]]]
