YOLOv7与MediaPipe在人体姿态估计上的对比

前期文章的分享，我们介绍了YOLOv7人体姿态估计的文章以及MediaPipe人体姿态估计方面的文章。由于YOLOv7与MediaPipe都可以进行人体姿态估计，我们本期就对比一下2个算法的不同点。

利用机器学习，进行人体33个2D姿态检测与评估

人工智能领域也卷了吗——YOLO系列又被刷新了，YOLOv7横空出世

MediaPipe

基于深度学习的人体姿态估计

自2014年Google首次发布DeepPose以来，基于深度学习的姿态估计算法已经取得了较大的进步。这些算法通常分两个阶段工作。

人员检测
关键点定位

根据设备[CPU/GPU/TPU]的不同，不同框架的性能有所不同。有许多两阶段姿态估计模型在基准测试中表现良好，例如：Alpha Pose、OpenPose、Deep Pose等等。然而，由于两阶模型相对复杂，获得的实时性能非常昂贵。这些模型在GPU上运行得很快，但在CPU上运行的较慢。就效率和准确性而言，MediaPipe是一个很好的姿态估计框架。它在CPU上生成实时检测，且速度很快。

YOLOv7

与传统的姿态估计算法不同，YOLOv7姿态是一个单级多人关键点检测器。它具有自顶向下和自底向上两种方法中的优点。YOLOv7姿态是在COCO数据集上训练的，前期的文章我们也分享过YOLOv7人体姿态检测的代码。

YOLOv7 是 YOLO 系列中最先进的新型物体检测器。根据论文，它是迄今为止最快、最准确的实时物体检测算法。根据 YOLOv7 论文，最好的模型获得了 56.8% 的平均精度（AP），这是所有已知对象检测算法中最高的。各种模型的速度范围为 5-160 FPS。与基础模型相比，YOLOv7 将参数数量减少到40%，计算量减少 50%。

MediaPipe人体姿态检测

MediaPipe 是一款由 Google Research 开发并开源的多媒体机器学习模型应用框架。在谷歌，一系列重要产品，如 、Google Lens、ARCore、Google Home 以及 ，都已深度整合了 MediaPipe。

MediaPipe 的核心框架由 C++ 实现，并提供 Java 以及 Objective C 等语言的支持。MediaPipe 的主要概念包括数据包（Packet）、数据流（Stream）、计算单元（Calculator）、图（Graph）以及子图（Subgraph）。

MediaPipe Pose是用于高保真人体姿势跟踪的ML解决方案，利用BlazePose研究成果，还从ML Kit Pose Detection API中获得了RGB视频帧的整个33个2D标志（或25个上身标志）。当前最先进的方法主要依靠强大的桌面环境进行推理，而MediaPipe Pose的方法可在大多数现代手机，甚至是Web上实现实时性能。

MediaPipe中有三个模型用于姿势估计。

BlazePose GHUM Heavy
BlazePose GHUM Full
BlazePose GHUM Lite

YOLOv7 vs MediaPipe特征对比

YOLOv7是一个多人检测框架。MediaPipe是一个单人检测框架（主要原因是只用于CPU，速度较快），因此在我们实现人体姿态检测时，需要关注是否只检测多人，或者单人，当然对自己的硬件配置也有较高的要求。

MediaPipe 代码实现人体姿态检测

cap = cv2.VideoCapture(0)
time.sleep(2)
while cap.isOpened():
    success, image = cap.read()
    if not success:
        print("Ignoring empty camera frame.")
        continue
    image = cv2.cvtColor(cv2.flip(image, 1), cv2.COLOR_BGR2RGB)
    image.flags.writeable = False
    results = pose.process(image)
    image.flags.writeable = True
    image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)
    mp_drawing.draw_landmarks(
    image, results.pose_landmarks, mp_pose.POSE_CONNECTIONS)
    cv2.imshow('MediaPipe Pose', image)
    if cv2.waitKey(5) & 0xFF == ord('q'):
        break
pose.close()
cap.release()

由于MediaPipe是一个单人检测框架，因此在视频中，MediaPipe只检测单个人的姿态，其他人体姿态则会忽略，当然，软件会检测哪个人体姿态，理论上是最前面的人体姿态，但是通过实验后，其实并不完全是这样。从上图可以看出，虽然MediaPipe仅支持使用在CPU上，但是检测速度与精度相当快，缺点是智能进行单人体姿态检测。

YOLOv7 代码实现人体姿态检测

从 YOLOv7-Tiny 模型开始，参数刚刚超过 600 万。它的验证 AP 为 35.2%，击败了具有相似参数的 YOLOv4-Tiny 模型。具有近 3700 万个参数的 YOLOv7 模型提供了 51.2% 的 AP，再次击败了具有更多参数的 YOLOv4 和 YOLOR 的变体。

YOLO7 系列中较大的模型，YOLOv7-X、YOLOv7-E6、YOLOv7-D6 和 YOLOv7-E6E。所有这些都击败了 YOLOR 模型，它们的参数数量相似，AP 分别为 52.9%、55.9%、56.3% 和 56.8%。

def pose_video(frame):
    mapped_img = frame.copy()
    img = letterbox(frame, input_size, stride=64, auto=True)[0]
    print(img.shape)
    img_ = img.copy()
    img = transforms.ToTensor()(img)
    img = torch.tensor(np.array([img.numpy()]))
    img = img.to(device)
    with torch.no_grad():
        t1 = time.time()
        output, _ = model(img)
        t2 = time.time()
        fps = 1/(t2 - t1)
        output = non_max_suppression_kpt(output, 
                                         0.25,    # Conf. Threshold.
                                         0.65,    # IoU Threshold.
                                         nc=1,   # Number of classes.
                                         nkpt=17, # Number of keypoints.
                                         kpt_label=True)
 
        output = output_to_keypoint(output)
    nimg = img[0].permute(1, 2, 0) * 255
    nimg = nimg.cpu().numpy().astype(np.uint8)
    nimg = cv2.cvtColor(nimg, cv2.COLOR_RGB2BGR)
    for idx in range(output.shape[0]):
        plot_skeleton_kpts(nimg, output[idx, 7:].T, 3)   
    return nimg, fps

由于YOLOv7是一个多人检测框架，因此在单个视频帧中，YOLOv7框架会实时检测多人体姿态。从上图可以看出，检测速度也是很快的，这是因为此例子使用的是GPU模型运行，若YOLOv7应用在CPU上面，则检测速度很慢。

MediaPipe与YOLOv7对比检测

从以上的介绍，我们知道，mediapipe是一个单人检测框架，因此检测速度特别快，同样的的一段检测对象，同样的使用CPU进行人体姿态检测，则mediapipe完全占绝对优势。

CPU人体姿态检测

但是一旦上GPU，yolov7的优势就会大大的提高，可以看到，一旦用上了GPU，yolov7的检测速度就达到了84FPS，而由于mediapipe仅仅用于CPU，就算加上GPU，也发挥不到GPU的优势。

其他文章参考

Transformer模型注意力机制的概念

利用机器学习，进行人体33个2D姿态检测与评估

利用机器学习，进行人手的21个3D手关节坐标检测

利用机器学习进行人脸468点的3D坐标检测，并生成3D模型

MediaPipe 集成人脸识别，人体姿态评估，人手检测模型

颠覆2D对象检测模型，MediaPipe 3D对象检测还原真实的对象特征

MediaPipe Face Detection可运行在移动设备上的亚毫秒级人脸检测

高大上的YOLOV3对象检测算法，使用python也可轻松实现

使用python轻松实现高大上的YOLOV4对象检测算法

基于python的YOLOV5对象检测模型实现