时间：2022-12-25 18:42:01
本文介绍了如何使用TensorFlow目标检测模型玩经典的FPS游戏——《反恐精英》。
使用我的网络摄像头和TensorFlow目标检测模型玩“反恐精英”
刚才，我偶然发现了这样一个有趣的项目。 文章作者使用网络摄像头玩经典游戏《格斗之王》。 他利用网络摄像机记录的信息，结合CNN和RNN的使用来识别踢踏舞和拳击动作。 之后，他将模型输出的预测值翻译成了游戏中使用的正确动作。 这确实是很棒的玩法~
通过网络摄像头和深度学习玩“格斗之王”。 原文可以在这里找到。
受这个项目的启发，我制作了类似的控制界面。 它可以通过TensorFlow目标检测模型的预测结果来玩FPS (第一人称设计游戏)。
这个项目的代码在我的GitHub主页上。 链接如下。
chintantrivedi/deepgamingai _ fpsanfpsgamecontrollerthatuseswebcamandeeplearningtoplaygames-chintantrivedi/depgamingame
我设计的这个控制界面可以处理游戏中的以下动作。
1 .瞄准枪
首先，为了在游戏中环顾四周，我把网球作为我的目标检测模型。 根据我手上这个网球在屏幕上的位置，我们可以设定鼠标的位置，控制我们玩家在游戏中瞄准的位置。
2 .移动玩家
然后，为了指挥游戏玩家的前进，检测食指的移动。 食指站立时，玩家前进； 我放下手指，玩家的动作就会停止。
3 .开枪
第三个支持的动作是开枪。 双手用于瞄枪和前进，所以只能通过张开嘴的动作来控制开枪。
目标检测模型
这个目标发现的模型称为MobileNet，它与SSD结合使用来本地化图像。 我会用不同的网球照片、竖起的食指照片、张开的牙齿照片来训练这个模型。 因为它以合理的速度奔跑，所以可以用轻量级的模型实时控制游戏。
模型的性能相对于模型的性能，在游戏中检测手指和牙齿的方法似乎比较可靠。 主要问题是把枪准确对准我们想要的位置。 由于模型以低于游戏的帧速率奔跑，所以鼠标的移动是跳跃式的，不平滑。 另外，在图像的边缘网球的检测效果不好，所以这种方法不太可靠。 通过在离网络摄像头远一点的地方微调模型以有效地检测目标，可以解决这个问题。 这样的话，就有足够的空间移动网球，可以更好地控制目标。 这个模型的游戏性能和效果可以在我的YouTube上看到。 总结来说，由于深度学习模型的强化，这个概念接近于可能。 为了替代游戏中更多的传统方式，这种控制机制的实际应用需要更加完善。 可以预测，这个想法的完美实现将使FPS的游戏过程更有趣。 雷锋网谢谢你。 如果你喜欢这篇文章，你可以在medium ( https://medium.com/@ chint an.t93 )，github ) https://github.com/Chintantrivedi )平台上关注我
