如何在先前录制的视频/图像帧中检测鼠标光标/单击

Question

我有一些解释如何在特定软件中执行任务的屏幕截图。我的目标是检测用户点击按钮或菜单项或任何其他导致更改的地方。这项工作的一个解决方案是检测鼠标光标的位置。有几个挑战：

1. 光标的图标会发生变化，并且在所有视频中并不总是相同的（例如Mac vs Win、箭头形和手形光标）。在
2. 我尝试过模板匹配，但没有得到好的结果，因为每个人捕捉视频的显示设置可能不同，因此光标的大小也会不同。在
3. 计算两个结果图像之间的差异可以只在输出中给出鼠标光标，但我需要在输出中只显示第二个或最后一个图像的光标位置，而不是两者。在
4. 我还试图找到一个对象跟踪示例解决方案，但它们要么用于实时视频，要么用于多个对象（我只需要找到鼠标光标或鼠标被单击的位置）

如果有人能提出一个解决方案，即用代码（Java/Matlab/Python）、软件或API来完成这项工作，我将不胜感激。在