矩阵到时空特征向量的转换

Question

给定一个表示视频的矩阵，其中行表示视频帧，列表示帧特征，我是否可以使用任何技术从该矩阵创建单个特征向量，而不会丢失矩阵中的时空信息？i、 e.40个帧向量，其中36个特征分别转换为1个向量，其中36个特征代表整个40帧

我已经试过对每个特性取平均值，但我想知道其他技术

Answer 1

我没有视频数据方面的经验。但我有一种感觉，你的问题与文本摘要问题相同/或非常相似。 原则上，你想要的是把你所有不同的时间框架“总结”成一个框架。这很像你在一篇文章中有许多句子，但你只想有一个句子可以总结一篇文章中的所有句子

通常有两种方法：

1。提取方法：：评估每个帧的重要性，并在不同帧上设置权重。然后简单地使用线性组合得到一个汇总向量。在极端情况下，如果主框架的重量比其他框架大得多，则可以将其用作代表性框架。该方法与NLP中的TextRank或TextTeasing算法非常相似

2。抽象方法：：在NLP的情况下，你需要一些语言学家和句子语义结构的知识来发展这种方法。在你的情况下，我相信你也需要对你的视频数据做同样的事情