处理和处理数据的最快方法

Question

我有一个非常大和重要的项目，但我有一个问题，选择一种方法来处理数据。你知道吗

• 数据库 ：如果我使用数据库，我可以对它们进行排序和筛选。你认为这样过滤数据会更快还是我应该用python编写代码？由多个软件同时向数据库请求数据、过滤或任何其他过程都会产生问题吗？你知道吗
• 文件 ：我当前正在使用文本文件处理数据，并从中提取数据，但我有太多线程和多个处理函数，应该打开同一个文件。所以有时候会出现一个错误，说“error:Permission denied”，这是合理的。你知道吗

因此，我的软件需要进行大量的数据处理和过滤（使用某些条件），有时还需要通过许多函数或其他python脚本同时打开和访问数据，以至于在文件中出现错误（权限被拒绝）。你知道吗

因此，我如何才能过滤和处理数据没有任何错误。我应该使用什么工具？ 我需要一个快速的方法来做这些。你知道吗

注意：每10秒，数据将更新一次

Answer 1

如果要执行频繁的数据操作，建议在文件系统上使用数据库