如何从多个SQL文件创建一个SQL表？

Question

以上所解释的都是在ETL过程的上下文中进行的。我有一个充满sql文件的git存储库。我需要将所有这些sql文件（一旦拉入）放入一个包含两列的sql表：name和query，以便以后可以使用sql查询来访问每个文件，而不是从文件路径加载它们。我怎么做这个？我可以自由地使用我想要的工具，但我只知道python和Pentaho。你知道吗

也许这种方法比简单地访问硬盘中的pull文件需要更少的计算时间的假设是错误的。那样的话，请告诉我。你知道吗

Answer 1

您可以首先定义您感兴趣的表，使用的内容如下（您没有提到您正在使用的数据库）：

CREATE TABLE queries (
  name  TEXT PRIMARY KEY,
  query TEXT
);

在创建表之后，您可以使用os.walk遍历存储库中的文件，并将内容（例如file.read()）和文件名插入到先前创建的表中。你知道吗

听起来你在试图解决一个不同的问题。似乎您对加快某个进程很感兴趣，因为您询问了使用表访问查询是否比打开磁盘上的文件快。去调查（分开！）进一步的问题，见this。你知道吗

我建议您使用分析工具分析您正试图加速的现有流程。在那之后，你可以看到IO是否是你的瓶颈。否则，你可能会做这些工作没有任何好处。你知道吗

顺便说一句，如果您以这种方式查找查询，它可能表示您需要重新构建应用程序。请考虑一下这种可能性。你知道吗