从如此多的网页中获取数据最快的方法是什么？

Question

我需要废弃大约40个随机网页在同一时间时间。这些每个请求的页数各不相同。 我在python中使用rpcs来获取url，并使用BeautifulSoup获取数据。大约需要25秒的时间来处理所有数据并显示在屏幕上。在

为了提高速度，我将数据存储在appengine数据存储中，这样每个数据只被刮取一次，并且可以从那里快速访问。在

但问题是->；随着数据存储中数据大小的增加，从数据存储中获取数据所需的时间太长（超过了刮取）。在

我应该使用memcache还是转换到mysql？mysql比gae数据存储快吗？ 或者有其他更好的方法来尽快获取数据吗？在

Answer 1

根据我对你的应用的了解，使用memcache是有意义的。它会更快，并且会自动处理诸如过期的缓存项之类的事情。在