java将30GB的XML文件分割成小块XML

Question

我在XML文件中有大量Stackoverflow数据。我需要将文件分割成小块XML文件，每个文件大约500 MB。请提供一些建议

Answer 1

根据需要，您可能可以使用Unix split实用程序。但它不会知道你的元素边界

如果您需要以支持XML的方式来实现这一点，这里有一篇文章描述了另一种方法，即通过XML流。巧合的是，它描述了如何分解一个30 GB的XML文件：

http://java.dzone.com/articles/splitting-large-xml-files-java

编辑：Michael Kay在下面的一条评论中指出（我猜他无法添加答案，因为问题已经结束）XSLT 3.0增加了对流媒体的支持，这允许你在没有内存的情况下处理大型文件。虽然XSLT 3.0在我编写规范草案时就已经存在，但Saxon-EE产品（商业化）几乎支持所有规范草案