java如何附加ORC文件

Question

我们有一个需要appedndORC文件的需求。我试着用谷歌搜索，但没有结果。另外ORC的org.apache.hadoop.hive.ql.io.orc.WriterImpl没有append API。还有附加ORC文件的方法吗？（更具体地说，使用JAVA）

Answer 1

ORC数据文件细分为独立的条带；每个条带都可以在单个原子步骤中创建。详情见the official documentation

我不相信您可以动态地直接附加到现有文件。这意味着在写入时留下一个损坏的条带（因此是一个损坏的文件），以防作业崩溃

但是你可以

• 创建一个新的ORC数据文件（将包含1..N条带，具体取决于 实际数据量与每个减速机的orc.stripe.size属性
• 然后使用Hive V0.14 and above将这些数据文件和现有文件“连接起来”