带pandas和多处理的Python索引器

Question

我正在尝试转换许多xml文件，这些文件都是我刮下来的squawka.com网站，转换成清晰的csv文件。我发现了一个脚本，它可能会执行此操作，但它总是会引发以下错误：

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "squawka\utils.py", line 227, in export_all_stats
    df = pd.concat(pool.imap(partial_loader, xml_paths), axis=0, ignore_index=True)
  File "C:\Python27\lib\site-packages\pandas\tools\merge.py", line 812, in concat
    copy=copy)
  File "C:\Python27\lib\site-packages\pandas\tools\merge.py", line 842, in __init__
    objs = list(objs)
  File "C:\Python27\lib\multiprocessing\pool.py", line 668, in next
    raise value
IndexError: list index out of range

我尝试使用此脚本中的export_all_stats函数：

^{pr2}$

我对这个很陌生，所以我不知道出了什么问题。我试着用谷歌搜索，但没有找到答案。有人能帮帮我吗？在

Answer 1

我将通过将pool.imap(partial_loader, xml_paths)分配给一个变量并查看结果的形状来开始故障排除。将该对象传递给pd.concat时存在一些问题。如果没有看到该对象，我的猜测是该对象实际上没有可忽略的索引，并且当您设置ignore_index=True时，它会尝试查找不存在的内容，因此IndexError: list index out of range。在