Python中的XML到CSV

Question

在Python中将XML文件转换为CSV时遇到了很多困难。我看过很多论坛，试过lxml和xmlutils.xml2csv，但都没用。这是来自Garmin GPS设备的GPS数据。

以下是我的XML文件的外观，当然是缩短的：

<?xml version="1.0" encoding="utf-8"?>
<gpx xmlns:tc2="http://www.garmin.com/xmlschemas/TrainingCenterDatabase/v2" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:tp1="http://www.garmin.com/xmlschemas/TrackPointExtension/v1" xmlns="http://www.topografix.com/GPX/1/1" version="1.1" creator="TC2 to GPX11 XSLT stylesheet" xsi:schemaLocation="http://www.topografix.com/GPX/1/1 http://www.topografix.com/GPX/1/1/gpx.xsd http://www.garmin.com/xmlschemas/TrackPointExtension/v1 http://www.garmin.com/xmlschemas/TrackPointExtensionv1.xsd">
  <trk>
      <name>2013-12-03T21:08:56Z</name>
      <trkseg>
          <trkpt lat="45.4852855" lon="-122.6347885">
              <ele>0.0000000</ele>
              <time>2013-12-03T21:08:56Z</time>
          </trkpt>
          <trkpt lat="45.4852961" lon="-122.6347926">
              <ele>0.0000000</ele>
              <time>2013-12-03T21:09:00Z</time>
          </trkpt>
          <trkpt lat="45.4852982" lon="-122.6347897">
              <ele>0.2000000</ele>
              <time>2013-12-03T21:09:01Z</time>
          </trkpt>
      </trkseg>
  </trk>
</gpx>

在我庞大的XML文件中有几个trk标记，但我可以将它们分离出来——它们表示不同的“段”或GPS设备上的行程。我只需要一个CSV文件，它可以像这样打印：

LAT         LON         TIME         ELE
45.4...     -122.6...   2013-12...   0.00...
...         ...         ...          ...

这是我目前掌握的代码：

## Call libraries
import csv
from xmlutils.xml2csv import xml2csv

inputs = "myfile.xml"
output = "myfile.csv"

converter = xml2csv(inputs, output)
converter.convert(tag="WHATEVER_GOES_HERE_RENDERS_EMPTY_CSV")

这是另一个替代代码。它只输出没有数据的CSV文件，只有头lat和lon。

import csv
import lxml.etree

x = '''
<?xml version="1.0" encoding="utf-8"?>
<gpx xmlns:tc2="http://www.garmin.com/xmlschemas/TrainingCenterDatabase/v2" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:tp1="http://www.garmin.com/xmlschemas/TrackPointExtension/v1" xmlns="http://www.topografix.com/GPX/1/1" version="1.1" creator="TC2 to GPX11 XSLT stylesheet" xsi:schemaLocation="http://www.topografix.com/GPX/1/1 http://www.topografix.com/GPX/1/1/gpx.xsd http://www.garmin.com/xmlschemas/TrackPointExtension/v1 http://www.garmin.com/xmlschemas/TrackPointExtensionv1.xsd">
<trk>
  <name>2013-12-03T21:08:56Z</name>
  <trkseg>
    <trkpt lat="45.4852855" lon="-122.6347885">
      <ele>0.0000000</ele>
      <time>2013-12-03T21:08:56Z</time>
    </trkpt>
    <trkpt lat="45.4852961" lon="-122.6347926">
      <ele>0.0000000</ele>
      <time>2013-12-03T21:09:00Z</time>
    </trkpt>
    <trkpt lat="45.4852982" lon="-122.6347897">
      <ele>0.2000000</ele>
      <time>2013-12-03T21:09:01Z</time>
    </trkpt>
  </trkseg>
</trk>
</gpx>
'''

with open('output.csv', 'w') as f:
    writer = csv.writer(f)
    writer.writerow(('lat', 'lon'))
    root = lxml.etree.fromstring(x)
    for trkpt in root.iter('trkpt'):
        row = trkpt.get('lat'), trkpt.get('lon')
        writer.writerow(row)

我该怎么做？请认识到我是新手，所以一个更全面的解释将是超级棒！

Answer 1

这是一个名为的XML文档。因此，您需要使用节点各自的名称空间来寻址节点。

文档中使用的命名空间在顶部定义：

xmlns:tc2="http://www.garmin.com/xmlschemas/TrainingCenterDatabase/v2"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:tp1="http://www.garmin.com/xmlschemas/TrackPointExtension/v1"
xmlns="http://www.topografix.com/GPX/1/1"

因此第一个名称空间被映射到缩写形式tc2，并将用于类似<tc2:foobar/>的元素中。最后一个在xmlns之后没有短格式的名称空间称为默认名称空间，它适用于文档中没有明确使用名称空间的所有元素，因此它也适用于<trkpt />元素。

因此，您需要编写root.iter('{http://www.topografix.com/GPX/1/1}trkpt')来选择这些元素。

为了获得时间和提升，可以使用trkpt.find()访问trkpt节点下的这些元素，然后element.text检索这些元素的文本内容（与lat和lon等属性相反）。另外，由于time和ele元素也使用默认名称空间，因此必须再次使用{namespace}element语法来选择这些节点。

所以你可以用这样的东西：

NS = 'http://www.topografix.com/GPX/1/1'
header = ('lat', 'lon', 'ele', 'time')

with open('output.csv', 'w') as f:
    writer = csv.writer(f)
    writer.writerow(header)
    root = lxml.etree.fromstring(x)
    for trkpt in root.iter('{%s}trkpt' % NS):
        lat = trkpt.get('lat')
        lon = trkpt.get('lon')
        ele = trkpt.find('{%s}ele' % NS).text
        time = trkpt.find('{%s}time' % NS).text

        row = lat, lon, ele, time
        writer.writerow(row)

有关XML名称空间的更多信息，请参见Namespaces section in the lxml tutorial和Wikipedia article on XML Namespaces。有关.gpx格式的一些详细信息，请参见GPS eXchange Format。

Answer 2

很抱歉在这里使用了已经制作好的工具，但这对您的数据起到了作用：

1. 将XML转换为JSON:http://convertjson.com/xml-to-json.htm
2. 把JSON转换成CSV:https://konklone.io/json/

它对你的数据起到了很好的作用。

ele,time,_lat,_lon
0.0000000,2013-12-03T21:08:56Z,45.4852855,-122.6347885
0.0000000,2013-12-03T21:09:00Z,45.4852961,-122.6347926
0.2000000,2013-12-03T21:09:01Z,45.4852982,-122.6347897

因此，对于编码，我认为XML>；JSON>；CSV可能是一种很好的方法。你可以在这些链接中找到相关的脚本。