Python解析csv数据算法

Question

我需要解析一个大的csv文件（1Gb），其中包含天气数据。

文件本身在这里：
ftp://ftp.ncdc.noaa.gov/pub/data/ghcn/daily/by_year/2014.csv.gz
附加信息（站点代码和文件格式）：
ftp://ftp.ncdc.noaa文件.gov/pub/data/ghcn/daily/ghcnd-站点.txt
ftp://ftp.ncdc.noaa文件.gov/pub/data/ghcn/daily/按年份/自述文件.txt

我需要找到有关基辅和第聂伯罗彼得罗夫斯克的信息，并将月平均数可视化。 我写了一个算法来寻找数据和它的平均值，但它没有给我一个最近一个月的数据。你知道吗

import csv
import matplotlib.pyplot as plt

f = open('2014.csv', 'rb')
try:
reader = csv.reader(f)

avgK = 0
avgD = 0
date = 0
mon = 1
avergK = []
avergD = []
count_date = 1

for row in reader:
    if row[2] == 'TAVG':
        count_date +=1
        date = (int(row[1]) % 10000)

        if row[0] == 'UPM00033345':    
            avgK += float(row[3])/10.0

        elif row[0] == 'UPM00034504':
            avgD += float(row[3])/10.0

    if (date//100 > mon):
        print date //100, mon, date%100, avgK, avgD
        avergK.append(avgK/count_date)
        avergD.append(avgD/count_date)
        mon += 1
        avgK = 0
        avgD = 0
        count_date = 1
        continue
finally:
    f.close()

plt.subplot(2, 1, 1)
plt.plot(avergK)
plt.xlabel('Month')
plt.ylabel('Average Temperature')
plt.title('AVG in Kiev 2014')
plt.grid(True)

plt.subplot(2, 1, 2)
plt.plot(avergD)
plt.xlabel('Month')
plt.ylabel('Average Temperature')
plt.title('AVG in DNIPROPETROVSK 2014')
plt.grid(True)

plt.show()

有没有可能用熊猫来解决这个问题？你知道吗

Answer 1

也许你可以在这里使用熊猫，但你不需要它们来解决当前的问题。所发生的是，你存储一个月平均只有当你找到一个新的一个月行。但当你到达文件的末尾时，你应该在上个月完成这个过程。你知道吗

你的循环应该是：

for row in reader:
    if row[2] == 'TAVG':
        count_date +=1
        date = (int(row[1]) % 10000)

        if row[0] == 'UPM00033345':    
            avgK += float(row[3])/10.0

        elif row[0] == 'UPM00034504':
            avgD += float(row[3])/10.0

    if (date//100 > mon):
        print date //100, mon, date%100, avgK, avgD
        avergK.append(avgK/count_date)
        avergD.append(avgD/count_date)
        mon += 1
        avgK = 0
        avgD = 0
        count_date = 1
        continue

# store values for last month
avergK.append(avgK/count_date)
avergD.append(avgD/count_date)