使用Python将索引设置为csv文件中的一组重复行值

Question

我对Python还不熟悉。我想将索引设置为对每个组重复的特定行元素集。 我的数据帧：

data_dict ={'0_deg': [2, 11, 21, -17, 5, 40, 22, 7, 20, -6, -6, -6, 24, 21, 20, 61, 21, 5, 2, 17], 
 '10_deg': [12, -21, 11, 1, 4, -2, 33, 53, 18, 10, -3, -1, 23, 18, 23, 8, 11, -25, 21, -14], 
 '20_deg': [23, -10, 3, 20, -41, 13, 10, 5, -9, 7, -4, -21, 14, -26, -31, 9, 1, -15, 3, -6], 
 '30_deg': [12, 9, -5, 4, 9, -46, 1, -8, -27, 3, -9, -14, 15, -6, 14, 7, -11, 5, 19, -4]}

data_dict = pd.read_csv('Dataset.csv')
data_dict = data_dict.set_index('Indexes')

#row idx of a group in this list
idx =[4,10,37,109,133]

在这里，一个列表被创建为idx，索引值被默认地写入。你知道吗

但是对于一个更大的矩阵，每个组有1000多个索引（随机值），这将是一个非常困难的任务。你知道吗

我想要的是，当我读取一个CSV文件时，应该选择行中的第一个值，直到相同的值出现在同一索引中，它应该被视为1组，并且第一组的索引必须存储在idx

例如：在我的数据集的小版本中，从第一列Indexes开始，第一个值即4,10,37,109,133是第一组的索引。对于下一组，这些值以相同的顺序重复。 只有它们不应该在代码中手动输入。一个组应该被认为是下一个4发生的单元。因此，索引值4到133必须视为idx下的1组。这是因为我需要idx来获取代码的进一步部分。你知道吗

我的实际数据集每个组有1000多个索引值。因此，idx必须自动获取组的所有值。你知道吗

# getting some dimensions and sorting the data
row_idx_length = len(idx) 
group_length = len(data_dict['0_deg'])
number_of_groups = len(data_dict.keys())  
idx = idx*number_of_groups   
data_arr = np.zeros((group_length,number_of_groups),dtype=np.int32) 

Answer 1

如果我正确地理解了你的问题，你需要得到给定数据帧的idx，索引设置是这样的。你知道吗

data_dict ={'0_deg': [2, 11, 21, -17, 5, 40, 22, 7, 20, -6, -6, -6, 24, 21, 20, 61, 21, 5, 2, 17], 
 '10_deg': [12, -21, 11, 1, 4, -2, 33, 53, 18, 10, -3, -1, 23, 18, 23, 8, 11, -25, 21, -14], 
 '20_deg': [23, -10, 3, 20, -41, 13, 10, 5, -9, 7, -4, -21, 14, -26, -31, 9, 1, -15, 3, -6], 
 '30_deg': [12, 9, -5, 4, 9, -46, 1, -8, -27, 3, -9, -14, 15, -6, 14, 7, -11, 5, 19, -4]}
import pandas as pd
df = pd.DataFrame(data_dict)

idx =[4,10,37,109,133]
df.index = idx * (len(df)//len(idx))

print(df)
#Output:
     0_deg  10_deg  20_deg  30_deg  groups
4        2      12      23      12       1
10      11     -21     -10       9       1
37      21      11       3      -5       1
109    -17       1      20       4       1
133      5       4     -41       9       1
4       40      -2      13     -46       2
10      22      33      10       1       2
37       7      53       5      -8       2
109     20      18      -9     -27       2
133     -6      10       7       3       2
4       -6      -3      -4      -9       3
10      -6      -1     -21     -14       3
37      24      23      14      15       3
109     21      18     -26      -6       3
133     20      23     -31      14       3
4       61       8       9       7       4
10      21      11       1     -11       4
37       5     -25     -15       5       4
109      2      21       3      19       4
133     17     -14      -6      -4       4

设置完成后，只需计算第0个值的重复位置。您可以直接计算它，但也许为进一步的计算创建一个额外的列也更有用。你知道吗

temp = df.index == df.index[0]
groups = temp.cumsum()
idx_out = list(df.index[groups == 1])

print(idx_out) #[4, 10, 37, 109, 133]

#Optional:

df['groups'] = groups #can be very useful for aggregations and groupby calculations

Answer 2

我相信你需要^{}和整数除法来计算重复次数：

df.index = np.tile(idx, len(df.index) // len(idx))

但是如果get error（N和M是一些整数）：

ValueError: Length mismatch: Expected axis has N elements, new values have M elements

这意味着在最后一个组中缺少一些元素，所以按1添加下一个组，并按index of DataFrame的长度过滤：

#added 150 to idx list
idx =[4,10,37,109,133,150]
df.index = np.tile(idx, len(df.index) // len(idx) + 1)[:len(df.index)]
print (df)          
     0_deg  10_deg  20_deg  30_deg
4        2      12      23      12
10      11     -21     -10       9
37      21      11       3      -5
109    -17       1      20       4
133      5       4     -41       9
150     40      -2      13     -46
4       22      33      10       1
10       7      53       5      -8
37      20      18      -9     -27
109     -6      10       7       3
133     -6      -3      -4      -9
150     -6      -1     -21     -14
4       24      23      14      15
10      21      18     -26      -6
37      20      23     -31      14
109     61       8       9       7
133     21      11       1     -11
150      5     -25     -15       5
4        2      21       3      19
10      17     -14      -6      -4