我想用keras对电子邮件进行分类,我已经有了包含电子邮件的文件夹,所以我希望keras能够根据我已经分类的内容确定一个模型,预测将未分类的电子邮件放在哪里。在
所以我阅读了所有的邮件,用panda创建了一个包含两列的数据框,一列是邮件中所有单词的列表,另一列是邮件所属的文件夹。在
之后,我创建了x_train
、y_train
、x_test
和{
因为predict调用看起来只能处理numpy list或numpy数组。在
这是一个问题,矩阵是不同的,因为非机密邮件中的字数和我的数据集是不同的,这导致了不同的形状,所以一个错误,我想知道如何解决。在
我试着使用OneHotEncoder
,但我不知道我是不是用它的方式,但它失败了
#lst = each row contains all the word of the folder in the list2
#lst2 = each row contains the path to a folder
data = pd.DataFrame(list(zip(lst, lst2)), columns=['text', 'folder'])
train_size = int(len(data) * .8)
train_posts = data['text'][:train_size]
train_tags = data['folder'][:train_size]
test_posts = data['text'][train_size:]
test_tags = data['folder'][train_size:]
model = Sequential()
model.add(Dense(16, input_shape=(vocab_size,)))
model.add(Activation('elu'))
model.add(Dropout(0.2))
model.add(Dense(32))
model.add(Activation('elu'))
model.add(Dropout(0.2))
model.add(Dense(16))
model.add(Activation('elu'))
model.add(Dropout(0.2))
model.add(Dense(num_labels))
model.add(Activation('sigmoid'))
model.summary()
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
history = model.fit(x_train, y_train, batch_size=batch_size, epochs=100, verbose=1, validation_data=(x_test, y_test))
score = model.evaluate(x_test, y_test, batch_size=batch_size, verbose=1)
#read the non-classified mails
sentences = read_files("mail.eml")
sentences = ' '.join(sentences)
sentences = sentences.lower()
salut = unidecode.unidecode(sentences)
salut = text_to_word_sequence(salut)
salut = np.array(pd.get_dummies(salut).values)
pred = model.predict_classes(salut, batch_size=batch_size, verbose=1)
Results of the trainings: 3018/3018 [==============================] - 0s 64us/step - loss: 0.0215 - acc: 0.9949 - val_loss: 0.0217 - val_acc: 0.9950
ValueError: Error when checking input: expected dense_1_input to have shape (3773,) but got array with shape (111,)
我总共用了3773个单词,我把它分成x_train和x_test,训练长度是3773的80%,所以3018,剩下的(775个)去测试
traning_time (fit)
3018/3018 [==============================] - 0s 67us/step - loss: 0.0225 - acc: 0.9950 - val_loss: 0.0221 - val_acc: 0.9950
test_time (evaluate)
755/755 [==============================] - 0s 25us/step
result of evaluate
Test score: 0.022089334732748024 Test accuracy: 0.9950132541309129
我忘了说read_files调用只是我创建的一个函数,它读取文件并返回邮件中所有单词的列表
我测试了通过添加尽可能多的列(满零)来匹配3773长度的矩阵,这确实有效,但矩阵肯定是假的,这给了我非常差的结果,同时我有很高的“精确度”和“值精度”
如果你知道怎么解决它,请说出你的任何想法
我解决了这个问题,两个矩阵之间的长度问题是因为我在标记我的非机密邮件和其他邮件时没有使用同一个字典。在
所以如果有人遇到这个问题,你需要在整个程序中使用相同的标记器。在
相关问题 更多 >
编程相关推荐