<p>迟答，集中一个小时，你可以用<code>difflib.SequenceMatcher</code>过滤大于<code>0.6</code>的比率，还有一大块代码。。。另外，我只需删除每个列表的最后一个单词，在它被修改后的<code>names</code>列中，得到最长的单词，它显然得到了您想要的结果，这里是。。。你知道吗</p>
<pre><code>import difflib
df2 = df.copy()
df2.loc[df2.names.str.contains('America'), 'names'] = 'US'
df2['names'] = df2.names.str.replace('.', '').str.lstrip()
df2.loc[df2.names.str.contains('REL'), 'names'] = 'Reliance'
df['group_name'] = df2.names.apply(lambda x: max(sorted([i.rsplit(None, 1)[0] for i in df2.names.tolist() if difflib.SequenceMatcher(None, x, i).ratio() > 0.6]), key=len))
print(df)
</code></pre>
<p>输出：</p>
<pre><code> names group_name
0 U.S.A. USA
1 United States of America USA
2 USA USA
3 US America USA
4 Kenyan Footbal League Kenya Football League
5 Kenyan Football League Kenya Football League
6 Kenya Football League Assoc. Kenya Football League
7 Kenya Footbal League Association Kenya Football League
8 Tata Motors Tata Motors
9 Tat Motor Tata Motors
10 Tata Motors Ltd. Tata Motors
11 Tata Motor Limited Tata Motors
12 REL Reliance
13 Reliance Limited Reliance
14 Reliance Co. Reliance
</code></pre>
<p>尽我最大努力的一个代码。你知道吗</p>
在大Pandas中把很少或没有异常的名字聚成一团
回答此问题可获得 20 贡献值，回答如果被采纳可获得 50 分。
<p>我有一个dataframe，其中names字段为：</p>
<pre><code>print(df)
names
--------------------------------
0 U.S.A.
1 United States of America
2 USA
4 US America
5 Kenyan Footbal League
6 Kenyan Football League
7 Kenya Football League Assoc.
8 Kenya Footbal League Association
9 Tata Motors
10 Tat Motor
11 Tata Motors Ltd.
12 Tata Motor Limited
13 REL
14 Reliance Limited
15 Reliance Co.
</code></pre>
<p>现在我想将所有这些类似的名称合并到一个类别中，这样最终的数据帧看起来像这样：</p>
<pre><code>print(df)
names group_name
---------------------------------------------
0 U.S.A. USA
1 United States of America USA
2 USA USA
4 US America USA
5 Kenyan Footbal League Kenya Football League
6 Kenyan Football League Kenya Football League
7 Kenya Football League Assoc. Kenya Football League
8 Kenya Footbal League Association Kenya Football League
9 Tata Motors Tata Motors
10 Tat Motor Tata Motors
11 Tata Motors Ltd. Tata Motors
12 Tata Motor Limited Tata Motors
13 REL Reliance
14 Reliance Limited. Reliance
15 Reliance Co. Reliance
</code></pre>
<p>现在只有16条记录，所以很容易查找所有可能的名称和名称中的异常，并创建一个映射字典。但实际上，我有一个包含5800个唯一名称的数据框（注意：在说明唯一名称的计数时，“USA”和“U.S.a.”被算作不同的实体）。<br/>那么，有什么程序化的方法来解决这种情况吗？你知道吗</p>
<p>我尝试使用<code>difflib</code>和<code>fuzzywuzzy</code>库运行fuzzy match，但即使是它的最终结果也不具体。通常情况下，<code>difflib</code>只会根据“limited”、“association”等词进行匹配，即使它们指的是两个不同的名称，其中只有“association”或“limited”作为常用词。<br/>
感谢您的帮助。你知道吗</p>
<p><strong>编辑：</strong><br/>
即使我创建了一个包含“association”、“limited”、“cooprations”、“group”等单词的停止词列表，当以不同方式提及时，也有可能遗漏这些停止词名称。例如，如果“association”和“limited”只是指“assoc.”、“ltd”和“ltd.”，那么我很可能会错过将其中一些添加到停止词列表中的机会。你知道吗</p>
<p>我已经尝试过，用LDA和NMF进行主题建模，结果与我之前使用<code>difflib</code>和<code>fuzzywuzzy</code>库所获得的结果非常相似。是的，在这些方法之前，我做了所有的预处理（转换成小写，leamtization，额外的空格处理）</p>
请先 登录 后评论
针对此问题: 更多的回答
- 89 关注
- 1 收藏，216 浏览
- 网友 提问于 2天前
相关Python问题
- 如何在Excel中读取公式并将其转换为Python中的计算？ 2 回答
- 如何在excel中读取嵌入的excel，并将嵌入文件中的信息存储在主excel文件中？ 9 回答
- 如何在Excel中返回未知列长度的非空顶行列值？ 3 回答
- 如何在excel中选择数据列？ 1 回答
- 如何在Excel中通过脚本自动为一列中的所有单元格创建公共别名 2 回答
- 如何在excel中高效格式化范围AttributeError:“tuple”对象没有属性“fill” 4 回答
- 如何在excel单元格中编写python函数 10 回答
- 如何在excel单元格中自动执行此python代码？ 5 回答
- 如何在excel工作表中创建具有相应值的新列 7 回答
- 如何在Excel工作表中复制条件为单元格颜色的python数据框？ 8 回答
- 如何在Excel工作表中循环 9 回答
- 如何在excel工作表中打印嵌套词典？ 4 回答
- 如何在excel工作表中绘制所有类的继承树？ 4 回答
- 如何在Excel工作表中自动调整列宽？ 6 回答
- 如何在excel工作表中追加并进一步处理 4 回答
- 如何在excel工作表之间进行更改？ 10 回答
- 如何在excel或csv上获取selenium数据？ 2 回答
- 如何在Excel或Python中将正确的值赋给正确的列 5 回答
- 如何在excel或python中提取单词周围的文本？ 4 回答
- 如何在excel或python中转换来自Jira的3w 1d 4h的fromat数据？ 3 回答
