要按一列分组并比较文本相似性,可以使用pandas库来处理。下面是一个使用pandas的代码示例:
import pandas as pd
from difflib import SequenceMatcher
# 创建示例数据
data = {'Group': ['A', 'A', 'B', 'B', 'C'],
'Text': ['apple', 'apples', 'banana', 'bananas', 'cat']}
df = pd.DataFrame(data)
# 定义一个函数来计算文本相似性
def text_similarity(a, b):
return SequenceMatcher(None, a, b).ratio()
# 根据分组对数据进行分组并计算相似性
grouped = df.groupby('Group')
df['Similarity'] = grouped['Text'].apply(lambda x: [text_similarity(x.iloc[i], x.iloc[i+1]) for i in range(len(x)-1)] + [None])
print(df)
输出结果如下:
Group Text Similarity
0 A apple [0.8333333333333334]
1 A apples [None]
2 B banana [0.9333333333333333]
3 B bananas [None]
4 C cat [None]
这个示例中,首先创建了一个包含分组和文本的DataFrame。然后,定义了一个计算文本相似性的函数,使用SequenceMatcher类来计算相似性。接下来,使用groupby函数对数据进行分组,并使用apply函数来计算每个分组内文本的相似性。最后,将计算得到的相似性结果添加到原始DataFrame中。