- 站点信息
- 问题反馈
- 邮箱：[email protected]
- 吐槽一下
关注微信
©2020-2025 ioDraw All rights reserved,
Privacy Policy
<>1 问题
现在有这样一个需求，在一份记录着微信聊天记录的 csv 文件中，去除同一天同一个人发的相同消息的记录。
<>2 实现代码
# -*- coding: utf-8 -*- import pandas as pd import os from tqdm import * class
DeleteRepetition: def __init__(self, finished_filedir='newdata'): '''
初始化数据清洗后的csv文件保存地址 :param finished_filedir: 保存路径 ''' self.finished_filedir =
finished_filedir def deleteCsvRepetition(self, filename): '''
将单个csv文件以ID，时间，消息为主键，去除同天同的人发的相同的话 :param filename:文件名 :return:null ''' #
读取csv文件 try: csvfile = pd.read_csv(filename, encoding="utf-8") # print(csvfile)
except Exception: raise Exception('file is not found!') # 第一行没有数据，去除 csvfile =
csvfile[1:] # print(csvfile) # 复制一份时间用于还原 time = csvfile['时间'].copy() #
print(time) # print(time.str.split(' ', expand=True)[0]) # 按照天为单位，提取时间
csvfile['时间'] = csvfile['时间'].str.split(' ', expand=True)[0] #
print(csvfile['时间']) # 去除同天同人同消息的数据 csvfile.drop_duplicates(subset=['ID', '时间',
'消息'], keep='first', inplace=True) # 恢复时间格式 csvfile['时间'] = time #
print(csvfile) # 写入csv文件 csvfile.to_csv(self.finished_filedir + '/' + filename,
index=0) def deleteCsvsRepetition(self, filedir): ''' 将根目录下的所有文件进行去重处理 :param
filedir: 文件夹名 ''' # 读取根目录下所有的csv文件名 filenames_csv = os.listdir(filedir) for
filename in tqdm(filenames_csv): self.deleteCsvRepetition(filedir + '/' +
filename) if __name__ == '__main__': test = DeleteRepetition()
test.deleteCsvsRepetition('20190311_0408')