codegay

stem.txt的编码没问题{'confidence': 1.0, 'encoding': 'UTF-8-SIG'}

jd.txt的编码,我这里解不了.
{'confidence': 0.20146231414170868, 'encoding': 'ISO-8859-2'}
复制代码

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xed in position 851491: invalid continuation byte

codegay

处理规则还得说清楚一点才好.
不然还得自己看代码确认你说的规则是什么样的.

happy886rr

回复 3# batsealine
花费15分钟去处理20万行，确实太漫长。算法的问题。加上序号，先从每行序号之后sort排序处理替换完，再按序号排恢复，最后替掉序号。

codegay

os.path.basename(path)
复制代码

这样取文件名好了.

pcl_test

举个栗子，字典法

# encoding: UTF-8
from collections import OrderedDict
stem = OrderedDict([('a','1'), ('b','2'), ('c','3')])
jd = ['a 2', 'a 3', 'c 1', 'd 4', 'e 5', 'b 6']
for i in jd:
	t = i.split()
	if stem.get(t[0]):
		stem[t[0]] += '\t' + t[1]
for i, j in stem.items():
	print(i+'\t'+j)
复制代码

batsealine

回复 2# happy886rr


    这是词库文件，顺序不能变的，不知道多线程是不适用这种情况。

happy886rr

回复 1# batsealine
你这文件全是utf8特殊字符，不知linux下的sort能处理不？我觉得应该将jd.txt和stem.txt合为一个txt。然后用sort排序，变相同首字紧排。之后挨行匹配替换会快非常多