# -*- encoding: UTF-8 -*-
# 此脚本的作用是将stem.txt中的构词码加到指定的码表中，stem.txt从https://github.com/lotem/rime-forge/tree/master/zhengma处得来（在dict.ymal的最下面）
# usage：add_stem.py filename/filepath
# 它将在当前文件夹生成一个新文件，命名为 new_*

import re
import os
import sys
import codecs
# 用codecs以指定编码打开文件很有效，不然有时会有错误
filepath = sys.argv[1]
filename = re.search(r'(?:.*/)?(.*)\.', filepath).group(1)               #[/\\]用来兼容\路径和/路径, (?:..)?用来兼容没有路径只有文件名的情况
newFilename = "new_" + filename + ".txt"
f = codecs.open(filepath, "r", 'utf-8')
lines = f.readlines()           #readlines()能生成一个list
f.close()

f_stem = codecs.open(r'stem.txt', "r", 'utf-8')
stemlines = f_stem.readlines()
f_stem.close()

newf = codecs.open(newFilename, "w", 'utf-8')

for i,line in enumerate(lines):
# enumerate这个方法是从网上找的可以方便的找出循环的次数
    words = line.split()
    myre = words[0]
    if (len(myre) == 1):   # 只为单字查找构词码
        for stemline in stemlines:
            if (re.match(myre, stemline)):   # 汉字可以直接用正则匹配
                line = line.strip('\r\n') + "\t" + stemline.split()[1] + '\n'    # 用line.strip('\r\n')去除行尾的换行符，注意一定不要忘了'\r'
                break
    newf.write(line)
    if (i % 100 == 0):
        print(i)
# 这里打印出行数是为了查看进度，因为整个过程大概要15分钟，当行数为18万时都差不多完了。
newf.close()
复制代码

# -*- encoding: UTF-8 -*-
# 此脚本的作用是将stem.txt中的构词码加到指定的码表中，stem.txt从https://github.com/lotem/rime-forge/tree/master/zhengma处得来（在dict.ymal的最下面）
# usage：add_stem.py filename/filepath
# 它将在当前文件夹生成一个新文件，命名为 new_filename

import re
import os
import sys
import codecs
from time import time 
from collections import OrderedDict    # 待找相关资料,这是加快的速度的核心

# 用codecs以指定编码打开文件很有效，不然有时会有错误
filepath = sys.argv[1]
filename = os.path.basename(filepath)
newFilename = "new_" + filename
f = codecs.open(filepath, "r", 'utf-8')
lines = f.readlines()           #readlines()能生成一个list
f.close()

f_stem = codecs.open(r'stem.txt', "r", 'utf-8')
stemlines = f_stem.readlines()
f_stem.close()

newf = codecs.open(newFilename, "w", 'utf-8')


# 先将stem.txt 的内容组成二元列表
stemwords = []
for stemline in stemlines:
    stemline_split = stemline.split()
    stemwords.append((stemline_split[0], stemline_split[1]))

# 再stemwords这个二元列表变为有序的字典，具体的原理还不清楚
stem = OrderedDict(stemwords)


for i,line in enumerate(lines):
# enumerate这个方法是从网上找的，可以方便的找出循环的次数
    word = line.split()[0]
    if (len(word) == 1 and stem.get(word)):   
    # stem.get(word) 判断word在stem中是否存在，stem[word]找出word在stem.txt所对应的构词码
            line = line.strip('\r\n') + '\t' + stem[word] + '\n'
    newf.write(line)

newf.close()
复制代码

# encoding: UTF-8
from collections import OrderedDict
stem = OrderedDict([('a','1'), ('b','2'), ('c','3')])
jd = ['a 2', 'a 3', 'c 1', 'd 4', 'e 5', 'b 6']
for i in jd:
	t = i.split()
	if stem.get(t[0]):
		stem[t[0]] += '\t' + t[1]
for i, j in stem.items():
	print(i+'\t'+j)
复制代码

os.path.basename(path)
复制代码

stem.txt的编码没问题{'confidence': 1.0, 'encoding': 'UTF-8-SIG'}

jd.txt的编码,我这里解不了.
{'confidence': 0.20146231414170868, 'encoding': 'ISO-8859-2'}
复制代码

open($IN,'<jd.txt');
open($IN1,'<stem.txt');
open($OUT,'>out.txt');
while(<$IN1>){
  ($C,$D)=split(/\s+/,$_);
   $dic1{$C}=$D;
}
while(<$IN>){
  ($A,$B)=split(/\s+/,$_);
if(exists $dic1{$A}){
	print $OUT "$A $B $dic1{$A}\n";
	}else{
  print $OUT "$A $B\n";
}}
复制代码

挻	dmiy	dy
复制代码

words = []
words.append(lineStr)
txt = "".join(words)
复制代码