娜美

非常感谢@went
希望在转换编码过程中,顺便把unix  mac  dos格式也并统一解决了
例如将不同文本unix  mac  dos格式, 统一变成DOS/ASNI编码格式

变成dos/utf-8
coder -c auto dos/unix/mac==dos/utf-8 -f a.txt >b.txt

娜美

楼主有一些优化建议, 楼主开发命令行工具非常优秀

例如: 在判断编码的过程.

coder.exe -s -a gc -fCOPY

是不是还能做一些优化, 现在是需要从头到尾读一遍才能判断出是那一种编码,  
if 文件很多,  又很大情况下, 从头到尾读一遍可能需要很多时间和资源哦

if 它可以只读文本头标识的前几行, 就能马上判断出属于那一种编码吗, 这是不是一种更好优化方案? 更好,更快,更强 更省时间

但这是想法,  要实现它又是另一回事了

娜美

楼主,  报告一个问题, 不能检测大于2GB文件吗 ?    相同文件试用uchardet是可以,  楼主要重现此问题,  请偿试制造1个 或 多个 大于2GB大文件 或 更大的任何内容文件用于实验

coder -s -a gc -f "0.txt" 
 
文件打开失败! Error:8
 
文件打开失败! Error:1006
 
请按任意键继续. . .COPY

娜美

回复 77# went


今天才看到楼主更新了,    测了一下,  如果是DOS/UTF-16_BE文件,  会被判断为MAC/UTF-16_BE, 其它的没有问题

这有一些简单测试文件, 请看看
https://wwm.lanzoul.com/iKgZ421plawh

另建议将获得编码值样式 DOS/UTF-16_BE 改为  UTF-16_BE/DOS 样式,  将格式放在后面。让大家灵活取分隔"_"  或 "/" 即可 ( 因为有些直接取UTF-16或UTF-8值就行 不需要获取整个字段 "UTF-16_BE" )    可以让其它获取该值脚本写得更简单, 行数更少,
之前旧脚本代码也不需要添加行数或更改, 起到承上启下作用
再加快读取文件速度
更新后的coder越来越比uchardet好用了

娜美

我再深入测试将78层连接文件全部统一为UTF-8/DOS,   有一些MAC Unix格式文件似乎没有转为DOS,  这可能是UltraEdit的问题

for /r %%a in (*.txt) do ( 
   echo,
   coder -c auto utf-8 -f "%%a"
)>%%a.tmpCOPY

娜美

回复  


    需要两步一次只能转换编码与格式其中一种,2选1,不能同时转换
went 发表于 2024-6-13 23:18

   哦哦 thanks

娜美

Hi, @went
base64编码转化成文件  当base64文本编码,如果行首有空一行情况不行