[文本处理] 批处理如何删除文本中的重复行（重复全删不保留）？

sshlovewp

请高手指点，问题如下：
1.txt内容如下：
屋顶花园
屠宰及肉类加工工业
新型肥料
电视节目
有毒植物
中药典彩色图谱
水果、蔬菜、坚果加工工业
神奇的红豆杉
ostrich
西双版纳
电视节目  
中药典彩色图谱  
ostrich

希望用批处理后将重复行删除后保存为2.txt，内容如下：
屋顶花园
屠宰及肉类加工工业
新型肥料
有毒植物
水果、蔬菜、坚果加工工业
神奇的红豆杉
西双版纳

pcl_test

powershell -c "$a=New-Object System.Collections.Specialized.OrderedDictionary;gc '文本.txt'|%%{$t=$_.trim();if(!$a[$t]){$a.Add($t,1)}else{$a[$t]+=1}};foreach($b in $a.Keys){if($a[$b] -eq 1){$b}}"
pause
复制代码

cjiabing

sshlovewp ，请注意将你的代码用[code]括起来！~
另外，那些代码似乎都不是我写的，可能有修改，忘记作者是谁了，以前收藏的。
我觉得批处理也像艺术品一样，有好的代码，功能好、技术好等，都应该收藏起来，有的以备学习、借鉴和欣赏。

garyng

请把代码放进code标签括起来！
请参考:如何用code标签把批处理代码括起来

sshlovewp

findstr /vg:1.txt 2.txt>>3.txt
findstr /xg:1.txt 2.txt>3.txt
(findstr /xvg:1.txt 2.txt
      findstr /xvg:2.txt 1.txt)>3.txt

@echo off
      for /f "delims=" %%a in (1.txt 2.txt) do (
      if defined @%%a (echo>>重复.txt %%a) else echo>>不重复.txt;%%a
      set @%%a=.
      )
      pause



@echo off&setlocal enabledelayedexpansion
      for /f "delims=" %%a in ('"type 1.txt 2.txt 2>nul|sort"') do (
      if %%a==!last! (
      echo>>重复.txt !repeat!
      ) else (
      echo>>不重复.txt %%a
      set last=%%a
      )
      )
      pause

@echo off
      sort 1.txt>1.$
      sort 2.txt>2.$
      fc 1.$ 2.$
      pause

@echo off&setlocal enabledelayedexpansion
      set $=$
      for /f "delims=" %%a in (1.txt 2.txt) do (
      if "!$%%a=!"=="!$!" (echo>>不重复.txt %%a) else echo>>重复.txt %%a
      set $=!$!$%%a
      )
      pause

等等，对文字处理都会出错。

sshlovewp

这个代码功能超强还体现在，需要比较的两个文本里面的内容既可以是汉字，也可以是字母、数字等。
的确是太给力了！

sshlovewp

因该是9楼的第四个代码，该代码功能超强，它能将1.txt和2.txt两个文本文档中重复的内容单独提取出来并存为temp.txt（实际上并不会生成temp.txt，为了不让大家混淆）。然后在1.txt中查找，如果1.txt中有和temp.txt重复的内容就删除，最后生成的文件可以单独保存为3.txt。所有这些都是一气呵成的。我做了一点改动，供有这方面需要的朋友参考：
@echo off
for /f "delims=" %%c in (1.txt) do (
findstr "%%c" 2.txt>nul ||echo %%c>>3.txt)
start 3.txt

sshlovewp

不好意思，周末没上网，对以上各位lz的热情帮助表示最诚挚的感谢！
9楼的第三个代码果然有效。太感谢了！
下面的代码还没有来得及实验，因为实在是太兴奋了。
谢谢你们！

CUer

回复 6# sshlovewp


绝大多数？比如说包括哪些呢？

lvsehuaxue

@echo off
for /f "delims=" %%i in (1.txt) do (
    set /a .%%i+=1
)
(for /f "tokens=1,2 delims=.=" %%i in ('set.') do (
    if %%j geq 2 echo %%i
))>$
(findstr /i /v /g:$ 1.txt)>$$
move $$ 1.txt
del /q $
pause 
复制代码

ArdentMan

不知道楼主如何搜索的~~~

@Echo Off&SetLocal EnableDelayedExpansion
(For /F "delims=" %%i In ('Sort 1.txt^&Echo end') Do (
  If "!Str!" NEQ "%%i" (
    For %%j In ("!Str!") Do If "!%%~j!" EQU "a" Echo,!Str!
  )
  Set "Str=%%i"
  If Not Defined !Str! (
    Set "!Str!=a"
    ) Else (
    Set "!Str!=b"
  )
))>2.txt
Start 2.txt
复制代码

ps:请注意你的测试文本中有很多空格导致肉眼看到很多重复内容没删除

cjiabing

提供一些我收藏的，各种方法都有，自己修改下。

@echo off
cls
echo 过滤文本重复行——把重复的归为一个，其余的删除
echo.
set /p wb=文本1 
set /p wb1=文本2 
for /f "delims=" %%i in (%wb%) do (
if not defined %%i set %%i=A & echo %%i>>%wb1%
)
echo 处理完成
ping /n 2 127.0.1 >nul
goto :eof
复制代码

 
@echo off
setlocal enabledelayedexpansion
echo 提取文本重复行——只要重复的部分，不重复的不要
echo.
set /p wb=请输入要处理的[路径]文本：
set /p wb1=请输入处理后生成的[路径]文本：
for /f "delims=" %%a in ('sort %wb%') do (
if %%a equ !b! echo %%a>>%wb1%
set b=%%a)
echo 处理完成
ping /n 2 127.0.1 >nul
goto :eof
复制代码

@echo off
cls
echo 比较文本提取重复行
echo,
echo (如有:1.txt 2.txt 提取1.txt在2.txt里出现的行)
echo.
set /p wb1=请输入要处理的[路径]文本1:
set /p wb2=请输入要处理的[路径]文本2:
set /p wb3=请输入处理后生成的[路径]文本:
for /f "delims=" %%c in (%wb1%) do (
findstr "%%c" %wb2%>nul &&echo %%c>>%wb3%)
echo 处理完成
ping /n 2 127.0.1 >nul
goto :eof
复制代码

 
@echo off
cls
echo.
echo.
echo                            比较文本提取不重复
echo,
echo        如有:1.txt 2.txt，提取2.txt在1.txt里没有的行
echo        文本2.txt应当比1.txt多一些内容。
echo        重复的不要
echo.
set /p wb1=请输入要处理的[路径]文本2: 
set /p wb2=请输入要处理的[路径]文本1: 
set /p wb3=请输入处理后生成的[路径]文本:
for /f "delims=" %%c in (%wb1%) do (
findstr "%%c" %wb2%>nul ||echo %%c>>%wb3%)
echo 处理完成
ping /n 2 127.0.1 >nul
goto :eof
复制代码

 
@echo off
setlocal enabledelayedexpansion
echo 提取文本重复行——只要重复的部分，不重复的不要
echo.
set /p wb=请输入要处理的[路径]文本：
set /p wb1=请输入处理后生成的[路径]文本：
for /f "delims=" %%a in ('sort %wb%') do (
if not %%a equ !b! echo %%a>>%wb1%
set b=%%a)
echo 处理完成
ping /n 2 127.0.1 >nul
goto :eof
复制代码

sshlovewp

for /f "delims=" %%i in (input.txt) do (
    if not defined %%i set %%i=s & echo %%i>>output.txt)

也不行，所有的帖子我都看过了，绝大多数帖子在举例子时都是用的数字或者字母，真正涉及到汉字时这些代码就不灵了。

换一个说法可能更明白一点，那就是如何提取一个文本中只出现一次的行。
真希望能在以前的帖子中找到前人的解决方法。寻找中。。。。。。

cjiabing

回复 6# sshlovewp


    为什么出错，请具体说明。

sshlovewp

正在看搜索到的帖子，但绝大多数的代码处理汉字时都出错了。