[文本处理] 【已解决】请教批处理带参数的文本文档一键去重问题

zhuan1688

批处理之家帮我个人解决了很多的问题，在此向管理员和各位无私奉献的大神表示感谢！
新问题是，TXT文件里有一万行内容，每行的格式都是：网址/?id=数字，但是网址有大量重复的，这种带参数的怎么一键去重？
如：
http://www.1.com/?id=2
http://www.2.com/?id=9
http://www.3.com/?id=21
http://www.1.com/?id=28
http://www.4.com/?id=8
把 http://www.1.com/ 去重只保留一个
不知道能不能实现，请各位大神赐教，无比感激

zhuan1688

回复 4# went


    感谢老师帮助，完美解决，祝您万事如意，结贴

went

回复 3# zhuan1688


    这样吗?

@echo off & cd /d "%~dp0"
set "file=1.txt"
(
	for /f "usebackq delims=" %%i in ("%file%") do (
		if not defined %%~pi ( 
			echo %%i
			set "%%~pi=1"
		)
	)
)>"%file%_NEW"
move /y "%file%_NEW" "%file%"
pause&exit
复制代码

zhuan1688

回复 2# went

感谢老师的指教，我是想保留参数，比如
http://www.1.com/?id=2
http://www.2.com/?id=9
http://www.3.com/?id=21
http://www.1.com/?id=28
http://www.4.com/?id=8
去重后是
http://www.1.com/?id=2
http://www.2.com/?id=9
http://www.3.com/?id=21
http://www.4.com/?id=8
而且网址格式很乱，有的带www，有的不带，有的是com有的是com.cn，有的是四级域名等等，不知道这样的能不能实现

went

test.bat

@echo off & cd /d "%~dp0"
set "file=1.txt"
(
	for /f "usebackq tokens=1-4 delims=./" %%i in ("%file%") do (
		if not defined _%%k ( 
			echo %%i//%%j.%%k.%%l/
			set "_%%k=1"
		)
	)
)>"%file%_NEW"
move /y "%file%_NEW" "%file%"
pause&exit
复制代码