Batcher

get-content a.txt | sort -unique
复制代码

get-content a.txt | sort | get-unique
复制代码

luke

$hashset=New-Object System.Collections.Generic.HashSet[int]
$duplicateFile="d:\1\duplicate.log"
$uniqueFile="d:\1\unique.log"
$sourceFile="D:\1\u_ex13061100.log"
Get-Content $sourceFile | %{
    if($hashset.add($_.GetHashCode())){
        $_ | Out-File -FilePath $uniqueFile -Append
    }else {
        $_ | Out-File  -FilePath $duplicateFile -Append
    }
}

awk

回复 17# luke


    正解。感谢！

PowerShell

17楼的代码显然不行，实验后更不行。
1 貌似不应该用Get-Content。我想，或许，应该用streamreader。
2 貌似不应该用out-file -append。我想，或许，应该用stringbuilder
3 绝对不应该用string.gethashcode()  。具体原因参见 http://msdn.microsoft.com/zh-cn/ ... ng.gethashcode.aspx

说明
如果两个字符串对象相等，则 GetHashCode 方法返回相同的值。 但是，每个唯一的字符串值并没有唯一的哈希代码值。 不同的字符串可以返回相同的哈希代码。
有关哈希代码的更多信息，请参见 Object.GetHashCode。
对调用者的说明
GetHashCode  返回的值与平台相关。 在 32 位和 64 位版本的 .NET Framework 上有所不同。


这个问题比较难，或者说我水平太差。等我有空研究下。或者坐等牛人。

顾请楼主把标题改成未解决。

luke

版主说的不错，不同的字符串可能会产生相同的哈希值，这个要得看需求了，可以改用md5算法。

terse

$AFile = "c:\test\a.txt"
$DFile = "c:\test\add.txt"
$Hash = @{}
Get-Content $AFile | %{
	if(!$Hash.ContainsKey($_)){
		$_
	 	$Hash.Add($_ , 1)
	}
} | Out-File $DFile

$Hash.Keys

CMD /C "PAUSE"
复制代码

softy

$spath="f:\Code\powershell\重复行.txt"
$dpath="f:\Code\powershell\去重复行.txt"

[System.Collections.Generic.HashSet[string]]$lines=Get-Content $spath -ReadCount 0
Set-Content  -Path $dpath -Value ($lines -join "`r`n")

以前写的,代码很简单,速度也不错,文件大时比较耗内存而已,可能需要3.0以上版本,2.0版的估计要修改下代码