123
返回列表 发帖
aloha20200628

Rank: 6Rank: 6

帖子
1206 
积分
2068 
技术
281  
捐助
0  
注册时间
2021-10-13 
16楼 跳转到 »
发表于 2023-4-25 10:53 | 只看该作者
楼主如是，就请cmd同门js@cscript出场相助吧，其胃口要比8K大多了，所要的三项数据正好联排，用js可直接定点剥离...
@set @v=1 /*
@echo off
::输入文件须为ansi(简中编码)
set "jsonF=test.txt"
(cscript.exe -e:jscript "%~f0" "%jsonF%")
pause&exit/b
*/
var v=WSH.arguments;
if (v.length==0) WSH.quit();
var fso=new ActiveXObject('scripting.filesystemobject');
var fr=fso.opentextfile(v(0)), all=fr.readall(); fr.close();
var line,nb,ne,line;
for (nb=all.indexOf('\"fileId\":');
	nb>0;
	nb=all.indexOf('\"fileId\":',ne)) {
	ne=all.indexOf('\"fileType\":',nb);
	if (ne==-1) break; //遭遇残缺数据则退出
	line=all.slice(nb,ne-1);
	WSH.echo(line);
}
WSH.quit();COPY


关于utf-8文件转为简中(gb2312)编码可以试试如下的PS代码》将指定目录中的全部utf-8文件转为gb213...

@echo off
set "u8D=" &set/p "u8D=拖入一个仅含UTF8编码文件的目录: "
if not defined u8D exit
cd /d %u8D% 2>nul
echo,转换开始...
powershell -nop -c "$dir=dir *.*;foreach($_ in $dir){$txtLines=[System.IO.File]::ReadLines($_.FullName,[text.encoding]::UTF8);[System.IO.File]::WriteAllLines($_.FullName+'.ansi',$txtLines,[text.encoding]::Default)}"
echo,请到 %u8D% 查看转换结果
pause&exit/bCOPY
1

评分人数

    • lonron: 感谢提供思路技术 + 1

TOP

lonron

Rank: 2

帖子
99 
积分
173 
技术
1  
捐助
0  
注册时间
2023-1-13 
17楼
发表于 2023-4-25 11:11 | 只看该作者
本帖最后由 lonron 于 2023-4-25 11:19 编辑

回复 16# aloha20200628


    感谢，第二个转换的时候会把我其他同目录文件也一起转换了，不知道为啥。

另外，能否麻烦老师帮忙看下14楼这位老师里面提到的PS的方法，
powershell "((sls '\{.*?\}' 'test.txt' -allmatches).matches.value | convertfrom-json | group 'fileId','fileName').name"COPY
我测试过如果用的是我帖子里的例子是可以成功转换的，但是如果用 https://189.ly93.cc/qieiaeUNRrMj?accessCode=? 里的这种就报错了。还有就是它得出的结果用的分隔符是逗号的，实际文件名有可能也存在逗号的情况，所以最好能用别的分隔符来代替，比如“|”。因为“|”在windows的文件名规则中并不被允许保存。

在cmd满足不了的前提下，我个人还是倾向PS一点，主要是代码看起来也简洁点，对我一个小白来说读起来还算能理解。
而且就上面这个PS代码来说貌似也不存在转换编码的问题，我试过当源数据是UTF-8的时候，如果保存的PS文本也是UTF-8，得出的结果不会报错。
因为实际情况是我在爬取网页数据的时候我希望我不用手动另存为其他编码就可以正确截取我要的数据列，而且我的脚本最好保存的也是UTF-8的，所以想尽可能保持数据原样，因为要考虑转换的情况下那代码可能就太长了。

TOP

terse

Rank: 8Rank: 8

帖子
2339 
积分
9739 
技术
475  
捐助
0  
注册时间
2008-2-25 
18楼
发表于 2023-4-25 11:25 | 只看该作者 
((gc .\aa.txt -Encoding UTF8|ConvertFrom-Json).data|group fileId,fileName,fileSize).nameCOPY
回复 15# lonron

TOP

terse

Rank: 8Rank: 8

帖子
2339 
积分
9739 
技术
475  
捐助
0  
注册时间
2008-2-25 
19楼
发表于 2023-4-25 11:36 | 只看该作者
试试这样呢
(gc .\a.txt -Encoding UTF8|ConvertFrom-Json).data.ForEach({"{0}|{1}|{2}" -f $_.fileId,$_.fileName,$_.fileSize  })COPY
回复 17# lonron

TOP

lonron

Rank: 2

帖子
99 
积分
173 
技术
1  
捐助
0  
注册时间
2023-1-13 
20楼
发表于 2023-4-25 11:41 | 只看该作者
本帖最后由 lonron 于 2023-4-25 11:47 编辑

回复 18# terse


   18L的代码这个可以成功读取网页的那种格式了，但是分隔符还是逗号。
19L的代码可以了。

不过这两个代码都加了-Encoding UTF8这个参数是为什么？源数据也是UTF8啊

TOP

terse

Rank: 8Rank: 8

帖子
2339 
积分
9739 
技术
475  
捐助
0  
注册时间
2008-2-25 
21楼
发表于 2023-4-25 12:03 | 只看该作者
回复 20# lonron
源数据是UTF8,有带BOM的，也有不带的，不带的话有时会出错

TOP

lonron

Rank: 2

帖子
99 
积分
173 
技术
1  
捐助
0  
注册时间
2023-1-13 
22楼
发表于 2023-4-25 12:27 | 只看该作者
回复 21# terse


    好的，真的非常感谢，今天评分用完了，明天我追加给您，谢谢了

TOP

lonron

Rank: 2

帖子
99 
积分
173 
技术
1  
捐助
0  
注册时间
2023-1-13 
23楼
发表于 2023-4-25 15:57 | 只看该作者
回复 19# terse


    老师，如果我不用gc的方式读取下载下来的本地json文件，而是直接从网页中获取，应该怎么写，我套用iwr时，中文部分乱码了，该如何修改？
powershell "(iwr 'https://189.ly93.cc/qieiaeUNRrMj?accessCode=?&accessToken=B29F77379D3A9977A6C840F8CEF74142' | convertfrom-json).data | % {'{0}|{1}' -f $_.fileId,$_.fileName}"COPY

TOP

terse

Rank: 8Rank: 8

帖子
2339 
积分
9739 
技术
475  
捐助
0  
注册时间
2008-2-25 
24楼
发表于 2023-4-25 16:49 | 只看该作者
本帖最后由 terse 于 2023-4-25 17:37 编辑

回复 23# lonron
i除了nvoke-webreques 有几种方法都可以实现 IWR不行的话 这样可以试
powershell "$url='https://189.ly93.cc/qieiaeUNRrMj?accessCode=?&accessToken=B29F77379D3A9977A6C840F8CEF74142';$web=New-Object System.Net.WebClient;$web.Encoding=[System.Text.Encoding]::UTF8;($web.DownloadString($url)| convertfrom-json).data| %% {'{0}|{1}' -f $_.fileId,$_.fileName}" COPY
这样也行
$url='https://189.ly93.cc/qieiaeUNRrMj?accessCode=?&accessToken=B29F77379D3A9977A6C840F8CEF74142';((iwr $url).Content| convertfrom-json).data| % {'{0}|{1}' -f $_.fileId,$_.fileName}COPY

TOP

lonron

Rank: 2

帖子
99 
积分
173 
技术
1  
捐助
0  
注册时间
2023-1-13 
25楼
发表于 2023-4-25 18:16 | 只看该作者
本帖最后由 lonron 于 2023-4-25 18:17 编辑

回复 24# terse


    太强了！最后请教老师您两个问题：
    为什么加了.content属性就不会变成乱码了？
    iwr请求指定网址的时候，在控制台显示出来时，数据是保存在内存中的还是有实际路径的？

TOP

terse

Rank: 8Rank: 8

帖子
2339 
积分
9739 
技术
475  
捐助
0  
注册时间
2008-2-25 
26楼
发表于 2023-4-25 19:06 | 只看该作者
回复 25# lonron
大概是convertfrom-json的因素

要么就不用convertfrom-json 直接 irm
 $url = 'https://189.ly93.cc/qieiaeUNRrMj?accessCode=?&accessToken=B29F77379D3A9977A6C840F8CEF74142'; (irm $url).data| % {'{0}|{1}' -f $_.fileId,$_.fileName}COPY
1

评分人数

    • lonron: 补评分 本帖最终采用此方法技术 + 1

TOP

lonron

Rank: 2

帖子
99 
积分
173 
技术
1  
捐助
0  
注册时间
2023-1-13 
27楼
发表于 2023-5-7 02:00 | 只看该作者
本帖最后由 lonron 于 2023-5-8 10:49 编辑

回复 26# terse 
@echo off
for /f "delims=" %%a in ('curl "https://gitee.com/dm/releases/tag/t"') do (
    for /f "delims=" %%b in ('powershell "(echo '%%a' | ConvertFrom-Json).release.release.title"') do (
        echo %%b
    )
)
pauseCOPY
老师，还请您帮忙看下，还是类似的问题。
不知道为什么只有用curl命令时才会获取到json数据，如果用ps的irm和iwr获取的都只是html数据。
然后有了上面这段代码，结果是报错了。但当我把%%a重定向到文本之后，再用gc方式获取，然后结果是正确的。
或者直接把(echo '%%a' | ConvertFrom-Json).release.release.title 这部分，手动带入%%a的值，然后在ps控制台运行，结果也是正确的。

上面这段代码要怎么修改才能在不需要重定向文本的前提下，直接在cmd脚本里运行就能得到正确结果？

TOP

terse

Rank: 8Rank: 8

帖子
2339 
积分
9739 
技术
475  
捐助
0  
注册时间
2008-2-25 
28楼
发表于 2023-5-7 13:06 | 只看该作者
回复 27# lonron

html数据不能当作Json数据处理把，’https://gitee.com/lonron/dm/releases/tag/t ‘地址里 并没有看到你在27楼描述的 release  title 这部分 你是怎么得到的

TOP

lonron

Rank: 2

帖子
99 
积分
173 
技术
1  
捐助
0  
注册时间
2023-1-13 
29楼
发表于 2023-5-7 13:15 | 只看该作者
回复 28# terse


    就是第一个for里面的 curl得到的，这个不是ps的iwr别名，就是win10自带的curl命令，您看下返回值。

TOP

lonron

Rank: 2

帖子
99 
积分
173 
技术
1  
捐助
0  
注册时间
2023-1-13 
30楼
发表于 2023-5-7 13:21 | 只看该作者
本帖最后由 lonron 于 2023-5-8 10:50 编辑

回复 28# terse 
@echo off
for /f "delims=" %%a in ('curl "https://gitee.com/dm/releases/tag/t"') do (
    >"test.txt" echo %%a
    for /f "delims=" %%b in ('powershell "(gc 'test.txt' | ConvertFrom-Json).release.release.title"') do (
        echo %%b
    )
)
pauseCOPY
如果改成这样，返回值是我想要的，但是这需要输出到本地文本之后gc读取才行，我希望直接用curl的返回值直接处理，而不需要输出一个实体文本。

TOP

123
返回列表