【练习-071】批处理或VBS获取论坛首页指定数据

batman

出题目的：
    1、体现批处理和VBS脚本的实用性
    2、加深对正则的理解
解题要求：
    1、因纯批处理不能实现读取网页的功能，因此可使用三方工具，但不能在批中调用VBS（使用MSHTA解释器除外）
    2、VBS中不可调用BAT
加分原则：
    满分30分，思路为重，视情况加分
题目如下：
    用VBS或BAT读取论坛首页www.bathome.net源代码中最新主题、最新回复、热门主题的所有帖子信息，并以下面的形式输出到TXT文本

[最新主题]

主题：计算e的值 发帖ID：chineseman2 URL：http://www.bathome.net/thread-21713-1-1.html
..................................................................
[最新回复]

主题：计算e的值 最新回复ID：chineseman2 URL：http://www.bathome.net/thread-21713-1-1.html
..................................................................
[热门主题]

主题：批处理如何删除指定目录下的文件夹？ 最新回复ID：terse URL：http://www.bathome.net/thread-21572-1-1.html
..................................................................

terse

tmplinshi 发表于 2013-1-19 15:36

抛个砖 引来版主之玉 研究下 SED 正则

tmplinshi

curl bathome.net | sed -n -r "s|^.*homegrids_t_[123]\x22>([^\n\r<]+).*$|[\1]|p; s|(<li>[^?]+\?)(uid[^>]+>)|\1发帖ID：|g; s|(<li>[^?]+\?)(username[^>]+>)|\1最新回复：|g; s|<li>[^?]+\?([^<]+)[^']+'([^']+)'[^']+'([^']+)[^<]+</a></li>|主题：\3 \1 URL：http://bathome.net/\2\n|gp" >bathome.txt
复制代码

terse

搞个三方的 练手 SED 还是有点生疏

@ECHO OFF
set url="http://bbs.bathome.net/"
set s1=最新主题&set "s2=热门主题|最新回复"
set "s=s/<[^\/]*'>([^\/]*)<[^']*'([^']*)'[^<]*'>([^<]*)<\/a><\/li>"
curl -s "%URL%"|sed -r -n "/%s1%|%s2%/!d;s/<[^<]*>//g;s/\r|\n//;s/^/[/;s/$/]/;N;/%s1%/%s%/主题:\3\t发帖ID:\1\tURL: %URL:/=\/%\2\n/g;/%s2%/%s%/主题:\3\t最新回复:\1\tURL:%URL:/=\/%\2\n/g;p" >Rult.txt
pause
复制代码

terse

额 恶补

set ie = createobject("internetexplorer.application")
ie.visible = false
ie.navigate "http://www.bathome.net"
do until ie.readystate = 4
wscript.sleep 200
loop
Set FSO=CreateObject("Scripting.FilesystemObject")
DIM N,S,var
for i = 0 to 47 step 2 
      N = i \ 16
      if i MOD 16 = 0 Then
         var = var & "[" & ie.document.getElementById("homegrids_t_" & N + 1).outerText & "]" & vbcr & vblf
      End If
      if N <> 0 Then
           Str = "主题：" & ie.document.links(i+28).innertext & " " & "最新回复："
           ELSE Str = "主题：" & ie.document.links(i+28).innertext & " " &"发帖ID："
      End If 
      var= var & str & ie.document.links(i+27).outerText & " " & "URL：" & ie.document.links(i+28).href & vbcr & vblf
Next
FSO.OpenTextFile("Rult.txt",2,True).WriteLine var
ie.quit
Set ie = Nothing				
复制代码

bluewing009

回复 15# batman

牙口不好...估计咬不动....

同样是第三方， 我用exe也是下载  用vbs也是下载....
都是把网页下载成txt么....
然后再处理~   这个和出题目的不相悖吧....

batman

回复 14# bluewing009


    一答：
       我摆明了就是不让你用批处理echo神功大*法（这也屏蔽），怎么着？咬我？

bluewing009

一问：
bat既然无法实现网页的下载，那么我借用vbs实现可否？
vbs只是下载网页~
这样就与你“但不能在批中调用VBS”冲突了......

对要求1 不解》。。。

batman

本人的解：

Dim objXML, Url
Url = "http://www.bathome.net"
Set objXML = CreateObject("MSXML2.XmlHttp")
objXML.open "GET", Url, False
objXML.send()
Do Until objXML.readyState = 4 : WScript.Sleep 200 : Loop
Dim objADODB
Set objADODB = CreateObject("Adodb.Stream")
objADODB.Type = 1
objADODB.Mode = 3
objADODB.Open()
objADODB.Write objXML.responseBody
Set objXML = Nothing
Dim objFSO, Temp
Set objFSO = CreateObject("Scripting.FileSystemObject")
Temp = objFSO.GetSpecialFolder(2) & "\"
objADODB.SaveToFile Temp & "bathome.html", 2
Set objADODB = Nothing
Dim objHTML, objIH
Set objHTML = GetObject(Temp & "bathome.html", "HtmlFile")
Do Until objHTML.ReadyState = "complete" : WScript.Sleep 200 : Loop
Dim A, B, objStr
A = Array("最新主题", "最新回复", "热门主题")
B = Array("发帖ID：", "最新回复ID：", "最新回复ID：")
For i = 1 To 3
  objIH = objHTML.GetElementByID("homegrids_c_" & i).InnerHtml
  objStr = objStr & "["& A(i - 1) & "]" & vbCrLf & GetInfo(objIH, B(i - 1)) & vbCrLf
Next
Set objHTML = Nothing
objFSO.DeleteFile Temp & "bathome.html"
objStr = Replace(objStr, "<UL class=textinfolist>" & vbCrLf, "")
objFSO.OpenTextFile("HomePage.txt", 2, True).Write Replace(objStr, vbLf, vbCrLf)
Set objFSO = Nothing
CreateObject("Wscript.Shell").Run "cmd /chomepage.txt", True, False

Function GetInfo(Str1, Str2)
  Dim objRE, Matches, Matche
  Set objRE = New RegExp
  objRE.Global = True
  objRE.IgnoreCase = True
  objRE.Pattern = ".*?"">(.*?)</a.*?(\d{1,}-\d{1,}-\d{1,}).*?"">(.*?)</a.*"
  GetInfo = objRE.Replace(Str1, "主题：$3 " & Str2 & "$1 URL：" & Url & "/thread-$2.html")
  Set objRE = Nothing 
End Function
复制代码

Batcher

回复 9# 冷玉公子


http://www.bathome.net/thread-24-1-1.html

batman

回复 9# 冷玉公子


    我一没curl二没wget（个人不喜欢用三方），所以没测试你们的代码，我是看你们的代码加的分。。。
   
   批中findstr支持正则啊

batman

回复 8# apang


    分已加上，正则用得很好，只是能不用IE就Perfect了，IE你懂的。。。

冷玉公子

回复 7# batman


    老大，4楼那哥们的是有问题的吧。
    还有啊，老大给个批处理用正则的例子吧，难道要用 Sed 或者 Awk？

apang

回复 6# batman


    老大，不是我故意的，是理解题意错了。。。
修改了，这次不知怎样。

batman

希望大家多用用正则来解决这类提取数据的问题