【已解决】30元扒网站数据

var xhr = (function () {
    var aXMLHttpVers = ['MSXML2.XMLHTTP.6.0', 'MSXML2.XMLHTTP.3.0', 'MSXML2.XMLHTTP', 'Microsoft.XMLHTTP'];
    for (var i = 0; i < aXMLHttpVers.length; i++) {
        try {
            return new ActiveXObject(aXMLHttpVers[i]);
        } catch (error) { }
    }
    showError('Can\'t build XMLHTTP automation object.');
    WScript.Quit(1);
})();
var fso = new ActiveXObject('Scripting.FileSystemObject'),
    shell = new ActiveXObject('WScript.Shell'),
    curDir,
    url = 'http://www.chinapoesy.com/',
    aTSIndex = ['TangShiAllIndex2.html', 'TangShiAllIndex1.html', 'TangShiAllIndex.html'],
    aTSUrl = [],
    arr,
    outFile = 'tangshi.txt',//唐诗文本
    reTSIndex = /<a[^>]+href=(['"])(.+?)\1[^>]*>\s*第\d+卷\s*<\/a>/gi,
    rePoem = /<li[^>]+class="LiTitle"[^>]*>\s*<a[^>]+class="Green"[^>]*>\s*(.+?)\s*<\/a>[\S\s]+?<\/li>\s*<li[^>]+class="LiContent[^"]*"[^>]*>\s*<b>(.+?)<\/b>([\S\s]+?)<\/li>/gi,
    rePB = /<[^>]*>|\r|\n/g,
    reNextPage = /<a[^>]+href="\/([^"]+)"[^>]*>\s*<img\s+src="\/Images\/Pager\/nextn.gif"\s+border="0"[^>]*>\s*<\/a>/i,
    aFields = ['作者', '标题', '正文'],
    sSplit = '\t',
    ts,
    sHtml,
    i,
    l,
    timer;
 
timer = new Date();
curDir = shell.CurrentDirectory = fso.GetParentFolderName(WScript.ScriptFullName);
try {
    ts = fso.OpenTextFile(outFile, 2, true);
} catch (err) {
    showError(err, 'Writing to ' + outFile);
    WScript.Quit(2);
}
 
for (i = aTSIndex.length; i >= 0; i--) {
    sHtml = getHtml(url + aTSIndex[i]);
    while (arr = reTSIndex.exec(sHtml)) {
        aTSUrl.push(arr[2]);
    }
}
 
ts.WriteLine(aFields.join(sSplit));
for (i = 0, l = aTSUrl.length; i < l; i++) {
    writePoem(url + aTSUrl[i]);
    //next page
    while (arr = reNextPage.exec(sHtml)) {
        writePoem(url + arr[1]);
    }
}
ts.Close();
WScript.Echo('Mission complete.\nTime elapsed: ' + (new Date() - timer) / 1000 + 's');
WScript.Quit();
 
function getHtml(URL) {
    xhr.open('GET', URL, false);
    xhr.send();
    if (200 === xhr.status) {
        return xhr.responseText;
    }
    showError('fetch URI "' + URL + '" failed.\nstatus: ' + xhr.status);
    return '';
}
function writePoem(URL) {
    sHtml = getHtml(URL);
    while (arr = rePoem.exec(sHtml)) {
        ts.WriteLine([arr[1], arr[2], arr[3].replace(rePB, '')].join(sSplit));
    }
}
function showError(err, source) {
    WScript.Echo('[object Error]' === Object.prototype.toString.call(err) ?
        [
            err.name,
            'source: ' + (undefined === source ? '' : source),
            'number: ' + (err.number >>> 0).toString(16),
            'equipment: ' + (err.number >> 16 & 0x1FFF),
            'code: ' + (err.number & 0xFFFF),
            'Information: ' + err.message
        ].join('\n')
        :
        err);
}COPY

var fso = new ActiveXObject('Scripting.FileSystemObject');
var http = new ActiveXObject('Microsoft.XMLHTTP');
 
//var map = {'元曲':'YuanQu','诗经':'ShiJing','楚辞':'ChuCi','乐府诗集':'YueFu','其它古代':'Other','近现代诗':'XianDai','外国诗词':'ForeignPoesy'};
var map = {'诗经':'ShiJing','楚辞':'ChuCi', '近现代诗':'XianDai'};
var home = 'http://www.chinapoesy.com/';
 
for (var key in map) {
    var n = 0;
    var url = home + map[key] + 'Index' + (key == '外国诗词' ? '.aspx' : '.html');
    var reg = /href='(.+?\.html)'\r?\n\s*target="_blank"/g;
    while(url != '') {
        var txt = getText(url);
        if(!n++) {
            var m1 = txt.match(/\(按照人气排名\).*?href='(.*?\.html)'/);  //按照人气排名有 "更多..." ？
            txt = m1 ? getText(home + m1[1]) : txt.match(/\(按照人气排名\)[\s\S]+?<\/table>/)[0];
        }
        var m2 = txt.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/); //有 "下一页" ？
        url = m2 ? home + m2[1] : '';
        txt = m2 ? txt.match(/>查询中 请稍后…[\s\S]+?<\/table>/)[0] : txt;
        while(arr=reg.exec(txt)) getPoesy(home + arr[1]);
    }
}
 
//获取网页内容
function getText(url) {
    http.open('GET', url, false);
    http.send();
    with(new ActiveXObject('ADODB.Stream')){
        Mode = 3; Type = 1;
        Open();
        Write(http.responseBody);
        Position = 0;
        Type = 2;
        Charset = 'UTF-8';
        var s = ReadText(-1);
    }
    return s;
}
 
//获取诗词
function getPoesy(url) {
    var reg = /href='(.+?\.html)'\s*target\s*=\s*"_blank"([\s\S]+?\(\d+\))/g;
    while(url != '') {
        var txt = getText(url);
        var m = txt.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/);  //有 "下一页" ？
        url = m ? home + m[1] : '';
        txt = txt.match(/>编辑它<\/a>[\s\S]+?>关于我们<\/a>/);
        while(arr=reg.exec(txt)) {
            var s = getText(home + arr[1]);                                  //歌词内容
            s = s.split('("#loading").css("display","none");')[1];
            if(!s) return 0;        //某些特定诗词网址打不开，遇到这种情况继续
            s = s.split('<script type="text/javascript">')[0];
            //中文及标点字符后面加 <br />
            s = s.replace(/([\u4E00-\u9FFF。？！，、：”）》】… —])(?:\r?\n|<\/p>)/g, '$1<br />');
            //删除所有标签，保留换行标签，删除空格和html转义空格
            s = s.replace(/<(?!\/?br)[^>]*>|&nbsp;|[ 	　　]+/g, '');
            s = s.replace(/<\/?br>|<br\/>/g, '<br />');   //<br>、</br>、<br/> 替换为 <br />
            s = s.replace(/\r?\n/g, '');
            s = s.replace(/^(?:<br \/>)+/, '');           //删除开头多余的标签
            s = s.replace(/(<br \/>)+$/, '$1');           //删除结尾多余的标签
            s = s.replace(/&middot;/g, '·').replace(/&ldquo;/g, '“').replace(/&rdquo;/g, '”');
            s = s.replace(/&mdash;/g, '—').replace(/&quot;/g, '"');
            s = s.replace(/(?:<br \/>)+/, '\t');          //第一次连续多个换行标签替换为 Tab
            s = s.replace(/(<br \/>)+/, '$1');            //第二次连续多个换行标签替换为一个
            var s1 = arr[2].replace(/[ 	　　\r\n]+/g, '').replace(/.*>/, '');  //标题+人气指数
            writeToFile(s1 + '\t' + s);
        }
    }
}
 
//写入文本
function writeToFile(str) {
    var objFile = fso.OpenTextFile(key + '.Log', 8, true);
    objFile.WriteLine(str);
    objFile.Close();
}
 
WSH.Echo('Done')COPY

s = s.replace(/<(?!\/?br)[^>]*>|&nbsp;|[ 	　　]+/g, '').replace(/<\/?br>|<br\/>/g, '<br />');COPY

var fso  = new ActiveXObject('Scripting.FileSystemObject');
var http = new ActiveXObject('Microsoft.XMLHTTP');
var home = 'http://www.chinapoesy.com/';
 
for (var i=0; i<=2; i++) {
    var map = [], map_ = [];
    var url = home + 'TangshiAllindex' + i + '.html';
    var txt = getText(url);
    txt = txt.split('class="Normal">下卷</a>')[1];
    var reg = /href='(.+?\.html)'\r?\n\s*target="_blank"/g;
 
    while(arr = reg.exec(txt)) {
        url = home + arr[1];
        while(url != '') {
            var s = getText(url);           //歌词页面
            var m = s.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/);//有 "下一页" ？
            url = m ? home + m[1] : '';
            s = s.split('<!-- AspNetPager V6.0.0 for VS2005 End -->')[1];
            if(!s) continue;
            var a = s.split(/<\/li>\r?\n\s*<\/ul>\r?\n\s*\<\/div>/);
            for(var j=0; j<a.length-1; j++) {
                var ti = a[j].match(/<b>(.*?)<\/b>/)[1];                         //诗词标题
                var au = a[j].match(/class="Green">\r?\n\s*([^\r\n]*)/)[1];      //作者名
                var li = a[j].match(/class="LiTitle"><a href='(.*?\.html)'/)[1]; //标题连接
                if(!map_[au]) {
                    getPopularity(home + li);
                    map_[au] = 1;
                }
                writeToFile(getPoesy(a[j]));
            }
        }
    }
}
 
//获取网页内容
function getText(url) {
    http.open('GET', url, false);
    http.send();
    with(new ActiveXObject('ADODB.Stream')){
        Mode = 3; Type = 1;
        Open();
        Write(http.responseBody);
        Position = 0;
        Type = 2;
        Charset = 'UTF-8';
        var s = ReadText(-1);
    }
    return s;
}
 
//获取人气指数
function getPopularity(url) {
    while(url != '') {
        var s= getText(url);
        var m = s.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/); //有 "下一页" ？
        url = m ? home + m[1] : '';
        s = s.split('<!-- AspNetPager V6.0.0 for VS2005 End -->')[1];
        if(!s) return 0;
        var reg = /title="([^"]*)\)">[\s\S]+?(\(\d*\))/g;
        while(arr = reg.exec(s)) map[au + arr[1]] = arr[2];
    }
}
 
//获取诗词
function getPoesy(str) {
    var s = str.replace(/>评论<\/a>/, '>');
    s = s.replace(/([\u4E00-\u9FFF。？！，、：”）》】… —])(?:\r?\n|<\/p>)/g, '$1<br />');
    s = s.replace(/<(?!\/?br)[^>]*>|&nbsp;|[ 	　　]+/g, '');
    s = s.replace(/<\/?br>|<br\/>/g, '<br />');
    s = s.replace(/\r?\n/g, '');
    s = s.replace(/^(?:<br \/>)+/, '');
    s = s.replace(/(<br \/>)+$/, '$1');
    s = s.replace(/(?:<br \/>)+/, '\t');
    s = s.replace(/(<br \/>)+/, '$1');
    return ti + map[au+ti] + '\t' + s;
}
 
//写入文本
function writeToFile(str) {
    var objFile = fso.OpenTextFile('全唐诗.Log', 8, true);
    objFile.WriteLine(str);
    objFile.Close();
}
 
WSH.Echo('Done')COPY

var fso = new ActiveXObject('Scripting.FileSystemObject');
var http = new ActiveXObject('Microsoft.XMLHTTP');
 
var home = 'http://www.chinapoesy.com/';
var url = home + 'SongCiAllIndex_1.html';
var reg = /href='(.+?\.html)'\r?\n\s*target="_blank"/g;
 
while(url != '') {
    var txt = getText(url);
    var m = txt.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/); //有 "下一页" ？
    url = m ? home + m[1] : '';
    txt = txt.match(/>查询中 请稍后…[\s\S]+?<\/table>/)[0];
    while(arr = reg.exec(txt)) getPoesy(home + arr[1]);
}
 
//获取网页内容
function getText(url) {
    http.open('GET', url, false);
    http.send();
    with(new ActiveXObject('ADODB.Stream')){
        Mode = 3; Type = 1;
        Open();
        Write(http.responseBody);
        Position = 0;
        Type = 2;
        Charset = 'UTF-8';
        var s = ReadText(-1);
    }
    return s;
}
 
//获取诗词
function getPoesy(url) {
    var reg = /href='(.+?\.html)'\s*target\s*=\s*"_blank"([\s\S]+?)(\(\d+\))/g;
    while(url != '') {
        var txt = getText(url);
        var m = txt.match(/href="\/([^"]*\.html)"[^<>]*><img src="\/Images\/Pager\/nextn\.gif"/);  //有 "下一页" ？
        url = m ? home + m[1] : '';
        txt = txt.match(/>编辑它<\/a>[\s\S]+?>关于我们<\/a>/);
        while(arr = reg.exec(txt)) {
            var s = getText(home + arr[1]);                         //歌词内容
            s = s.split('("#loading").css("display","none");')[1];
            if(!s) return 0;
            s = s.split('<script type="text/javascript">')[0];
            s = s.replace(/([\u4E00-\u9FFF。？！，、：”）》】… —])(?:\r?\n|<\/p>)/g, '$1<br />');
            s = s.replace(/<(?!\/?br)[^>]*>|&nbsp;|[ 	　　]+/g, '');
            s = s.replace(/<\/?br>|<br\/>/g, '<br />');
            s = s.replace(/\r?\n/g, '');
            s = s.replace(/^(?:<br \/>)+/, '');
            s = s.replace(/(<br \/>)+$/, '$1');
            s = s.replace(/(?:<br \/>)+/, '\t');
            s = s.replace(/(<br \/>)+/, '$1'); 
            var s1 = arr[2].match(/title\s*=\s*"([^"]*?)\)"/)[1];  //标题
            var s2 = arr[3];                                       //人气指数
            writeToFile(s1 + s2 + '\t' + s);
        }
    }
}
 
//写入文本
function writeToFile(str) {
    var objFile = fso.OpenTextFile('全宋词.Log', 8, true);
    objFile.WriteLine(str);
    objFile.Close();
}
 
WSH.Echo('Done')COPY