Board logo

标题: 强劲的多线程下载器 purl.exe [打印本页]
作者: happy886rr    时间: 2017-8-25 22:10     标题: 强劲的多线程下载器 purl.exe

本帖最后由 happy886rr 于 2017-8-26 08:54 编辑
控制台下强劲的多线程下载器，快如闪电。支持purl.ini配置文件。批量下载各类url资源链。
用法：
purl -i[配置文件.ini] -l[输出日志] -n[线程数] -r[根目录]\n\
配置文件书写格式
#############################################################################
http://www.a.com/[:0].[:1]
#############################################################################
[:0]=01-99
#############################################################################
[:1]=jpg,gif,png,bmp
[:2]=
[:3]=
...
其中[:0]到[:9]为URL通配符，启用[:0]后具有多线程效益，启用[:9]具有尾加速功能。这10个通配符可以是数字范围如：[:0]=1-9；也可以是字符范围，如[:1]=a-z；还可以是字符串枚举，如：[:2]=jpg,mp3,txt,doc

为节省论坛空间，不提供任何附件下载，源码发行。
  1. /*

  2. 	THE THREAD DOWNLOAD TOOL, COPYRIGHT@2017~2019 BY HAPPY, VERSION 1.0

  3. 	PURL.EXE 

  4. */

  5. #include   <stdio.h>

  6. #include  <stdlib.h>

  7. #include  <string.h>

  8. #include <windows.h>

  9. #include <process.h>

  10. #include  <direct.h>

  11. #include    <time.h>

  12. #include    <math.h>

  13. #include      <io.h>

  14. 

  15. #pragma comment(lib, "Ws2_32.lib")

  16. #pragma comment (lib,"urlmon.lib")

  17. 

  18. /*************宏量定义*************/

  19. #define SAFE_SIZE  512

  20. #define FILE_EXIST 0

  21. 

  22. //定义配置文件

  23. #define PURL_INI "\

  24. #################################################################\n\

  25. http://\n\

  26. #################################################################\n\

  27. [:0]=\n\

  28. #################################################################\n\

  29. [:1]=\n\

  30. [:2]=\n\

  31. [:3]=\n\

  32. [:4]=\n\

  33. [:5]=\n\

  34. [:6]=\n\

  35. [:7]=\n\

  36. [:8]=\n\

  37. #################################################################\n\

  38. [:9]=\n\

  39. #################################################################\n"

  40. 

  41. //定义帮助说明

  42. #define HELP_INFORMATION "\

  43. -----------------------------------------------------------------\n\

  44. purl -i[inifile] -l[outlog] -n[threadnum] -r[rootdir]\n\

  45. -----------------------------------------------------------------\n\

  46.      -h Show help information\n\

  47.      -i Set the purl inifile\n\

  48.      -l Set the log output directory\n\

  49.      -n Set the number of concurrent threads to download\n\

  50.      -r Set the download root directory\n\

  51. -----------------------------------------------------------------\n\

  52. version 1.0"

  53. 

  54. /*************全局变量*************/

  55. static int M[10], N[10], Z[10];

  56. static int prointThread=0, nowsThread=0, trueDownload=0, totalCYC=1;

  57. 

  58. static char murl[SAFE_SIZE], outlog[SAFE_SIZE], inifile[SAFE_SIZE]=".\\purl.ini", mpath[SAFE_SIZE]=".\\", settingini[10][SAFE_SIZE*2], *S[10][SAFE_SIZE];

  59. 

  60. static BOOL renMARK[10];

  61. static BOOL urlMARK=FALSE;

  62. 

  63. FILE* logfp;

  64. 

  65. //进度条容器

  66. static const char* proGRESS="[                                                      ]\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b";

  67. 

  68. /*************事件变量*************/

  69. //创建事件对象

  70. HANDLE ghDataEvent;

  71. 

  72. /*************功能函数*************/

  73. //切分字串

  74. int ArgsSpliy(char* Str, int SN)

  75. {

  76. 	int i=0;

  77. 	char* pstr=strtok(Str, " \t\n,");

  78. 

  79. 	while(pstr !=NULL){

  80. 		S[SN][i]=(char*)calloc(strlen(pstr)+1, sizeof(char));

  81. 		strcpy(S[SN][i++], pstr);

  82. 		pstr=strtok(NULL, " \t\n,");

  83. 	}	

  84. 	return i;

  85. }

  86. //判断字母

  87. BOOL isLetter(char* p)

  88. {

  89. 	return (p && (('A'<=*p&&*p<='Z')||('a'<=*p&&*p<='z'))&&(*(p+1)=='\0'))?TRUE:FALSE;

  90. }

  91. //彩显函数

  92. int ColorString(HANDLE handle_out, char* pstrA, char* pstrB, int colorA, int colorB, int num)

  93. {

  94. 	SetConsoleTextAttribute(handle_out, colorA);  //项目色

  95. 	fprintf(stdout, pstrA);

  96. 	SetConsoleTextAttribute(handle_out, colorB);  //数据色

  97. 	(num<0)?fprintf(stdout, pstrB):fprintf(stdout, "%d\n", num);

  98. 	return 0;

  99. }

  100. //光标函数 

  101. BOOL DispyCursor(int size,bool mode)

  102. {

  103. 	CONSOLE_CURSOR_INFO cinfo ={(DWORD)size, mode};

  104. 	return SetConsoleCursorInfo(GetStdHandle(STD_OUTPUT_HANDLE), &cinfo);	 

  105. }

  106. //域名IP解析

  107. int DownloadURLtoIP(HANDLE handle_out, const char* downloadURL)

  108. {

  109. 	WSADATA wsaData;  

  110. 	WSAStartup(MAKEWORD(2,2), &wsaData);

  111. 

  112. 	char *pstr=(char*)downloadURL, *urlweb=(char*)calloc(SAFE_SIZE, sizeof(char)), *tstr=urlweb;

  113. 

  114. 	while(*pstr!=':'){pstr++;}

  115. 	pstr+=3;

  116. 	while(*pstr!='/'&& *pstr!='\n' && *pstr!='\0'){

  117. 		*tstr++=*pstr++;

  118. 	}

  119. 

  120. 	const char* pszUrl=(const char*)urlweb;

  121.  

  122. 	if (LOBYTE(wsaData.wVersion) != 2 || HIBYTE(wsaData.wVersion) != 2)  

  123. 	{

  124. 		//fprintf(stdout, "Init socket faile\n");  

  125. 		return 1;  

  126. 	}

  127. 	struct hostent *pHost = gethostbyname(pszUrl);

  128. 

  129. 	//释放空间

  130. 	free(urlweb);

  131. 

  132. 	if (pHost == NULL)  

  133. 	{  

  134. 		WSACleanup();  

  135. 		//fprintf(stdout, "pHost == NULL \n");  

  136. 		return 1;  

  137. 	}

  138. 

  139. 	//主机正式名称

  140. 	ColorString(handle_out, "[URL-HOST] ", (pHost)?pHost->h_name:"NULL", 4|8, 1|2|8, -1);

  141. 	fprintf(stdout, "\n");

  142. 

  143. 	//主机别名,可以有多个

  144. 	int iIndex = 0;  

  145. 	while(pHost->h_aliases[iIndex])  

  146. 	{

  147. 		ColorString(handle_out, "[URLALIAS] ", pHost->h_aliases[iIndex], 4|8, 1|2|8, -1);

  148. 		fprintf(stdout, "\n");

  149. 		iIndex++;  

  150. 	}

  151. 

  152. 	//地址字节数,IPV4是4,IPV6是6

  153. 	if(pHost->h_length==4)

  154. 	{

  155. 		ColorString(handle_out, "[IPV-TYPE] ", "IPV4\n", 4|8, 4|8, -1);

  156. 	}

  157. 	else if(pHost->h_length==6)

  158. 	{

  159. 		ColorString(handle_out, "[IPV-TYPE] ", "IPV6\n", 4|8, 4|8, -1);

  160. 	}

  161. 

  162. 	iIndex = 0;

  163. 	while(pHost->h_addr_list[iIndex])  

  164. 	{

  165. 		ColorString(handle_out, "[IP-ADDRE] ", inet_ntoa(*(struct in_addr*)pHost->h_addr_list[iIndex]), 4|8, 4|2|8, -1);

  166. 		fprintf(stdout, "\n");

  167. 		iIndex++;  

  168. 	}   

  169. 	WSACleanup();

  170. 	return 0;

  171. }

  172. //开关解析

  173. int OPTIND=1, OPTOPT;

  174. char *OPTARG;

  175. int GetOpt(int nargc, char *nargv[], char *ostr)

  176. {

  177. 	static char* place="";

  178. 	static char* lastostr=(char *) 0;

  179. 	register char* oli;

  180. 	char* index();

  181. 	if(ostr!=lastostr){

  182. 		lastostr=ostr;

  183. 		place="";

  184. 	}

  185. 	if(!*place)

  186. 	{

  187. 		if(

  188. 			(OPTIND>=nargc)              || 

  189. 			(*(place=nargv[OPTIND])!='-')|| 

  190. 			(!*(++place))

  191. 		){

  192. 			place="";

  193. 			return(EOF);

  194. 		}

  195. 		if (*place == '-' && place[1] == 0){

  196. 			++OPTIND;

  197. 			return(EOF);

  198. 		}

  199. 	}

  200. 	if ((OPTOPT=(int)*place++)==(int)':' || !(oli=strchr(ostr, OPTOPT))){

  201. 		if(!*place){++OPTIND;}

  202. 	}

  203. 	

  204. 	if (oli != NULL && *(++oli) != ':'){

  205. 		OPTARG=NULL;

  206. 		if(!*place){++OPTIND;}

  207. 	}

  208. 	else{

  209. 		if(*place){

  210. 			OPTARG=place;

  211. 		}else if(nargc<=++OPTIND){

  212. 			place="";

  213. 		}else{

  214. 			OPTARG=nargv[OPTIND];

  215. 		}

  216. 		place="";

  217. 		++OPTIND;

  218. 	}

  219. 	return(OPTOPT);

  220. }

  221. 

  222. /*************获取配置*************/

  223. int ReadSetting(char* pfile)

  224. {			

  225. 	//读取脚本文件 

  226. 	FILE* fp;

  227. 	if( (fp=fopen(pfile, "r"))==NULL ){

  228. 		fprintf(stdout, "Reading settings failed!\n");

  229. 		exit(1);

  230. 	}

  231. 

  232. 	int SN;

  233. 		

  234. 	//分配行容器

  235. 	char* LCache=(char*)calloc(1025, sizeof(char));

  236. 	//辅助行指针

  237. 	char* Line=NULL;

  238. 

  239. 	while(!feof(fp)){

  240. 

  241. 		memset(LCache, 0,  1024*sizeof(char));

  242. 		fgets(LCache, 1024, fp);

  243. 

  244. 		//指针置换

  245. 		Line=LCache;

  246. 		

  247. 		//将尾部换行符注掉

  248. 		while(*Line!='\n'&& *Line!='\0'){Line++;}

  249. 		*Line='\0';

  250. 		Line=LCache;		

  251. 

  252. 		//过滤行TAB缩进或前空格

  253. 		while(*Line=='\t'|| *Line==' '){Line++;}

  254. 

  255. 		//过滤注释符

  256. 		if(Line[0]=='#'||strlen(Line)<=5){

  257. 			continue;

  258. 		}

  259. 

  260. 		//提取URL

  261. 		if(	

  262. 			(!urlMARK)                    &&

  263. 			(Line[0]=='h' ||Line[0]=='H') && 

  264. 			(Line[1]=='t' ||Line[1]=='T') && 

  265. 			(Line[2]=='t' ||Line[2]=='T') && 

  266. 			(Line[3]=='p' ||Line[3]=='P') &&

  267. 			(

  268. 				Line[4]==':' ||

  269. 				(

  270. 					(Line[4]=='s'||Line[4]=='S') &&

  271. 					(Line[5]==':')

  272. 				) 

  273. 			)

  274. 		){

  275. 			if(strlen(Line)<10){

  276. 				fprintf(stdout, "Please fill the url!\n");

  277. 				exit(1);

  278. 			}

  279. 

  280. 			strcpy(murl, Line);

  281. 			while(*Line !='\0'){

  282. 				if(*Line=='[' && *(Line+1)==':' && ('0'<=*(Line+2) && *(Line+2)<='9') && *(Line+3)==']'){

  283. 					renMARK[*(Line+2)-48]=TRUE;

  284. 					Line+=4;

  285. 				}else{

  286. 					Line++;

  287. 				}

  288. 			}

  289. 			urlMARK=TRUE;

  290. 			continue;

  291. 	

  292. 		}else if(

  293. 			(urlMARK)                     &&

  294. 			(Line[0]=='[' &&Line[1]==':') && 

  295. 			('0'<=Line[2] &&Line[2]<='9') &&

  296. 			(Line[3]==']' &&Line[4]=='=')

  297. 			

  298. 		){

  299. 			SN=Line[2]-48;

  300. 			if(!renMARK[SN]){continue;}

  301. 

  302. 			strcpy(settingini[SN], Line);

  303. 

  304. 			if(strchr(Line+5, ',')){

  305. 				M[SN]=0;

  306. 				N[SN]=ArgsSpliy(Line+5, SN)-1;

  307. 

  308. 			}else if(renMARK[SN]){

  309. 

  310. 				char *snumsrc=strtok(Line+5, " \t-"), *tmps=(snumsrc!=NULL)?strtok(NULL, " \t-"):NULL, *zp=snumsrc;

  311. 

  312. 				if(isLetter(snumsrc) && isLetter(tmps)){

  313. 					int exnum1=*snumsrc, exnum2=*tmps;

  314. 					Z[SN]=-1;

  315. 					M[SN]=(exnum1 <= exnum2)?(N[SN]=exnum2, exnum1):(N[SN]=exnum1, exnum2);

  316. 

  317. 				}else if(tmps!=NULL){		

  318. 					if(*zp=='0'){

  319. 						while('0'<= *zp && *zp <='9'){

  320. 							Z[SN]++;

  321. 							zp++;

  322. 						}

  323. 					}

  324. 					M[SN]=atoi(snumsrc), N[SN]=atoi(tmps);

  325. 					if(M[SN]>N[SN]){

  326. 						int exnum=M[SN];

  327. 						M[SN]=N[SN], N[SN]=exnum;

  328. 					}

  329. 				}

  330. 			}	

  331. 		}

  332. 	}	

  333. 	fclose(fp);

  334. 	

  335. 	//统计总循环次数

  336. 	for(int i=0; i<10; i++){totalCYC *=N[i]-M[i]+1;}

  337. 	return 0;

  338. }

  339. 

  340. /*************下载函数*************/

  341. UINT WINAPI FastDownload(void* ptr)

  342. {

  343. 	//分配URL字串

  344. 	char* ptftr=(char*)calloc(16, sizeof(char));

  345. 	char* aurl =(char*)calloc(SAFE_SIZE, sizeof(char));

  346. 	char* dest =(char*)calloc(SAFE_SIZE, sizeof(char));

  347. 	char* durl =(char*)calloc(SAFE_SIZE, sizeof(char));

  348. 	char* titl =(char*)calloc(SAFE_SIZE, sizeof(char));

  349. 	durl[0]='.', durl[1]='\\';

  350. 

  351. 	//接受线程传参

  352. 	int nThreadID = *((int*)ptr); 

  353. 	int snum      = *((int*)ptr+1);

  354. 	int lnum      = *((int*)ptr+2);

  355. 

  356. 	SetEvent(ghDataEvent);

  357. 	nowsThread++;

  358. 	if(*outlog != 0){

  359. 		//fprintf(logfp, "\nThe %dth thread start.\n", nThreadID+1);

  360. 	}

  361. 

  362. 	//创建循环变量数组

  363. 	int i[10]={0}, SN;

  364. 

  365. 	//创建下载状态变量

  366. 	BOOL preMARK=FALSE, nowMARK=FALSE;

  367. 

  368. 	//定义URL指针

  369. 	char *purl=NULL, *surl=NULL, *pdit=NULL;

  370. 	

  371. 	//启动十层循环

  372. 	for(i[0]=snum; i[0]<=lnum; i[0]++)

  373. 	for(i[1]=M[1]; i[1]<=N[1]; i[1]++)

  374. 	for(i[2]=M[2]; i[2]<=N[2]; i[2]++)

  375. 	for(i[3]=M[3]; i[3]<=N[3]; i[3]++)

  376. 	for(i[4]=M[4]; i[4]<=N[4]; i[4]++)

  377. 	for(i[5]=M[5]; i[5]<=N[5]; i[5]++)

  378. 	for(i[6]=M[6]; i[6]<=N[6]; i[6]++)

  379. 	for(i[7]=M[7]; i[7]<=N[7]; i[7]++)

  380. 	for(i[8]=M[8]; i[8]<=N[8]; i[8]++)

  381. 	for(i[9]=M[9]; i[9]<=N[9]; i[9]++){

  382. 

  383.    		surl=murl, purl=aurl;

  384. 

  385. 		while(*surl !='\0'){

  386. 

  387. 			//替换正则标签

  388. 			if(*surl=='[' && *(surl+1)==':' && '0'<=*(surl+2) && *(surl+2)<='9' && *(surl+3)==']' && renMARK[*(surl+2)-48]){

  389. 

  390. 				SN=*(surl+2)-48;

  391. 				

  392. 				if(S[SN][0] !=NULL){

  393. 					pdit=S[SN][i[SN]];

  394. 				}else{			

  395. 					if(Z[SN] >0){

  396. 						sprintf(ptftr, "%%0%dd", Z[SN]);

  397. 						sprintf(dest, ptftr, i[SN]);

  398. 

  399. 					}else if(Z[SN]==-1){

  400. 						sprintf(dest, "%c",  (char)i[SN]);

  401. 

  402. 					}else{

  403. 						sprintf(dest, "%d",  i[SN]);

  404. 					}

  405. 					pdit=dest;

  406. 				}

  407. 				

  408. 				while(*pdit !='\0'){

  409. 					*(purl++)=*(pdit++);		

  410. 				}

  411. 				surl+=4;

  412. 					

  413. 			}else{

  414. 				*(purl++)=*(surl++);

  415. 			}

  416. 		}

  417. 		//置结束符

  418. 		*purl='\0';

  419. 

  420. 		//显示当前下载的URL

  421. 		prointThread++;

  422. 

  423. 		sprintf(titl, "[%03dT]-[%03dF] %s", nowsThread, trueDownload, aurl);

  424. 		SetConsoleTitleA(titl);

  425. 

  426. 		//处理下载路径

  427. 		char* turl=strstr(aurl, "://")+3;

  428. 		char* sp=durl+2;

  429. 

  430. 		//根据网址创建目录

  431. 		while(*turl != '\0'){

  432. 			switch(*turl)

  433. 			{

  434. 			case '/':

  435. 				*sp='\0';

  436. 				if(_access(durl, FILE_EXIST) != 0){

  437. 					_mkdir(durl);

  438. 				}

  439. 				*sp='\\';

  440. 				break;

  441. 				

  442. 			case ':':

  443. 			case '*':

  444. 			case '?':

  445. 			case '"':

  446. 			case '>':

  447. 			case '<':

  448. 			case '|':

  449. 				*sp='@';

  450. 				break;

  451. 				

  452. 			default:

  453. 				*sp=*turl;

  454. 				break;

  455. 			}		

  456. 			//指针移位 

  457. 			sp++, turl++;

  458. 		}

  459. 		//置结束符

  460. 		*sp='\0';

  461. 

  462. 		//调用API下载

  463. 		URLDownloadToFileA(NULL, aurl, durl, 0, NULL);

  464. 	

  465. 		//下载状态

  466. 		nowMARK=(_access(durl, FILE_EXIST)==0)?TRUE:FALSE;

  467. 

  468. 		//增速判断

  469. 		if(preMARK && !nowMARK && i[9]!=M[9]){

  470. 			break;

  471. 		}

  472. 

  473. 		//显示下载成功的文件

  474. 		if(nowMARK){

  475. 			trueDownload++;

  476. 			if(*outlog != 0){fprintf(logfp, "[*]%s\n", aurl);}

  477. 		}

  478. 

  479. 		//下载状态更新

  480. 		preMARK=nowMARK;

  481. 	}

  482. 

  483. 	//释放数组内存

  484. 	free(aurl);

  485. 	free(durl);

  486. 	free(dest);

  487. 	free(titl);

  488. 	free(ptftr);

  489. 	

  490. 	//线程结束

  491. 	nowsThread--;

  492. 	if(*outlog != 0){

  493. 		//fprintf(logfp, "\nThe %dth thread end!\n\n", nThreadID+1);

  494. 	}

  495. 	return (UINT)0;

  496. }

  497. 

  498. /*************MAIN函数*************/

  499. int main(int argc, char** argv)

  500. {

  501. 	int threadNUMS=100;

  502. 	char K, *outLOG=NULL;

  503. 	while((K=GetOpt(argc,argv,"hi:n:p:l:"))!=-1)

  504. 	{

  505. 		switch(K)

  506. 		{

  507. 		case 'h':

  508. 		case 'H':

  509. 			fprintf(stdout, HELP_INFORMATION);

  510. 			exit(0);

  511. 

  512. 		case 'i':

  513. 		case 'I':

  514. 			if(OPTARG !=NULL){

  515. 				strcpy(inifile, OPTARG);

  516. 			}

  517. 			break;

  518. 

  519. 		case 'l':

  520. 		case 'L':

  521. 			if(OPTARG !=NULL){

  522. 				strcpy(outlog, OPTARG);

  523. 			}

  524. 			break;

  525. 

  526. 		case 'n':

  527. 		case 'N':

  528. 			if(OPTARG !=NULL){

  529. 				int exnum=atoi(OPTARG);

  530. 				threadNUMS=(0<exnum && exnum<SAFE_SIZE*4)?exnum:SAFE_SIZE*4;

  531. 			}

  532. 			break;

  533. 

  534. 		case 'r':

  535. 		case 'R':

  536. 			if(OPTARG !=NULL){

  537. 				strcpy(mpath, OPTARG);

  538. 			}

  539. 			break;

  540. 

  541. 		default:

  542. 			fprintf(stdout, "Unknown switch '%c'\n", K);

  543. 			exit(1);

  544. 		}

  545. 	}

  546. 

  547. 	//判断配置文件是否存在

  548. 	if(access(inifile, FILE_EXIST)!=0){

  549. 		FILE* fp=fopen(inifile, "w");

  550. 		fprintf(fp, PURL_INI);

  551. 		fclose(fp);

  552. 		fprintf(stdout, "Please fill in the setting file\n");

  553. 		fprintf(stdout, HELP_INFORMATION);

  554. 		exit(1);

  555. 	}

  556. 

  557. 	if(argc==1){

  558. 		//无参数则退出

  559. 		fprintf(stdout, HELP_INFORMATION);

  560. 		exit(0);

  561. 	}

  562. 

  563. 	//判断根目录是否存在

  564. 	if(_access(mpath, FILE_EXIST)!=0){

  565. 		_mkdir(mpath);

  566. 	}

  567. 	if(_access(mpath, FILE_EXIST)==0){

  568. 		//切换至下载目录

  569. 		_chdir(mpath);

  570. 	}else{

  571. 		//无法创建根目录则退出

  572. 		fprintf(stdout, "Can not creat the root folder\n");

  573. 		exit(1);	

  574. 	}

  575. 

  576. 	//读取purl配置文件

  577. 	ReadSetting(inifile);

  578. 	if(! urlMARK){

  579. 		fprintf(stdout, "Please fill in the download url\n");

  580. 		exit(1);

  581. 	}

  582. 

  583. 	//获取控制台输出句柄

  584. 	HANDLE handle_out=GetStdHandle(STD_OUTPUT_HANDLE);

  585. 

  586. 	//线程传参数组

  587. 	int inum[3]={0};

  588. 

  589. 	//判断是否使用多线程正则符[:0]

  590. 	if(! renMARK[0]){

  591. 		threadNUMS=1;

  592. 	}

  593. 

  594. 	//线程数

  595. 	int nThreadCount=N[0]-M[0];

  596. 	if(nThreadCount<=0 && threadNUMS!=1){

  597. 		fprintf(stdout, "\nThe '[:0]' don't get incremental value\n");

  598. 		exit(1);

  599. 	}

  600. 

  601. 	//创建时间结构体

  602. 	time_t startTIME, endTIME; 

  603. 	struct tm* timeinfo;

  604.         time(&startTIME); 

  605.         timeinfo=localtime(&startTIME);

  606. 

  607. 	//计算线程分组数

  608. 	int rThreadAdd   =(int)ceil((nThreadCount + 1)*1.0/threadNUMS);

  609. 	int rThreadRange =(int)ceil((nThreadCount + 1)*1.0/(rThreadAdd?rThreadAdd:1.0));

  610. 

  611. 	//是否开启日志输出

  612. 	if(*outlog != 0){

  613. 		logfp=fopen(outlog, "w");

  614. 		if(logfp == NULL){

  615. 			fprintf(stdout, "Open log failed\n");

  616. 			exit(1);

  617. 		}else{

  618. 			fprintf(logfp, 

  619. 				"================================================================\n"

  620. 				"The purl log file, Time: %s"

  621. 				"================================================================\n\n" 

  622. 				,asctime(timeinfo)

  623. 			);

  624. 			fprintf(logfp, "[Threads num]\n%d\n\n", rThreadRange);

  625. 			fprintf(logfp, "[Root path]\n%s\n\n", mpath);

  626. 			fprintf(logfp, "[The URL regular]\n%s\n\n", murl);

  627. 			fprintf(logfp, "[Setting ini]\n");

  628. 			for(int i=0; i<=9; i++){

  629. 				if(settingini[i][0]!=0){

  630. 					fprintf(logfp, "%s\n", settingini[i]);

  631. 				}

  632. 			}

  633. 			fprintf(logfp, "\n[Start the download time]\n%s\n", asctime(timeinfo));

  634. 			fprintf(logfp, "[Successfully downloaded URL]\n");

  635. 		}

  636. 	}

  637. 	//隐藏光标

  638. 	DispyCursor((DWORD)25, FALSE);

  639. 	//显示目标网站IP

  640. 	DownloadURLtoIP(handle_out, murl);

  641. 

  642. 	//分配线程句柄数组

  643. 	HANDLE* phaThread =(HANDLE*)calloc(rThreadRange, sizeof(HANDLE));

  644. 	

  645. 	//创建事件对象

  646. 	ghDataEvent =CreateEventA(NULL, FALSE, FALSE, NULL);

  647. 	

  648. 	//错误号

  649. 	int nErr=0;

  650. 

  651. 	for(int i=0; i<rThreadRange; i++){

  652. 

  653. 		inum[0]=i, inum[1]=M[0]+i*rThreadAdd, inum[2]=M[0]+i*rThreadAdd+rThreadAdd-1;

  654. 		if(inum[2]>N[0]){inum[2]=N[0];}

  655. 

  656. 		phaThread[i]=(HANDLE)_beginthreadex(NULL, 0, FastDownload, &inum, 2048, NULL);

  657. 

  658.  	 	if(phaThread[i]==0){

  659.             		nErr=GetLastError();

  660.             		if(nErr==0x08){

  661.        	 			printf("\nOpen thread failed, lack of storage space!\n");

  662. 			}else{

  663. 				printf("\nOpen thread failed, error number%d\n", nErr);

  664. 			}

  665. 			break;

  666. 		}

  667. 		WaitForSingleObject(ghDataEvent, INFINITE);

  668. 	}

  669. 

  670. 	//色彩代码 紫色1|4|8，红色4|8，绿色2|8，兰色1|2|8，黄色2|4|8，白色1|2|4|8；

  671. 

  672. 	//显示最大线程

  673. 	ColorString(handle_out, "[MAX-THRE] ", "", 4|8, 4|8, rThreadRange);

  674. 

  675. 	//显示开始时间

  676. 	ColorString(handle_out, "[STA-TIME] ", asctime(timeinfo), 4|8, 1|4|8, -1);

  677. 

  678. 	//绘制进度框

  679. 	ColorString(handle_out, "[DOWNLOAD] ", (char*)proGRESS, 4|8, 2|4|8, -1);

  680. 

  681. 	//绘制进度条

  682. 	int spi=0;

  683. 	

  684. 	do{

  685. 		//进度百分数

  686. 		int i=(totalCYC==0)?100:(prointThread*100/totalCYC), j=i/2;

  687. 		if(spi==j){

  688. 			//缓解CPU占用

  689. 			Sleep(30);

  690. 			continue;

  691. 		}

  692. 

  693. 		//显示递增进度

  694. 		while(spi<j){

  695. 			fputc('=', stdout);

  696. 			spi++;

  697. 		}

  698. 

  699. 		//显示进度百分比

  700. 		fprintf(stdout, "%3d%%\b\b\b\b", i);

  701. 

  702. 		//线程退出器 

  703. 		if(prointThread==totalCYC){

  704. 			break;

  705. 		}

  706. 

  707. 	}while(nowsThread);

  708. 

  709. 	//补全百分百进度

  710. 	if(prointThread==totalCYC){

  711. 		while(spi<50){

  712. 			fputc('=', stdout);

  713. 			spi++;

  714. 		}

  715. 		fprintf(stdout, "100%%");

  716. 	}

  717. 	fprintf(stdout, "\n");

  718. 

  719. 	//显示结束时间

  720. 	time(&endTIME); 

  721. 	timeinfo=localtime(&endTIME);

  722. 	ColorString(handle_out, "[END-TIME] ", asctime(timeinfo), 4|8, 1|4|8, -1);

  723. 

  724. 	//显示花费时间

  725. 	ColorString(handle_out, "[USE-TIME] ", "", 4|8, 1|2|8, -1);

  726. 	fprintf(stdout, "Takes %gs\n", difftime(endTIME, startTIME));

  727. 

  728. 	//颜色归位

  729. 	SetConsoleTextAttribute(handle_out, 1|2|4);//白色

  730. 

  731. 	//关闭日志读写

  732. 	if(*outlog != 0){

  733. 		fprintf(logfp, "\n[End the download time]\n%s\n", asctime(timeinfo));

  734. 		fprintf(logfp, "[Download time-spending]\n%g seconds\n\n", difftime(endTIME, startTIME));

  735. 		fprintf(logfp, "[Percent of completion]\n%d%%\n\n", (prointThread==totalCYC)?100:spi*2);

  736. 		fprintf(logfp, "[Successfully downloaded files]\n%d", trueDownload);

  737. 		fclose(logfp);

  738. 	}

  739. 	return 0;

  740. }
复制代码
作者: freesoft00    时间: 2017-8-26 01:13

是我用错了吗？怎么不行。

https://download.mozilla.org/?product=firefox-55.0.3-SSL&os=win&lang=zh-CN
http://ftp.mozilla.org/pub/firefox/releases/55.0.3/win32/zh-CN/Firefox%20Setup%2055.0.3.exe
https://ipmsg.org/archive/ipmsg470src.zip


把这三个网址分别添加到purl.ini中，也不行。弹出错误。
作者: happy886rr    时间: 2017-8-26 08:26

本帖最后由 happy886rr 于 2017-8-26 09:07 编辑

回复 2# freesoft00
代码已经修复，这是多线程批量下载器，只支持批量地址下载，比如www.a01.com, www.a02.com, www.a03.com就是批量的网址，而不是说单一下载某个文件。
单独下载某个文件请使用pget。
purl的目的是针对有规律的数字递增网址，批量多线程下载，而且必须是几千、几万的批量网址才可以成功下载。线程过少的话，主程序很快就跑完了，子线程也就结束了。我把下载量调到5000，你的文件都成功下载了[:0]=0-5000
purl是针对繁重的批量下载任务定制的，个别几个小文件的下载多线程会得不偿失，小文件请使用pget。
作者: freesoft00    时间: 2017-8-26 11:46

回复 3# happy886rr


    哦，知道了。用途不一样呀。
作者: llh931886    时间: 2017-9-14 14:39

支持  ssh 链接的 sftp  下载吗？
作者: CrLf    时间: 2017-10-10 00:37

请教下要怎么编译？
gcc和vs均未通过
作者: 523066680    时间: 2017-10-10 09:49

本帖最后由 523066680 于 2017-10-10 10:02 编辑

回复 6# CrLf


    试了 MinGW GCC， 稍微改一下可以

添加 <stdbool.h>
注释掉两个 lib 的引入（改为手动）
  1. #include <stdbool.h>

  2. 

  3. // #pragma comment(lib, "ws2_32.lib")

  4. // #pragma comment (lib,"urlmon.lib")
复制代码
gcc purl.c -lws2_32 -lurlmon
作者: happy886rr    时间: 2017-10-10 13:39

本帖最后由 happy886rr 于 2017-10-10 14:10 编辑

回复 6# CrLf
大师，好久不见。（后缀一定要改为cpp）
编译现在都已经实现一键了，请参看我之前的帖子http://www.bathome.net/thread-44180-1-1.html
下载那个精简的vc++2010编译器（仅22M大小），把.cpp文件直接拖拽到VC.CMD批处理脚本上，就会自动生成exe。
别看体积小，编译功能与原版VS几乎没有差别。
   
另外我还发布过手机版的gcc编译器，可以实现代码直接编译为 安卓上可运行的二进制文件。从而实现 win、linux、安卓 各平台通吃。
作者: netdzb    时间: 2019-6-28 13:11

回复 8# happy886rr

手机版本的编译器在哪里？



欢迎光临 批处理之家 (http://www.bathome.net/) Powered by Discuz! 7.2