Board logo

标题: 文件数据分析比较（Rev 02！）大佬有更好的思路请多多指教！！！ [打印本页]
作者: Gin_Q    时间: 2020-3-17 11:32     标题: 文件数据分析比较（Rev 02！）大佬有更好的思路请多多指教！！！

本帖最后由 Gin_Q 于 2020-4-10 11:17 编辑

感谢red2020--_--||你们提供的帮助！
3W+ 数据1秒不到搞定，真的不要太快！
  1. #if 0

  2.         By Cool_Breeze

  3.         Rev 02

  4.         #endif 

  5. #include <stdio.h>

  6. #include <unistd.h>

  7. #include <stdlib.h>

  8. #include <string.h>

  9. #include <stddef.h>

  10. #include <malloc.h>

  11. #include <float.h>

  12. #include <errno.h>

  13. 

  14. typedef unsigned long long intll;

  15. 

  16. FILE* fileptr(char* file, char* mode);

  17. //源文件解析

  18. void scantext(FILE* fp, intll* inu);

  19. void getname(FILE* fp, char* name, intll si);

  20. void getdata(FILE* fp, double* max, double* min, double* avg, double* sum, double* count,\

  21.         intll ns, intll nl, char* max_n, char* min_n);

  22. //limit文件解析

  23. void limittext(FILE* fp, intll* inu); 

  24. void getlimitdata(FILE* fp,char* name, char* item, char* comp, double* data);

  25. 

  26. int compare(char *cmp,double s,double l);

  27. void output(FILE* fp,int flag,int n,char* name,char* litem,double sdata,char* comp,double ldata);

  28. #define LINES 1024

  29. #define NAMESIZE 100

  30. #define COMPSIZE 3

  31. 

  32. static char temp[LINES];

  33. static char const delim[]=",";

  34. static int ERROR=0;//ERROR退出值，0代表Pass ，非0代表Fail 

  35. 

  36. int main(int argc,char **argv)

  37. {

  38.         static char usage[NAMESIZE]="-s source.csv\n-l limit.csv\n-r result.csv";

  39.         static char source[NAMESIZE];

  40.         static char limit[NAMESIZE];

  41.         static char result[NAMESIZE];

  42.         register int opt=0;

  43.         while ((opt = getopt(argc,argv,"-s:-l:-r:")) != -1)

  44.                 switch (opt)

  45.                 {

  46.                         case 's': strcpy(source,optarg);break;

  47.                         case 'l': strcpy(limit,optarg);break;

  48.                         case 'r': strcpy(result,optarg);break;

  49.                         default : printf("%s\n",usage);exit(EXIT_SUCCESS);

  50.                 }

  51.                 

  52.         FILE* fpi=fileptr(source,"rb");

  53.         FILE* lpi=fileptr(limit,"rb");

  54.         FILE* fpo=fileptr(result,"wb");

  55.         

  56.         //开始源文件解析 

  57.         static intll inu,isize=NAMESIZE;

  58.         scantext(fpi,&inu);

  59.         char* iname=(char*)calloc(inu,sizeof(char)*isize);

  60.         char* max_n=(char*)calloc(inu,sizeof(char)*isize);

  61.         char* min_n=(char*)calloc(inu,sizeof(char)*isize);

  62.         getname(fpi, iname, isize);

  63.         double* max=(double*)calloc(inu,sizeof(double)); 

  64.         double* min=(double*)calloc(inu,sizeof(double));

  65.         double* avg=(double*)calloc(inu,sizeof(double));

  66.         double* sum=(double*)calloc(inu,sizeof(double));

  67.         double* count=(double*)calloc(inu,sizeof(double));

  68.         register intll i=0;

  69.         for (i=0;i<inu;i++) *(min+i)=DBL_MAX, *(max+i)=LDBL_MIN;

  70.         getdata(fpi, max, min, avg, sum, count, isize, inu, max_n, min_n);

  71.         //源文件解析完成

  72.         

  73.         //开始limit文件解析 

  74.         static intll lnu,lsize=NAMESIZE;

  75.         limittext(lpi,&lnu);

  76.         char* lname=(char*)calloc(lnu,sizeof(char)*lsize);

  77.         char* litem=(char*)calloc(lnu,sizeof(char)*lsize);

  78.         char* comp=(char*)calloc(lnu,sizeof(char)*COMPSIZE);

  79.         double* ldata=(double*)calloc(lnu,sizeof(double)*lsize);

  80.         getlimitdata(lpi, lname, litem, comp, ldata);

  81.         //limit文件解析完成 

  82.         

  83.         static const char li_comp[3][10]={{"Max"},{"Min"},{"Avg"}};

  84.         

  85.         register int j=0,flag=1;

  86.         register int k=0;

  87.         fprintf(fpo," Result\r\n");

  88.         fprintf(fpo," Nu, Item, Options, %s, Comp, %s, Result\r\n",source,limit);

  89.         for (i=0;i<lnu;i++)

  90.                 for (j=0;j<inu-1;j++)

  91.                         if ( ! strcmp(lname+i*NAMESIZE,iname+(j+1)*NAMESIZE) )//匹配项目名 (j+1)跳过第一项数据生成时间项 

  92.                         {

  93.                                 for (k=0;k<3;k++) if ( ! strcmp(litem+i*NAMESIZE,li_comp[k]) ) break;

  94.                                 switch (k)

  95.                                 {

  96.                                         case 0:        flag=compare(comp+i*COMPSIZE,*(max+j),*(ldata+i));

  97.                                                         output(fpo,flag,(j+1),lname+i*NAMESIZE,litem+i*NAMESIZE,max[j],comp+i*COMPSIZE,ldata[i]);

  98.                                                         break;

  99.                                         case 1:        flag=compare(comp+i*COMPSIZE,*(min+j),*(ldata+i));

  100.                                                         output(fpo,flag,(j+1),lname+i*NAMESIZE,litem+i*NAMESIZE,min[j],comp+i*COMPSIZE,ldata[i]);

  101.                                                         break;

  102.                                         case 2:        flag=compare(comp+i*COMPSIZE,*(avg+j),*(ldata+i));

  103.                                                         output(fpo,flag,(j+1),lname+i*NAMESIZE,litem+i*NAMESIZE,avg[j],comp+i*COMPSIZE,ldata[i]);

  104.                                                         break;

  105.                                         default :        break;

  106.                                 }

  107.                         }

  108.         //输出源文件和limit文件内容 

  109.         fprintf(fpo," %s\r\n",limit);

  110.         fprintf(fpo," Nu, Item, Comp_Item, Comp, Data\r\n");

  111.         for (i=0;i<lnu;i++)  fprintf(fpo,"%-d, %s, %s, %s,%lf\r\n",i+1,lname+i*NAMESIZE,litem+i*NAMESIZE,comp+i*COMPSIZE,*(ldata+i));

  112.         fprintf(fpo," %s\r\n",source);

  113.         fprintf(fpo," Nu, Item, Count, Max, Max_Date, Min, Min_Date, Sum, Avg\r\n");

  114.         for (i=0;i<inu-1;i++) fprintf(fpo,"%-d, %s, %.0lf, %.6lf, %s, %.6lf, %s, %.6lf, %.6lf\r\n",\

  115.         i+1,iname+(i+1)*isize,*(count+i),*(max+i),max_n+i*isize,*(min+i),min_n+i*isize,*(sum+i),*(avg+i));

  116.         

  117.         free(iname);

  118.         free(max);

  119.         free(min);

  120.         free(avg);

  121.         free(sum);

  122.         free(count);

  123.         free(max_n);

  124.         free(min_n);

  125.         free(lname);

  126.         free(litem);

  127.         free(comp);

  128.         free(ldata);

  129.         fclose(fpi);

  130.         fclose(fpo);

  131.         return ERROR;

  132. }

  133. FILE* fileptr(char* file, char* mode)

  134. {

  135.         FILE* fp = fopen(file,mode);

  136.         if (fp == NULL)

  137.         {

  138.                 printf("open file fail!:%s",strerror(errno));

  139.                 exit(EXIT_FAILURE);

  140.         }

  141.         return fp;

  142. }

  143. void scantext(FILE* fp, intll* inu)

  144. {

  145.         rewind(fp);

  146.         register intll i=0;//记录项目数 

  147.         char *p;

  148.         fgets(temp,LINES,fp);

  149.         p=strtok(temp,delim);

  150.         while(p != NULL)

  151.         {

  152.                 i++;

  153.                 p=strtok(NULL,delim);

  154.         }

  155.         *inu=i;

  156. }

  157. void getname(FILE* fp, char* name, intll si)

  158. {

  159.         rewind(fp);

  160.         fgets(temp,LINES,fp);

  161.         char* p=strtok(temp,delim);

  162.         register intll i=0,l;

  163.         while (p != NULL)

  164.         {

  165.                 strcpy(name+i*si,p);

  166.                 p=strtok(NULL,delim);

  167.                 i++;

  168.         }

  169.         i--;

  170.         l=strlen(name+i*si);

  171.         while (l--)

  172.                 if (*(name+i*si+l) == 0xA || *(name+i*si+l) == 0xD)//最后一列丢弃换行，回车 

  173.                         *(name+i*si+l) = '\0';

  174.                 else break;

  175. }

  176. void getdata(FILE* fp, double* max, double* min, double* avg, double* sum, double* count,\

  177.         intll ns, intll nl, char* max_n, char* min_n)

  178. {

  179.         rewind(fp);

  180.         fgets(temp,LINES,fp);

  181.         

  182.         register double t=0;

  183.         register intll i=0;

  184.         register intll cou=0;

  185.         register intll stl=0;

  186.         char *p=NULL;

  187.         char *pb=NULL; 

  188.         

  189.         while (fgets(temp,LINES,fp))

  190.         {

  191.                 cou++;

  192.                 i=0;

  193.                 p=pb=strtok(temp,delim);//按指定字符分割字符串 ，pb指向字符串的第一列数据 

  194.                 if ( cou == 1 ) 

  195.                 {

  196.                         int i;

  197.                         stl=strlen(pb);

  198.                         for (i=0;i<nl-1;i++)

  199.                         {

  200.                                 memmove(max_n+i*ns,pb,stl);

  201.                                 *(max_n+i*ns+stl)='\0';

  202.                                 memmove(min_n+i*ns,pb,stl);

  203.                                 *(min_n+i*ns+stl)='\0';

  204.                         }

  205.                 } 

  206.                 do

  207.                 {

  208.                         p=strtok(NULL,delim);//遍历每一项数据 

  209.                         if (p == NULL) break;

  210.                         t=atof(p);

  211.                         stl=strlen(pb);

  212.                         if (t > *(max+i))

  213.                         {

  214.                                 *(max+i) = t;

  215.                                 memmove(max_n+i*ns,pb,stl);

  216.                                 *(max_n+i*ns+stl)='\0';

  217.                         }

  218.                         if (t < *(min+i))

  219.                         {

  220.                                 *(min+i) = t;

  221.                                 memmove(min_n+i*ns,pb,stl);

  222.                                 *(min_n+i*ns+stl)='\0';

  223.                         }

  224.                         *(sum+i)+=t;

  225.                         i++;

  226.                 }while (1);

  227.         }

  228.         register intll j;

  229.         for (j=0; j<nl-1; j++)//如果最后一行字符串小于标准列数，单独计算平均值和计数器 

  230.         {

  231.                 if (j < i) *(avg+j)=*(sum+j)/cou,*(count+j)=cou;

  232.                 else *(avg+j)=*(sum+j)/(cou-1),*(count+j)=cou-1;

  233.         }

  234. }

  235. 

  236. //limit文件解析 

  237. void limittext(FILE* fp, intll* inu)

  238. {

  239.         rewind(fp);

  240.         register intll i=0;

  241.         while (fgets(temp,LINES,fp))

  242.                 i++;//读取行数 

  243.         *inu=i;

  244. }

  245. void getlimitdata(FILE* fp,char* name, char* item, char* comp, double* data)

  246. {

  247.         rewind(fp);

  248.         char* p=temp;

  249.         register intll i=0,count=0,psize=0;

  250.         while (fgets(temp,LINES,fp))

  251.         {

  252.                 count=0; 

  253.                 p=strtok(temp,delim);

  254.                 do

  255.                 {

  256.                         if(p == NULL) break;

  257.                         psize=strlen(p);//按分割每个符分割字符串 

  258.                         switch (count)

  259.                         {

  260.                                 case 0:        memmove(name+i*NAMESIZE,p,psize);

  261.                                                 *(name+i*NAMESIZE+psize)='\0';break;

  262.                                 case 1: memmove(item+i*NAMESIZE,p,psize);

  263.                                                 *(item+i*NAMESIZE+psize)='\0';break;

  264.                                 case 2:        memmove(comp+i*COMPSIZE,p,psize);

  265.                                                 *(comp+i*COMPSIZE+psize)='\0';break;

  266.                                 case 3: *(data+i) = atof(p);break;

  267.                                 default : break;

  268.                         }

  269.                         count++;

  270.                 } while (p=strtok(NULL,delim));

  271.                 i++;

  272.         }

  273. }

  274. //数据比较 

  275. int compare(char *cmp,double s,double l)

  276. {

  277.         if (! strcmp(cmp,"<")) return (s < l)? 1:0;

  278.         else if (! strcmp(cmp,">")) return (s > l)? 1:0;

  279.         else if (! strcmp(cmp,"=")) return (s = l)? 1:0;

  280.         else if (! strcmp(cmp,"<=")) return (s <= l)? 1:0;

  281.         else if (! strcmp(cmp,">=")) return (s >= l)? 1:0;

  282. }

  283. //输出

  284. void output(FILE* fp,int flag,int n,char* name,char* litem,double sdata,char* comp,double ldata)

  285. {

  286.         if (flag)

  287.                 fprintf(fp,"%-d, %s, %s,%.5lf, %s,%.5lf, Pass,\r\n",n,name,litem,sdata,comp,ldata);        

  288.         else 

  289.         {

  290.                 fprintf(fp,"%-d, %s, %s,%.5lf, %s,%.5lf, Fail,\r\n",n,name,litem,sdata,comp,ldata);

  291.                 ERROR++;

  292.         }

  293. }
复制代码




欢迎光临 批处理之家 (http://www.bathome.net/) Powered by Discuz! 7.2