按键获取工具 neoGetKey - BAT原创&转载 - 批处理之家 BAT,CMD,批处理,PowerShell,VBS,DOS

帖子: 548
积分: 1246
技术: 176
捐助: 0
注册时间: 2015-6-4

31楼 跳转到 »

发表于 2016-10-7 11:17 | 只看该作者

回复 30# happy886rr

如果原始数据就是已经过高度压缩的, 我相信再经 BASE64 编码后也不会有大的压缩空间了, 换言之, 不会出现大量重复的子串 (包括若干连续重复的 A 那种形式)

1 评分人数

codegay: 1技术 + 1

帖子: 548
积分: 1246
技术: 176
捐助: 0
注册时间: 2015-6-4

32楼

发表于 2016-10-7 14:52 | 只看该作者

本帖最后由 aa77dd@163.com 于 2016-10-7 14:56 编辑

提供一个先压缩后 BASE64 编码的样本

BASE64 编码文件大小 3,428 字节, 其中是包括 100+ 个非编码字节(如 CR, LF 以及首尾两个注释行)

处理流程:

C 源码在 Code::Blocks 以 Release 方式编译(其它各种编译设置均默认)

   -> neoGetKey.exe  (6,144 字节)

Windows 原生压缩工具 makecab 压缩  (Windows 也提供了原生的解压工具 expand, makecab 和 expand 都是 XP 就有的, 经 makecab 打的包, expand 能很好的支持)

makecab neoGetKey.exe  neoGetKey.exe.cab  (2,450 字节)

Windows 原生 BASE64 编码器 certutil 编码

certutil -encode neoGetKey.exe.cab neoGetKey.exe.cab.B64  (3,428 字节)

C 源码

#include <Windows.h>
#include <stdio.h>

int main(int argc, char** argv) {

    int i, t = 1000, r = 0, kshift = -8;
    char show[3] = "%\0\0";

    if (argc >= 2) t = atoi(argv[1]);

    if (argc >= 3)
        show[1] = (**(argv + 2) >= 'a') ? **(argv + 2) : **(argv + 2) + 'a' - 'A';

    show[1] = ( show[1] == 'x' || show[1] == 'd') ? show[1] : '\0';

    for (i = 0; t == 0 || i < t; i++) {
        int x;

        for (x = 1; x <= 0xFE; x++) {
            if (x == VK_SHIFT || x == VK_CONTROL || x == VK_MENU)
                continue;

            if (GetAsyncKeyState(x) & 0x8000) {

                r |= x << (kshift += 8);

                if (kshift >= 24) {
                    if (show[1]) printf(show, r);
                    return r;
                }
            }
        }

        if (r != 0) {
            if (show[1]) printf(show, r);
            return r;
        }
        sleep(1);

    }
    if (show[1]) printf(show, 0xFF);
    return 0xFF;
}
复制代码

plp626

贵宾

Rank: 8 Rank: 8

帖子: 640
积分: 2838
技术: 101
捐助: 0
注册时间: 2008-1-17

33楼

发表于 2016-10-7 16:09 | 只看该作者

回复 31# aa77dd@163.com

原始数据的熵（信息量）经过base64编码后，熵不会变
理论上极限压缩体积 base64字符集是rar这种通用压缩工具选择的扩展ascii字符集的4/3 （64^x = 256^y => x/y=log(256)/log(64)）

帖子: 961
积分: 2350
技术: 334
捐助: 0
注册时间: 2016-3-7

34楼

发表于 2016-10-7 16:29 | 只看该作者

回复 23# CrLf
那个js对单纯的A压缩的不够好，还是你的那条数据，例如 576 字节长的编码js版压缩为345 字节，但我用批能压缩到243字节，远超rar和7z
Base64压缩机

@echo off
REM 原始数据
set "LINE=TVqQAAMAAAAEAAAA//8AALgAAAAAAAAAQAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAgAAAAA4fug4AtAnNIbgBTM0hVGhpcyBwcm9ncmFtIGNhbm5vdCBiZSBydW4gaW4gRE9TIG1vZGUuDQ0KJAAAAAAAAABQRQAATAEFAJOHz1cAAAAAAAAAAOAADwMLAQI4AAwAAAAUAAAAAgAAIBIAAAAQAAAAIAAAAABAAAAQAAAAAgAABAAAAAEAAAAEAAAAAAAAAABgAAAABAAAUV0AAAMAAAAAACAAABAAAAAAEAAAEAAAAAAAABAAAAAAAAAAAAAAAABQAABAAwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAC50ZXh0AAAAFAoAAAAQAAAADAAAAAQAAAAAAAAAAAAAAAAAAGAAAGAuZGF0YQAAAEAAAAAAIAAA"
REM 压缩数据
setlocal enabledelayedexpansion
for /l %%i in (1,1,10000) do (
	if "!LINE:~0,1!"=="A" (
		set/a i+=1
	) else (
		if !i! neq 0 (
			set M=512
			for %%Z in (@,-,#,$,_,},{,],[,A) do (
    				if !i! geq !M! (
					set "S=!S!%%Z"
					set/a "i-=M"
				)
				set/a "M>>=1" 
			)
		)
		if "!LINE!"=="" (echo !S!>压缩.txt&exit) else (set "S=!S!!LINE:~0,1!")
	)
	set "LINE=!LINE:~1!"
)
复制代码

Base64解压机

REM 解压数据
set/p LINE=<压缩.txt
setlocal enabledelayedexpansion
set "Z=A"&(for %%Z in ([,],{,},_,$,#,-,@) do (set "Z=!Z!!Z!"&for %%S in (!Z!) do (set "LINE=!LINE:%%Z=%%S!")))&echo !LINE!>解压.txt
复制代码

帖子: 961
积分: 2350
技术: 334
捐助: 0
注册时间: 2016-3-7

35楼

发表于 2016-10-7 16:39 | 只看该作者

回复 33# plp626
base64会增加一些数据，用6位来表示一个字节，也就是6x=8y。故信息量比为x/y=8/6=4/3,也就是体积涨到133%，所以只能从转码前压缩入手。

codegay

少校

Rank: 6 Rank: 6

帖子: 1266
积分: 1775
技术: 162
捐助: 0
注册时间: 2015-12-12

36楼

发表于 2016-10-7 16:55 | 只看该作者

回复 35# happy886rr

要不要用批处理实现一个 base92

去学去写去用才有进步。安装python3代码存为xx.py 双击运行或右键用IDLE打开按F5运行

帖子: 548
积分: 1246
技术: 176
捐助: 0
注册时间: 2015-6-4

37楼

发表于 2016-10-7 16:56 | 只看该作者

回复 33# plp626

BASE64 取 64 个字符, 而不取其它数字:

1. ASCII 码值 0x80 ~ 0xFF 最高位都是 1, 将与多字节编码冲突 (比如汉字编码), 所以这个范围内的字符都不好用, 最好不用

2. 0x0 ~ 0x7F 共 128 个字符有好几十个是控制字符, 所以 128 (= 2 ^ 7) 字符也不成

3. 好吧, 2 的幂比 128 小的又最大的就是 64 (= 2 ^ 6),  也能找到 64 个不关控制字符事的可打印字符, 64 就能定了.

4. 64 = 2 ^ 6, 也就是只有 6 个二进位的信息容量, 而任何字符都是要占 8 位的, 也就是信息位利用率只有 6/8 = 3/4,  倒过来, 我们就必须最少要用 4/3 的体积才能编码原始的数据

6 位 X 4 字节 = 8 位 X 3 字节,  整整好, 实现最大化利用, 位数不多不少, 编码解码也方便

BASE64 编码增长率 4/3 - 1 = 33%

而 Ascii85 和 basE91 利用更多的字符来编码, 但因为字符总数在 2^6 ~ 2^7 之间, 编码解码就没有 2^6=64 个字符的便利了, 程序自然就复杂了.

Ascii85 可以将编码增长率降到 25%
https://en.wikipedia.org/wiki/Ascii85

basE91 encoding 可以将编码增长率降到 23%
http://base91.sourceforge.net/

帖子: 961
积分: 2350
技术: 334
捐助: 0
注册时间: 2016-3-7

38楼

发表于 2016-10-7 17:10 | 只看该作者

回复 36# codegay
批处理局限性太大，我采取的是用C语言来实现压缩，压缩好的数据用批处理解压，再用那个证书管理certutil变成二进制文件。
压缩费时费力，但解压批处理就能胜任。str=!str:*=*!,效率是很高的。

CrLf

论坛巡查

Rank: 8 Rank: 8

帖子: 6388
积分: 18843
技术: 982
捐助: 100
注册时间: 2010-10-9

39楼

发表于 2016-10-7 18:16 | 只看该作者

回复 34# happy886rr

Nice

我发现自己那个算法压缩的结果有问题，无法解码，回头检查下是什么毛病

链接：在线第三方命令行工具下载 bat、vbs、js 原生混编

帖子: 961
积分: 2350
技术: 334
捐助: 0
注册时间: 2016-3-7

40楼

发表于 2016-10-7 19:44 | 只看该作者

回复 39# CrLf
大师，如果只用可打印字符来压缩的话，压缩比始终上不去。即便再添加新的符号，都不可能比base64划算。只能去寻找重复的节点。

523066680

版主

Rank: 7 Rank: 7 Rank: 7

帖子: 3151
积分: 6455
技术: 317
捐助: 70
注册时间: 2008-8-3

41楼

发表于 2016-10-7 20:19 | 只看该作者

本帖最后由 523066680 于 2016-10-7 20:31 编辑

回复 40# happy886rr

假设有一个非常mini的函数，它所生成的某一段数据，刚好和这一段数据相同。
然后只要直接计算那一段出来就可以了。(我就是瞎扯扯)
这个图像看起来和原不等式一样的不等式是怎么发现的？

FuniCode 编程论坛

帖子: 961
积分: 2350
技术: 334
捐助: 0
注册时间: 2016-3-7

42楼

发表于 2016-10-7 21:07 | 只看该作者

回复 41# 523066680
哈哈，原来是mod原理，数学无处不在。

帖子: 961
积分: 2350
技术: 334
捐助: 0
注册时间: 2016-3-7

43楼

发表于 2016-10-7 21:49 | 只看该作者

本帖最后由 happy886rr 于 2016-10-7 23:26 编辑

回复 39# CrLf
大师，比如如下的数据：

TVqQAAMAAAAEQAAMAAAAQAAMAAAAQAAMAAAAQAAMAAAAQAAMAAAAQAAMAAAAQAAMAAAAQAAMAAAAQAAMAAAAQAAMAAAAQAAMAAAAQAAMAAAA
复制代码

分别用@,-,#,$,_,},{,],[,.表示512个A、256个A、128个A、、、、、1个A，则化为：

TVqQ[M]EQ[M]Q[M]Q[M]Q[M]Q[M]Q[M]Q[M]Q[M]Q[M]Q[M]Q[M]Q[M]
复制代码

然后继续迭代用@,-,#,$,_,},{,],[,.表示512个、256个、128个、、、、、1个Q[M]则化为：

TVq.E{]
复制代码

用：冒号表示标签切换。化为可解码的格式

TVq.E{]:Q[M]:A
复制代码

如此就实现了用14个字符去表示108个字符的base64字符串。我发现没有任何算法有这个压缩率高。
我正在思考如何用批处理实现，当然用C实现起来会更容易，但是那样就得带个exe。

当然也许有可能产生歧义，不过只要加上层号即可。
如对字串AAAAAAAAAAAAAAAAAAEFAAABAAACAAADAAAEFAAAGAAAHHAAAAI压缩为

}[EF.B.C.D.EF.G.HH]I:[.;1:A
复制代码

其中:[.;1中:[.表示要替换为的标签，分号；1表示只替换一级权签，也就是只替换.，之后的：A表示在上次替换完后再次替换所有权签为A。
基本可以实现可见字符内的最大压缩化。

2 评分人数

aa77dd@163.com: 学习了技术 + 1
CrLf: 好办法技术 + 1

帖子: 548
积分: 1246
技术: 176
捐助: 0
注册时间: 2015-6-4

44楼

发表于 2016-10-8 14:11 | 只看该作者

本帖最后由 aa77dd@163.com 于 2016-10-9 11:40 编辑

happy886rr  的二进制权值去 0 表达法

对给定整数范围 [1,63335] (16位二进制能表达的所有正整数),
如果用 16 进制表达这全部 65535 个数,
编码后不要最高位的 0, 比如:       001F 就是 31(十进制), 我们只取 1F 这两个字符,
但编码中间出现 0 仍保留, 比如:  10B 是 267(十进制), 这里中间的 0 仍保留

以此方式将 [1,63335] 范围内所有的整数全部编码, 然后把所有编码全排在一起, 总长将达到

257775 = 16/4 * (2^16 - 2^12) + 12/4 * (2^12 - 2^8) +  8/4 * (2^8 - 2^4) + 4/4*(2^4 - 2^0)

如果我们同样也只用 16 个字符来对此范围内整数编码, 但这 16 个字符全部取 2 的幂的意义:

为免混淆, 我们全部用字母:

ABCDEFGHIJKLNMOP

上面 16 个字母分别表示 2^0, 2^1, 2^2, 2^3, 2^4, ... 2^14, 2^15, 这些 2 的幂

对一个整数编码时, 我们只把这个整数的二进制形式里的所有的 1 提出, 转换成对应权值的字母, 如下:

9 转二进制 -> 1001       -> 2^3 + 2^0 -> DA

359 转二进制 -> 1 0110 0111 -> 2^8 + 2^6 + 2^5 + 2^2 + 2^1 + 2^0 -> IGFCBA

以此方式将 [1,63335] 范围内所有的整数全部编码, 然后把所有编码全排在一起, 总长将达到

65535 = 2^16 - 1 =
C[16, 1] + C[16, 2] + C[16, 3] + C[16, 4] + C[16, 5] + C[16, 6] + C[16, 7] + C[16, 8]
+ C[16, 9] + C[16, 10] + C[16, 11] + C[16, 12] + C[16, 13] + C[16, 14] + C[16, 15] + C[16, 16]

C[m, n] 是组合数, 比如 C[5, 2] = 5*4 / (2*1) = 10

65535 大概只有 257775 的 1/4, 这种编码方式比普通 16 进制编码在空间上节省很多, 关键在于权值舍 0 的方式

@echo off & setlocal enableDelayedExpansion

>AllHexCode.txt (
for %%a in (0 1 2 3 4 5 6 7 8 9 A B C D E F) do ^
for %%b in (0 1 2 3 4 5 6 7 8 9 A B C D E F) do ^
for %%c in (0 1 2 3 4 5 6 7 8 9 A B C D E F) do ^
for %%d in (0 1 2 3 4 5 6 7 8 9 A B C D E F) do (
    set "HEX=##%%a%%b%%c%%d"
    set "HEX=!HEX:#0000=!"
    set "HEX=!HEX:#000=!"
    set "HEX=!HEX:#00=!"
    set "HEX=!HEX:#0=!"
    set "HEX=!HEX:#=!"
    title !HEX! / FFFF
    <nul set /p "=!HEX!"

)
)

for %%a in (AllHexCode.txt) do echo;[1,63335]范围内所有整数HEX编码总长:%%~za
pause
exit /b
复制代码