【出题】将 哈希节点关系清单 还原为 多层级哈希结构

523066680

备用标题：将数据节点关系清单还原为多层级哈希结构

数据是从跨境电商平台获取的类目清单，但是这个清单是二维的，提供了所有键值的关系 [ 父级ID，当前项ID，当前项的名称，以及当前的类目层级 ]
在制作平台类目交易指数数据可视化的时候需要分级显示，于是就必须把这些平面展开的关联信息还原为多层级的数据结构

处理要求：只需要还原ID层级结构，结构中不需要包含项的中文名等信息。同层级的清单使用数组或者哈希映射没有要求，只要能递进枚举就行。
语言：不限
复制代码

有一种很粗暴的方法，就是多次扫描整个列表。第一次扫描寻找0为父级ID的项，创建第一层键值关系；针对每一个子键，扫描清单寻找该键的子节点，创建第二层关系。
但这种方式效率极低，期待不一样的答案。

附精简过的原始数据(plain.json)，

{
   "data" : [
      [ 0, 30, "安全防护", 1 ],
      [ 30, 3030, "门禁", 2 ],
      [ 30, 3009, "消防器材", 2 ],
      [ 30, 3011, "视频监控", 2 ],
      [ 3011, 200327188, "视频监控配件", 3 ],
      [ 30, 3007, "劳动保护用品", 2 ],
      [ 0, 21, "办公、文化及教育用品", 1 ],
      [ 21, 2213, "期刊与杂志", 2 ],
      [ 21, 212002, "展示告示用品", 2 ],
      [ 212002, 21200202, "黑板", 3 ],
      [ 212002, 100003132, "白板擦、黑板擦等", 3 ],
      [ 100003132, 100003183, "黑板擦", 4 ],
      [ 100003132, 100003182, "白板擦", 4 ],
      [ 0, 509, "电话和通讯", 1 ],
      [ 509, 100001205, "手机配件", 2 ],
      [ 509, 50906, "对讲机", 2 ],
      [ 0, 7, "电脑和办公", 1 ],
      [ 7, 200001083, "笔记本电脑部件及配件", 2 ],
      [ 7, 70806, "电脑连线及接插件", 2 ],
      [ 0, 44, "消费电子", 1 ],
      [ 44, 629, "零配件", 2 ],
      [ 44, 100000305, "摄影摄像", 2 ]
   ]
}
复制代码

处理后的结果（只做参考，不强制约束格式，参考前面的处理要求）：

{
   "0" : {
      "21" : {
         "212002" : {
            "100003132" : {
               "100003182" : {},
               "100003183" : {}
            },
            "21200202" : {}
         },
         "2213" : {}
      },
      "30" : {
         "3007" : {},
         "3009" : {},
         "3011" : {
            "200327188" : {}
         },
         "3030" : {}
      },
      "44" : {
         "100000305" : {},
         "629" : {}
      },
      "509" : {
         "100001205" : {},
         "50906" : {}
      },
      "7" : {
         "200001083" : {},
         "70806" : {}
      }
   }
}
复制代码

------------------ 2021-12-17 扩展 -----------------
假如源头数据不一定是按节点层级顺序排列呢？
也就是有可能 上级节点在子节点之后，

     [ 211111, 200656001, "石膏像", 3 ],
     [ 21, 211111, "艺术用品", 2 ],
     [ 211111, 201330804, "智能取色笔", 3 ],
     [ 0, 21, "办公、文化及教育用品", 1 ],
     [ 21, 100003131, "美工工具", 2 ],
复制代码

以及节点的ID值不一定是按层级从小到大的，有些类目有可能因为创建的时间比较晚，ID值比某些子节点更大。
可以依靠的信息就是 数组末尾的层级信息，以及前两个ID的匹配关系

tigerpower

升级、降级、跳级都可以。打乱列表次序也可以。

#python 3
import json, networkx as nx
with open("Category_Plain.json") as f:
    el = [i[:2] for i in json.load(f)['data']]
    g = nx.from_edgelist(el, create_using=nx.DiGraph())
    print(json.dumps(nx.tree_data(g, root=0), indent=2))
复制代码

523066680

回复 13# netbenton

    把你的方案翻译成其他语言，加载改用JSON解析器一次性加载（逐行解析相对耗时）
处理过程是复刻你的逻辑，实测70W行数据只需要0.9秒完成输出（到文件）


15楼代码 1.3秒
16楼代码 2.2秒

use Modern::Perl;
use File::Slurp;
use Time::HiRes qw/time/;
use JSON qw/from_json/;
use feature 'signatures';
no warnings 'experimental::signatures';
STDOUT->autoflush(1);

my $ta = time();
my $n = 0;
open my $FH, ">:raw", "Category_Tree_benton.json";
say $FH "{";

my %hash;
my $prev;
my $raw = read_file( "gener_big.json" );
my $data = from_json( $raw, {relaxed => 1} );

for my $e ( @{$data->{data}} )
{
    my ( $parent, $child, $label, $lv ) = @$e;
    next unless defined $lv;

    if ( $n < $lv )
    {
        if ( not defined $hash{$parent} )
        {
            say $FH "\t"x$lv, qq("$parent"), ":{";
            $hash{$parent} = 1;
        }
        else
        {
            say $FH "\t"x($lv+1), $child;
        }
        $prev = $child;
        $n = $lv;
    } 
    elsif ( $n > $lv )
    {
        my $m = $lv + 1;
        for my $e ( reverse ($m .. $n)  ) 
        {
            if ( defined $prev ) {
                say $FH "\t"x($e+1), qq("$prev"), ":{}" ;
                undef $prev;
            }
            say $FH "\t"x$e, "},";
            $n = $lv;
        }
        $prev = $child;
    }
    else
    {
        if ( defined $prev ) {
            say $FH "\t"x($lv+1), qq("$prev"), ":{},";
        }
        $prev = $child;
    }
}

if ( defined $prev )
{
    say $FH "\t"x$n, qq("$prev"), ":{}";
    undef $prev;
}

# 收尾
grep { say $FH "\t"x$_, "}"; } reverse ( 0 .. $n );
close $FH;

time_delta(\$ta);

sub time_delta ($t)
{
    printf "Time Delta: %.2f\n", time() - $$t;
    $$t = time();
}
复制代码

flashercs

回复 15# 523066680


    数据来源应该可以控制是树的遍历顺序是 pre-order 或post-order; 固定pre-order 就可以用此法.

523066680

原来写的方案之一

use File::Slurp; use JSON::PP; my $json = JSON::PP->new->relaxed->pretty->canonical(); my $raw = read_file( "Category_Plain.json" ); my $data = $json->decode( $raw ); my $tree = { 0 => {} }; my $ref = { 0 => $tree->{0} }; for my $e ( sort { $a->[3] <=> $b->[3] } @{$data->{data}} ) {     my ($foo, $bar, $desc, $lv) = @$e;     if ( not exists $ref->{$foo}{$bar} )     {               $ref->{$foo}{$bar} = {};         $ref->{$bar} = $ref->{$foo}{$bar};     } } printf "%s\n",  $json->encode( $tree );

$tree 是将要创建的结构体
$ref 是一个协助构建$tree层级关系的哈希表。考虑类目所有ID的唯一性，所有ID都可以通过 $ref->{$id} 查到对应 $tree 中相应的引用位置。
于是：

    if ( not exists $ref->{$foo}{$bar} )
    {       
        $ref->{$foo}{$bar} = {};              # $ref->{$foo} 得到 $tree 中 $foo 键的引用，新增{$bar}子键的操作直接作用于 $tree 的对应节点
        $ref->{$bar} = $ref->{$foo}{$bar};    # 将 $bar 节点更新到引用表单
    }
复制代码

优点是关联数据的表单可以随意打乱，最终都能得到完整结果。
缺点是需要确保表单中的层级(第四项)是升序的，这个通过 sort { $a->[3] <=> $b->[3] } @{$data->{data}} 对层级排序，
以及空间复杂度比15楼多了一个n

523066680

回复 3# flashercs

用你的方案尝试重写，在遇到这种情况的时候做了一些思考

      [ 0, 30, "安全防护", 1 ],
      [ 30, 3011, "视频监控", 2 ],
      [ 3011, 200327188, "视频监控配件", 3 ],
      [ 0, 21, "办公、文化及教育用品", 1 ],
复制代码

如果从第三层跳回第一层，需要两次 pop，那应该也可以直接调取前两层的节点引用，直接修改。
于是发现 push 和 pop 也是可以不要的，用一维数组存储相应层"最近"的节点，无论当前处理到哪一层，随意调取指定层的最新节点（通过引用）进行处理，然后更新。

use File::Slurp; use JSON::PP; my $json = JSON::PP->new->relaxed->pretty->canonical(); $json->sort_by( sub { $JSON::PP::a <=> $JSON::PP::b } ); my $raw = read_file( "Category_Plain.json" ); my $data = $json->decode( $raw ); my $tree = { 0 => {} }; my @stack = ( $tree->{0} ); for my $e ( @{$data->{'data'}} ) {     my ( $parent, $child, $label, $lv ) = @$e;     # 如果 上一层引用没有同样的子节点，通过该引用创建子节点     $stack[$lv-1]->{$child} = {} if not exists $stack[$lv-1]->{$child};     # 无论如何，更新 $lv 层引用指向的节点     $stack[$lv] = $stack[$lv-1]->{$child}; } printf "%s\n", $json->encode( $tree->{0} );

以上代码假设节点顶部从 "0" 开始；表单是按树结构顺序排列的，也就是 [0, 1, label, level] 一定在 [1, 201, label, level] 之前。

附完整类目表单：
Category_Plain.json

slimay

回复 12# 523066680
主要C语言写起来，得一个字符一个字符解析， 感觉还是用脚本好点。脚本思路清晰。

netbenton

回复 11# 523066680


  又改好了。

@echo off
setlocal enabledelayedexpansion

for /l %%a in (1,1,5) do set "tab=!tab!	"
::排版用的


set n=0
echo;{
rem 从0级开始

for /f "tokens=2 delims=[]" %%a in (test.txt) do (
	set str=%%a
rem 有引号，用到变量处理

	for /f "tokens=1-4 delims= " %%1 in ("!str!") do (
	for /f "tokens=1-4 delims=," %%1 in ("%%1,%%2,3,%%4") do (
	rem 第3项有 “,” 号，所以要把它先拿掉

rem	根据最后项数值变化判断处于哪一级，
rem	同级，升级，降级，做不同的处理，并排版。
rem	排序也可以做，就是效率有点低，如果不影响就算了。

		if !n! lss %%4 (
			if not defined v%%1 (
				echo;!tab:~-%%4!"%%1":{
				set v%%1=1
			) else (
				echo;!tab:~-%%4!	%%2
			)
			set one=%%2

			set/a n=%%4
		) else (
			if !n! gtr %%4 (
				set /a m=%%4+1

				rem $$$$$$ 修改了这里 $$$$$$$
				for /l %%a in (!n!,-1,!m!) do (
					if defined one (
						echo;!tab:~-%%a!	"!one!":{}&set one=
					)
					echo;!tab:~-%%a!},
					set n=%%4
				)
				set one=%%2
				rem $$$$$$$ 修改了这里  $$$$$$

			) else (

				if defined one (
					echo;!tab:~-%%4!	"!one!":{},
				)
				set one=%%2
				
			)
		)


	))

)

				if defined one (
					echo;!tab:~-%n%!	"!one!":{}&set one=
				)


rem 收尾了，做 “}” 号对齐
for /l %%a in (!n!,-1,1) do (
	echo;!tab:~-%%a!}
)
echo;}

pause
复制代码

523066680

回复 4# slimay

        借你的思路优化了以前写过的一个方案。一共做了两种方案，明天公布代码

523066680

回复 10# netbenton

    测试数据

{
    "data": [
        [0, 1, 0, 1],
        [1, 101, 0, 2],
        [101, 10101, 0, 3],
        [101, 10102, 0, 3],
        [101, 10103, 0, 3],
        [10103, 1010300, 0, 4],
        [101, 10104, 0, 3],
        [1, 102, 0, 2],
        [102, 10201, 0, 3],
        [102, 10202, 0, 3],
        [10202, 1020200, 0, 4],
        [102, 10203, 0, 3],
        [102, 10204, 0, 3]
    ]
}
复制代码

netbenton

回复 9# 523066680

你给出的数据测试没问题。
只要升级没有跳级，就没有问题，降级可以跳级，已经有处理了

523066680

补充一下信息：
源头数据不一定是按节点层级顺序排列的。
也就是有可能 上级节点在子节点之后，

      
     [ 211111, 200656001, "石膏像", 3 ],
     [ 21, 211111, "艺术用品", 2 ],
     [ 211111, 201330804, "智能取色笔", 3 ],
     [ 0, 21, "办公、文化及教育用品", 1 ],
     [ 21, 100003131, "美工工具", 2 ],
复制代码

以及节点的ID值不一定是按层级从小到大的，有些类目有可能因为创建的时间比较晚，ID值比某些子节点更大。
可以依靠的信息就是 数组末尾的层级信息，以及前两个ID的匹配关系

netbenton

回复 7# 523066680

改好了！
再看看。

@echo off
setlocal enabledelayedexpansion

for /l %%a in (1,1,5) do set "tab=!tab!	"
::排版用的


set n=0
echo;{
rem 从0级开始

for /f "tokens=2 delims=[]" %%a in (test.txt) do (
	set str=%%a
rem 有引号，用到变量处理

	for /f "tokens=1-4 delims= " %%1 in ("!str!") do (
	for /f "tokens=1-4 delims=," %%1 in ("%%1,%%2,3,%%4") do (
	rem 第3项有 “,” 号，所以要把它先拿掉

rem	根据最后项数值变化判断处于哪一级，
rem	同级，升级，降级，做不同的处理，并排版。
rem	排序也可以做，就是效率有点低，如果不影响就算了。

		if !n! lss %%4 (
			if not defined v%%1 (
				echo;!tab:~-%%4!"%%1":{
				set v%%1=1
			) else (
				echo;!tab:~-%%4!	%%2
			)
			set one=%%2

			set/a n=%%4,m=n-1
		) else (
			if !n! gtr %%4 (
				for /l %%a in (!m!,-1,%%4) do (
					if defined one (
						echo;!tab:~-%%a!		"!one!":{}&set one=
					)
					echo;	!tab:~-%%a!},
				)
				set n=%%4
			) else (

				if defined one (
					echo;!tab:~-%%4!	"!one!":{},
				)
				set one=%%2
				
			)
		)


	))

)

				if defined one (
					echo;!tab:~-%n%!	"!one!":{}&set one=
				)


rem 收尾了，做 “}” 号对齐
for /l %%a in (!n!,-1,1) do (
	echo;!tab:~-%%a!}
)
echo;}

pause
复制代码

523066680

回复 6# netbenton

    JSON的格式有一些约束，比如

            "200004343":{},
            "200332185":{},
            "3011":{},
            "3007":{},
        }
复制代码

这里  "3007":{}, 作为该范围最后一个元素，末尾的逗号会导致JSON解释器报错（这个约束可以放宽，不是必须要求，先 PASS）

第二个是

            "3007":{},
        }
        "21":{
            "211111":{},
复制代码

21之前的节点的 末尾标记 } 后面没有加逗号，这样JSON解释器读取时会变成 } "21":{ ... 导致出错

另外层次结构多的时候会产生 花括号数量不对称的问题，测试数据：

{
    "data": [
        [0, 1, 0, 1],
        [1, 101, 0, 2],
        [101, 10101, 0, 3],
        [1, 102, 0, 2],
        [102, 10201, 0, 3],
        [0, 2, 0, 1],
        [2, 201, 0, 2],
        [201, 20101, 0, 3],
        [2, 202, 0, 2],
        [202, 20201, 0, 3],
        [0, 3, 0, 1],
        [3, 301, 0, 2],
        [301, 30101, 0, 3],
        [3, 302, 0, 2],
        [302, 30201, 0, 3]
    ]
}
复制代码

以上也是不限制语言的原因，因为其他语言处理JSON有现成的库，可以直接着手处理数据。

netbenton

[ 30, 3030, "门禁", 2 ]
上面例子，中的“2”，直接指明是第几层的数据
就根据它进行处理，遍历一次就好了。

@echo off
setlocal enabledelayedexpansion

for /l %%a in (1,1,5) do set "tab=!tab!	"
::排版用的


set n=0
echo;{
rem 从0级开始

for /f "tokens=2 delims=[]" %%a in (test.txt) do (
	set str=%%a
rem 有引号，用到变量处理

	for /f "tokens=1-4 delims= " %%1 in ("!str!") do (
	for /f "tokens=1-4 delims=," %%1 in ("%%1,%%2,3,%%4") do (
	rem 第3项有 “,” 号，所以要把它先拿掉

rem	根据最后项数值变化判断处于哪一级，
rem	同级，升级，降级，做不同的处理，并排版。
rem	排序也可以做，就是效率有点低，如果不影响就算了。

		if !n! lss %%4 (
			if not defined v%%1 (
				echo;!tab:~-%%4!"%%1":{
				set v%%1=1
			) else (
				echo;!tab:~-%%4!	%%2
			)
			set one=%%2

			set n=%%4
		) else (
			if !n! gtr %%4 (
				echo;	!tab:~-%%4!}
				set n=%%4
			) else (

				if defined one (
					echo;!tab:~-%%4!	"!one!":{},&set one=
				)
				echo;!tab:~-%%4!	"%%2":{},<nul
				
			)
		)


	))

)

rem 收尾了，做 “}” 号对齐
for /l %%a in (!n!,-1,1) do (
	echo;!tab:~-%%a!}
)
echo;}

pause
复制代码