[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发帖
benjaminxu

Rank: 1

帖子
5 
积分
17 
技术
0  
捐助
0  
注册时间
2014-6-10 
1楼 跳转到 » 倒序看帖
打印
tT
发表于 2014-6-10 20:12 | 只看该作者

[问题求助] sed/awk如何实现基于关键字对单行文本进行分行处理？

我有一段文本，是单行文本，其中有些关键字是相同的，我想基于这些关键字进行自动分行处理，如何处理？

其中id=tos在此文本中出现多次，要想基于这个关健字进行自动分行，再生写入到另外一个文件中，要如何处理呢？请各位高手指教，谢谢。

示例文本如下：

id=tos time="2014-05-23 12:31:48" fw=?А?￠?-???? pri=6 type=conn recorder=session src=10.10.2.27 dst=114.80.235.7 proto=tcp sport=53632 dport=80 inpkt=5 outpkt=4 sent=648 rcvd=254 duration=26 connid=591593823 parent=0 op=delete msg="null" id=tos time="2014-05-23 12:31:48" fw=?А?￠?-???? pri=6 type=conn recorder=session src=10.10.2.28 dst=180.153.100.168 proto=tcp sport=52997 dport=80 inpkt=5 outpkt=6 sent=348 rcvd=776 duration=21 connid=180050450 parent=0 op=delete msg="null" id=tos time="2014-05-23 12:31:48" fw=?А?￠?-???? pri=6 type=conn recorder=session src=10.10.2.29 dst=210.52.217.129 proto=tcp sport=43930 dport=443 inpkt=121 outpkt=371 sent=5855 rcvd=545116 duration=23 connid=97170603 parent=0 op=delete msg="null" id=tos time="2014-05-23 12:31:48" fw=?А?￠?-???? pri=6 type=conn recorder=session src=10.10.2.27 dst=183.61.252.236 proto=tcp sport=53554 dport=80 inpkt=6 outpkt=4 sent=1262 rcvd=536 duration=28 connid=616757769 parent=0 op=delete msg="null" id=tos time="2014-05-23 12:31:48" fw=?А?￠?-???? pri=6 type=conn recorder=session src=202.158.163.8 dst=10.10.2.207 proto=tcp sport=24223 dport=443 inpkt=8 outpkt=6 sent=905 rcvd=1642 duration=21 connid=693002827 parent=0 op=delete msg="null"
收藏 分享

522235677

Rank: 6Rank: 6

帖子
695 
积分
1692 
技术
61  
捐助
20  
注册时间
2011-3-31 
2楼
发表于 2014-6-10 20:47 | 只看该作者
要想基于这个关健字进行自动分行，再生写入到另外一个文件中，
分析什么？把什么写到另一个文本

TOP

cjiabing

Rank: 8Rank: 8

帖子
1726 
积分
4476 
技术
95  
捐助
0  
注册时间
2008-12-21 
3楼
发表于 2014-6-10 20:51 | 只看该作者
可以做到，但如果行太长了只能用第三方
寂寞是黑白的，但黑白不是寂寞，是永恒。BAT 需要的不是可能，而是智慧。

TOP

benjaminxu

Rank: 1

帖子
5 
积分
17 
技术
0  
捐助
0  
注册时间
2014-6-10 
4楼
发表于 2014-6-10 21:18 | 只看该作者
回复 2# 522235677
这些文本是一些网络设备syslog发送出来的日志，但设备在发送的时候将多行日志作为一行发出来了，我需要对这对这些原始日志进行分解解析，所以需要将多行汇成的日志自动分成原始多行，再对其第行进行解析，所以需要写入到文本中，才能用于新的解析。
2楼的高手有没有好办法帮忙实现？

TOP

benjaminxu

Rank: 1

帖子
5 
积分
17 
技术
0  
捐助
0  
注册时间
2014-6-10 
5楼
发表于 2014-6-10 21:19 | 只看该作者
回复 3# cjiabing

3楼的有什么高见吗？

TOP

benjaminxu

Rank: 1

帖子
5 
积分
17 
技术
0  
捐助
0  
注册时间
2014-6-10 
6楼
发表于 2014-6-10 21:20 | 只看该作者
我查看了相关命令，如sed，awk可能可以实现，但我不熟悉这些命令，叨念高手能够帮忙指导一下，不胜感激！

TOP

DAIC

Rank: 8Rank: 8

帖子
2874 
积分
7021 
技术
336  
捐助
0  
注册时间
2011-6-2 
7楼
发表于 2014-6-10 21:48 | 只看该作者 
  1. sed "s/id=tos/\n&/g" a.txt > b.txt
复制代码
sed.exe  gawk.exe  grep.exe  下载地址

TOP

522235677

Rank: 6Rank: 6

帖子
695 
积分
1692 
技术
61  
捐助
20  
注册时间
2011-3-31 
8楼
发表于 2014-6-10 21:51 | 只看该作者 
  1. @echo off & setlocal enabledelayedexpansion

  2. 

  3. set lf=^

  4. 

  5. 

  6. (for /f "delims=" %%i in (1.txt) do (

  7.     set "$=%%i"

  8.     for %%a in ("!lf!") do echo !$: =%%~a!

  9. ))>2.txt

  10. pause
复制代码
http://www.bathome.net/viewthrea ... hlight=%BB%BB%D0%D0

TOP

CrLf

Rank: 8Rank: 8

帖子
6388 
积分
18843 
技术
982  
捐助
100  
注册时间
2010-10-9 
9楼
发表于 2014-6-10 23:51 | 只看该作者
本帖最后由 CrLf 于 2014-6-11 01:48 编辑

这个问题还是用 7 楼 sed 比较好，如果要用 gawk 的话没那么直接，不过也是挺好玩的~
可以这样：
  1. gawk "BEGIN{RS=\"id=tos\"}/./{print RS $0}" a.txt
复制代码
或
  1. gawk "BEGIN{RS=\"id=tos\"}$1~sub(/^/,RS)" a.txt
复制代码
也可以这样：
  1. gawk -F"id=tos" "{for(i=2;i<=NF;i++)print FS $i RS}" a.txt
复制代码
用四楼的正则就是这样：
  1. gawk "gsub(/id=tos/,\"\n^&\")" a.txt
复制代码
或
  1. gawk "$0=gensub(/\s(id=tos)/,\"\n\\1\",\"g\")" a.txt
复制代码
也可用域赋值技巧：
  1. gawk -F"id=tos" "{OFS=RS FS;$1=$1;print}" a.txt
复制代码
简写：
  1. gawk -F"id=tos" "OFS=RS FS ($1=$1)" a.txt
复制代码
链接：在线第三方命令行工具下载   bat、vbs、js 原生混编

TOP

Linuxer

Rank: 4

帖子
260 
积分
341 
技术
27  
捐助
0  
注册时间
2014-7-18 
10楼
发表于 2014-7-29 14:37 | 只看该作者
本帖最后由 Linuxer 于 2014-7-29 14:38 编辑

回复 7# DAIC


    请教一下，为什么我测试这个代码，没有达到效果呢。执行后，就相当于把id=tos变成nid=tos
我是在win下使用的，GNU sed version 3.02，，是版本的低的原因吗？

TOP

DAIC

Rank: 8Rank: 8

帖子
2874 
积分
7021 
技术
336  
捐助
0  
注册时间
2011-6-2 
11楼
发表于 2014-7-29 14:56 | 只看该作者
回复 10# Linuxer


    试试4.2.2这个版本
sed.exe  gawk.exe  grep.exe  下载地址

TOP

Linuxer

Rank: 4

帖子
260 
积分
341 
技术
27  
捐助
0  
注册时间
2014-7-18 
12楼
发表于 2014-7-29 15:01 | 只看该作者
回复 11# DAIC


    多谢，，刚刚从你签名找过去了，更新了4.2.2版本，发现真的生效了。。看来就是版本低的原因啊。

TOP

返回列表