‘Shell脚本’ 分类下的所有文章
2013十二月19

利用Google Analytics抽取排名较低的关键词

豆豆分享过关于内链控制的知识,这里来分享下如何利用GA来抽取排名较低的URL,这里只是分享进入站内的关键词排名较低的抽取。

首页,要用过滤器抽取关键词排名:

 

过滤模式:

google\..*/(search|url).*\bcd=\d*

这里的替换字符[......]

Read more

2013八月8

Shell学习之Lynx

 

shell学习之awk

 

Shell学习笔记之grep

 

xargs命令-shell学习笔记

 

find的命令 – shell学习笔记

学习了下lynx命令,下面来总结下,lynx是遍历网页上的链接

遍历一个页面上的链接[......]

Read more

2013七月29

shell学习之awk

之前写了shell的grep命令,今天来总结下awk吧。awk的命令,就类似于在excel中进行检索文件一样,结合grep命令,可以进行数据的处理。

格式:awk 【参数】  ‘执行命令’   文件名

执行命令分为三个:BEGIN  #在扫描[......]

Read more

2013七月23

Shell学习笔记之grep

grep是查找的命令,查找中不少时候需要用到正则表达式,这个需要多多练习掌握下

grep 逐行检索,显示全部

grep “xxxx" 文件名

 

 

-P 代表正则表达式

例如,要从日志中查找爬虫抓取的特定的URL

 

&nbs[......]

Read more

2013七月4

xargs命令-shell学习笔记

对于这个理解不是很好,需要再研究下:

  在使用find命令的-exec选项处理匹配到的文件时,find命令将所有匹配到的文件一起传递给exec执行。不幸的是,有些系统对能够传递给exec的命令长度有限制,这样在find命令运行几分钟之后,就会出现溢出错误。错误信息通常是“参数列太长”或“参数[......]

Read more

2013七月4

find的命令 – shell学习笔记

不管当前路径是什么,如果想要在自己的根目录$HOME中查找文件名符合*.txt的文件,
使用~作为’pathname参数,波浪号~代表了你的$HOME目录。
$ find ~ -name “*.txt” -print
想要在当前目录及子目录中查找所有的‘ * . t x t’文件,可以用:[......]

Read more

2013七月1

Shell的一些基础命令

touch 新建一个文件/更新文件
mkdir 新建目录
cd. 当前目录
cd.. 当前目录的上一目录
ls 列出目录
ls – alh 显示当前目录
pwd 显示当前目录
cat 打开文件(顺序print[......]

Read more

2013六月26

一个Shell题目

编写Shell命令,把testlog文件按照以下格式输出

小时 次数
00 1598
01 2022
02 1885
03 2169
04 2326
总数 10000

其中

第一列为小时,第二列为每小时抓取的次数,最后一行为总数

参考知识
FS使用,BEGIN/[......]

Read more