Welcome to My.donews.com. This is your first post. Edit or delete it, then start blogging!

Linux shell脚本区别内容相同的文件. - 开源 - CSDN技术中心

以前使用’网络蜘蛛’抓取了不少文件.但后来发现这些文件中有很多是内容完全相同的,如何只保留一份内容相同的文件而把其它相同的去除掉哪?我使用了linux shell脚本处理这个问题:

以前使用’网络蜘蛛’抓取了不少文件.但后来发现这些文件中有很多是内容完全相同的,如何只保留一份内容相同的文件而把其它相同的去除掉哪?我使用了linux shell脚本处理这个问题:

for file in * #遍历文件
do
if ! [ -f “$file” ] #如果文件存在的话,因为有的文件可能被剔除了.
then
echo $file” not exist”
else
for i in *
do
if [ “$file” != “$i” ] #如果文件名不同
then
if cmp -s $file $i
then
mv $i ../same/
fi
fi
done
mv $file ../unique/
fi
done

我一共处理4000多个文件,运行的挺慢的,用了1天零2夜才处理完,我汗,竟剔出了近2000,我再汗.

为了提高效率,后来考虑只对文件大小相同的文件才进行比较.脚本如下:

for file in * #遍历文件
do
if ! [ -f “$file” ] #如果文件存在的话,因为有的文件可能被剔除了.
then
echo $file” not exist”
else
leno=`ls -l $file | awk ‘{print $5}’` #使用ls和awk提出文件大小
for i in *
do
leni=`ls -l $i | awk ‘{print $5}’`
if [ “$file” != “$i” -a “$leno” = “$leni” ] #如果文件名不同,并且文件大小相同
then
if cmp -s $file $i
then
mv $i ../same/
fi
fi
done
mv $file ../unique/
fi
done

找了一小部分文件测试了一下,速度竟比第一个还慢,可能是频繁调用ls和awk的问题.
先到此,如果有更好的办法,再作补充.

{mm random=news,(title)}

Linux shell脚本区别内容相同的文件. - 开源 - CSDN技术中心 以前使用'网络蜘蛛'抓取了不少文件.但后来发现这些文件中有很多是内容完全相同的,如何只保留一份内容相同的文件而把其它相同的去除掉哪?我使用了linux shell脚本处理这个问题: 以前使用'网络蜘蛛'抓取了不少文件.但后来发现这些文件中有很多是内容完全相同的,如何只保留一份内容相同的文件而把其它相同的去除掉哪?我使用了linux shell脚本处理这个问题: for file in * #遍历文件 do if ! [ -f "$file" ] #如果文件存在的话,因为有的文件可能被剔除了. then echo $file" not exist" ...

Bash最常见的激活模式

Bash最常见的激活模式是交互式和非交互式:
1.交互式激活
指其标准输入和输出都连接在终端上.又分为三种类型:login,非login,posix 以及受限的shell.
确定一个shell是否是交互式的可以通过检测$PS1环境变量.

(1) 当Bash作为login shell被激活时,它将依次读取并执行以下文件:
/etc/profile,~/.bash_profile,~/.bash_login,~/.profile
使用--noprofile选项激活Bash可以禁止其读任何初始化文件 在退出时执行 ~/.bash_logout 文件

(2) 当Bash作为非login shell被激活时,它将读取并执行~/.bashrc
使用--norc选项激活Bash可以禁止执行任何初始化文件,使用 --rcfile file可以指定执行的初始化文件.

(3) 当Bash作为posix模式被激活时,它将先检查$ENV变量是否定义.
若定义,Bash读取并执行有$ENV变量扩展而得到的文件,否则不再 执行任何初始化文件。

(4) 当Bash作为受限模式被激活时,它除了禁止某些操作以外,其他行为于其他模式相同.受限操作有:改变目录,修改$SHELL和$PATH变量, 运行exec,以绝对路径运行程序以及使用重定向.Bash 1.x中不包含 受限模式.

2.非交互式激活
主要用来运行Shell脚本.启动后,Bash检查$BASH_ENV变量,若定义, 这执行该变量指定文件中包含的命令.

当应聘者在回答这些问题的时候，我就能清楚地知道是否该录用他。当然，有时程序员并不能很好地阐明这个问题，这时我们会让他们做一些PHP测试。测试中的许多问题表面上看起来非常简单，但这也给了应聘者们一个展现自我的机会，因为只要观察得仔细，就能找出问题。

下面这一小段“劣质”的PHP代码是一道简化了的测试题。这种问题就像在问：你该怎样优化这段代码？

这段代码的主要问题在于它把用户提交的数据直接显示到了网页上，从而产生XSS漏洞。其实有很多方法可以填补这个漏洞。那么，什么代码是我们想要的呢？

这是最低要求。XSS漏洞用htmlspecialchars函数填补了，从而屏蔽了非法字符。

能写出这样代码的人应该是我想要录用的人了：

可惜的是，能给出这样让人满意答复的程序员少之又少。我们花了3个月的时间才招聘到让我们满意的程序员.

那么，你会怎样回答文章开头提出的问题呢？你认为PHP代码的缺点体现在哪里？你认为一个PHP程序员还应具有哪些品质？