Recently in IT Category
刚刚吃过晚饭,没事上博客来看看,就发现站点打开的特别慢,
还怀疑这MT blog有什么问题了,打开其他网站倒是正常的很。
纳闷中,大约过了十几秒钟,系统返回了这样的几句话:
Got an error: Connection error: Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2) at lib/MT/ObjectDriver/Driver/DBD/mysql.pm line 49
at lib/MT/ObjectDriver/Driver/DBD/mysql.pm line 49
哈哈,居然百年不遇的现象,让我赶上了,MT blog Server的Mysql服务服务重新启动了,有意思。
我还真是第一次遇到服务重启。
不过,这国外的空间服务质量还是不错的,整个过程大概经过了2分钟,刷新了一下页面,系统便恢复了正常。
今天看了一下公司HTTP服务器的log,发现爬虫活动异常频繁,有将近1/10的流量来自爬虫们,说起来也挺恐怖的。
其实那点东西也没有必要爬来爬去的吧,于是写了个robots.txt 做了一下限制。
vi robots.txt
User-agent: *
Disallow: /
按照套路,原则上禁止掉了所有的爬虫的骚扰。
下班前,上去看了一眼是否生效了,他奶奶的,爬虫居然如此张狂,继续爬我没商量。
首先就是Baiduspider不守规矩,继续爬网站,而且变本加厉的爬,流量有增无减。
61.135.190.24`-`-`2008-03-18 02:33:37`HEAD /index.html HTTP/1.1`200`2775`-`Baiduspider+(+http://www.baidu.com/search/spider.htm)`-
再有就是google,也有一些,有些是当访问到了robots.txt就停止了。但是还有一些不要脸的仍在爬着。
比如这条:
203.208.60.22`-`-`2008-03-17 13:27:25`GET /Index.html?id=1714 HTTP/1.1`200`2530`-`Mozilla/5.0 (compatible; Googlebot/2.1; +http://www...google.com/bot.html)`-
我查了一下那个IP:真他妈服了,居然有人在冒充google的爬虫在网络世界横行,这不是真正的谷歌,这是假冒伪劣产品哟!
那个真正的Google还是蛮守规矩的,但到robots.txt的内容就停下了匆匆的脚步。
66.249.70.130`-`-`2008-03-18 02:30:40`GET /robots.txt HTTP/1.1`200`27`-`Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)`-
经核实,假冒google的爬虫IP:
IP查询(搜索IP地址的地理位置)
您查询的IP:203.208.60.22
本站主数据:北京市 飞翔人信息技术有限公司
查询结果2:北京市 飞翔人信息技术有限公司
查询结果3:北京市 飞翔人信息技术有限公司
“飞翔人”何许人也,原来是大名顶顶的ganji.com(赶集网),哎,枉我当初对赶集的一片痴心。
顺便也查了一下这斯的来历,原来赶集与Google也曾有着一段“姻缘”哩。
怪不得敢打着Googlebot的名义在网络横行!!!
作为弱势群体的我们普通小站点,只能忍了,这里发发牢骚,骂骂人,自个心里爽爽罢了。
或许ganji凭借google的余威在“爬虫”界也是很吊、很暴力?
PS :
强列鄙视Baidu,这么大的站点不遵守最起码的游戏道德。
表扬一下真正的Googlebot,实实在在老实人,我喜欢! 以后搜索还是使用Google.
与朋友聊天,说他们公司的IPV4地址比全中国的总和还要大,我自然是不信。
网上搜集了一下相关资源:发现中国的全部网段的IP总和为1.4亿,而且每年都在增长。
但是确实不及该垄断IP的跨国公司啊! 举个例子:
比如18.0.0.0-18.255.255.255,算了一下,这当中有IPV4地址1.6亿个。
果然不假!
全世界一共42亿个IP地址已经极尽匮乏。什么时候应用IPV6呢?
http://trace.twnic.net.tw/ipstats/statsipv4.php
今天使用VSS6 打开指定的目录时 提示 "Error reading from file"。
开始以为是自己的机器网络问题,后来发现并不是这样。
网上搜索了一番,下面是我的解决方法:
进入vss服务器:
到vss安装目录,cmd 命令下,执行:
ANALYZE.EXE -f E:\VSS_DATA\2hei.net\data #E:\VSS_DATA\2hei.net\data为我的项目目录
系统提示:
Analyze Visual SourceSafe Version 6.0d (Build 9848)
Database analysis in progress @ 08-03-06;18:09.
File e:\vss_data\2hei.net\data\status.dat is already open
Cannot rebuild the database while Visual SourceSafe is being run. Make sure all users have exited SourceSafe and try again.
Analysis complete @ 08-03-06;18:09
原来我的客户端还登陆着呢!
关闭vss,继续执行上述命令
提示:
delete your data\backup
删除backup目录后。
继续执行:
Analyze Visual SourceSafe Version 6.0d (Build 9848)
Database analysis in progress @ 08-03-06;18:15.
Creating a new nameset, or long filename information, for the file Dict_Off.java.
Creating a new nameset, or long filename information, for the file Dict_Off.hbm.xml.
Creating a new nameset, or long filename information, for the file VersinCtrl.java.
Analysis complete @ 08-03-06;18:15
Potentially serious errors or inconsistencies were found.
提示成功。
注: 一般来讲出现如此问题是因为在check out 或者check in 时发生网络故障,突然断开服务器造成
文件不完全。 使用VSS的Analyze 命令可以进行修复。




