现在的位置: 首页 > 网络常识 > 正文

百度蜘蛛是什么?如何从网站日志中分析百度蜘蛛IP?

2014年09月08日 网络常识 ⁄ 共 464字 ⁄ 字号 暂无评论 ⁄ 阅读 627 views 次

百度蜘蛛,是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容,然后分门别类建立索引数据库, 使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。

简单理解就是,百度蜘蛛与真人一样,会访问你的网站,它是模拟真人的点击轨迹,记录下你的文章并进行分析,然后留下你的文章数据库,这样用户用百度搜索时,就有可能在百度首页出现你的文章。

那我们如何知道百度蜘蛛拜访过我们的网站呢?下面以linux主机的cpanel控制面板为例进行讲解:

1、下载日志文件。

进入cpanel面板找到“原始访问日志”。

原始访问日志

下载原始访问日志,文件为.com格式,可以用文本打开,文件一般只有几百KB。

下载日志

2、分析日志的数据有很多种方法,有的人喜欢手动分析,有的人喜欢使用本地工具,在这里85网赚推荐一款在线的服务,特别适合新站长朋友们:

http://xiaoxia.de/upload/apache-log-formatter.html

将文本复制到这里,它可以自动分析出网站的日志,比如对应ip段是哪个蜘蛛,比我们手动分析数据快多了。



给我留言

留言无头像?


无觅相关文章插件,快速提升流量