如何查看主机提供的原始访问日志？

相信大家都在自己的网站上安装了网站统计代码，比如Googleanalytics。、量子统计，百度统计，cnzz、51.la等，这些工具可以统计网站的流量，即访问者可以在网站上看到的所有页面的访问量，但这些统计工具不能统计你主机上资源的原始访问信息，比如谁下载了一张图片。绝大多数收费主机提供原始访问日志（RawAccessLog），网站服务器会自动记录每个访问者访问时的一些信息，并将其保存在原始访问日志文件中。如果您的主机不提供日志功能，建议您在到期后更换主机。本日志记录了网站上所有资源的访问信息，包括图片CSS、JS、FLASH、HTML、MP3等所有网页打开过程中包含的资源都记录了谁访问了这些资源，访问了什么，访问结果是什么。可以说，原始访问日志记录了主机的所有资源使用情况。如果你的网站遭到攻击、非法盗链和不良要求，你可以通过分析原始访问日志来分析线索。例如，今年年初，我向我的主机上传了一个mp3。不幸的是，它被百度mp3收录，导致大量盗链，导致我的主机流量急剧增加。虽然这对我来说不是什么大问题，但我很不高兴！通过对日志的分析，我找出了问题的根源，删除了mp3，主机流量也下降了。不同主机使用不同的面板，因此查看原始访问日志的方法不同，但日志记录的格式相同。请咨询相关主机客服查看原始访问日志的具体方法。以下是cpanel面板，点击红色方框中的按钮，然后选择您的网站域名，下载原始访问日志，打开文本编辑器查看：原始访问日志的每一行都类似于以下记录： 64.10.90.61--[04/Mar/2001:11:47:26-0600]"GET/intro.htmHTTP/1.1"20013947"http://www.yourdomain.com/""Mozilla/4.0(compatible;MSIE5.0;Windows98;DigExt)" 让我们谈谈这一行记录的含义：64.10.90.61这是访客(或机器人)的IP[04/Mar/2001:11:47:26-0600]这是访客访问资源的时间（Date），-0600是与格林威治时间相对应的时区-6小时GET/intro.htmHTTP/1.1请求信息，包括请求模式、请求资源和使用的协议，意思是按照HTTP/1.1协议通过GET获取网页/intro.htm，intro.htm是网站上的一个网页。请求返回的状态码为20013947200（HttpCode），不同的状态代码代表不同的含义。请阅读HTTP状态代码；本请求消耗的流量为13947（SizeinBytes），bytehttptp单位://www.yourdomain.com/作为访客来源（Referer）。这一段告诉我们访客从哪里来到这个网页。这一段告诉我们访问者从哪里来到这个网页。可能是你网站的其他页面，也可能是搜索引擎的搜索页面等。通过这个来源信息，你可以找到盗链者的网页。Mozilla/4.0(compatible;MSIE5.0;Windows98;DigExt)访客使用的浏览器类型（Agent），这里记录了用户使用的操作系统、浏览器模型等。阅读上述说明后，您可能知道每行记录了什么，并可以开始独立分析您的网站原始访问日志，但让你直接看这些杂乱无章的日志，相信你会很疯狂，不愿意去做。cpanle面板中的“LatestVisitors“提供一种格式化的后日志查看方法，看起来更舒适：上图中的Hostt：218.17.120.205是访客的IP，可见访客在当前时间段发起了三个请求，对应原始访问日志中的三行记录，红色标注的部分是访客请求的资源(即访客流量网页等)。其他部分见上述说明。“LatestVisitors“最近300个IP的访问信息只能显示在这里。在这里，我写了一个格式化的原始访问日志工具，可以将原始访问日志格式化为上图所示的格式，便于阅读。工具地址:http://ludou.co.tv/logreader/以上介绍了如何查看原始访问日志，现在我们来谈谈如何分析日志中的内容:1、请注意，如果您在日志中发现某个资源（网页、图片、mp3等）被频繁访问，您应该注意该资源在哪里使用！假如这些请求的来源（Referer）不是你的网站或者是空的，状态码（HttpCode）对于200来说，这意味着你的资源很可能被盗链。你可以通过referer找到盗链者的网站，这可能是你网站流量飙升的原因。你应该做好防盗链。请看下图，我网站上的japan.mp3这个文件被频繁访问，下图只是日志的一部分，这个人极其危险，因为我已经删除了这个文件，它迟迟不到japan.在短短一个小时内，mp3对japan.mp3发起了不少于100次的请求，看到我设置了防盗链，伪造了Referer和Agent的来源，并不断更换IP，不幸的是，它所做的一切都是无用的。根本没有这个文件。要求的状态码HTTPCode为403或4042、请注意您网站上没有资源的请求，如下图中的四个请求信息。/admin/editor/db/kmoxewebeditor.mdb和其他资源是本网站的资源，所以Httpcode要么是403，要么是404，但从名称分析来看，它可能是保存数据库信息的文件。如果这些信息被其他人拿走，攻击你的网站就会容易得多。发起这些请求的目的无非是扫描你的网站漏洞，漫无目的地扫描下载这些已知的漏洞文件，很可能会在你的网站上找到漏洞！通过观察，可以发现这些请求使用的Agent几乎都是Mozila/4.0、Mozilla/5.0或libwww-perl/等非常规浏览器类型，我提供的上述日志格式化工具集成了这些请求的报警功能。通过观察，可以发现这些请求使用的Agent几乎都是Mozila/4.0、Mozilla/5.0或libwww-perl/和其他非常规浏览器类型，我提供的上述日志格式化工具集成了这些请求的报警功能。我们可以通过禁止访问这些Agent来实现防止扫描的目的。下面将介绍具体方法。常见的扫描攻击还包括恶意参数的传递： //header.php?repertoire=../../../../../../../../../../../../../../../proc/self/environ /?_SERVERDOCUMENT_ROOT=http://wdwinfo.ca/logs/.log? 3、通过观察日志中的信息，你可以看到你的网站被蜘蛛访问的频率，然后你可以看到你的网站是否受到搜索引擎的青睐。这些都是SEO关心的问题。日志格式化工具集成了搜索引擎蜘蛛的提示功能。常见搜索引擎蜘蛛使用的Agent列表如下:Google蜘蛛Mozila/5.0（compatible;Googlebot/2.1; http://www.google.com/bot.html）Baidu蜘蛛Baiduspider （ http://www.baidu.com/search/spider.htm）Yahoo！蜘蛛Mozila/5.0（compatible;Yahoo！蜘蛛Mozila/5.0（compatible;Yahoo！Slurp/3.0;http://help.yahoo.com/help/us/ysearch/slurp）Yahoo！中国蜘蛛Mozila/5.（compatible;Yahoo！SlurpChina;http://misc.yahoo.com.cn/help.html）微软Bing蜘蛛msnbot/2.00b（ http://search.msn.com/msnbot.htm）Googleadsense蜘蛛Mediapartnersgogle有道蜘蛛Mozila/5.0（compatible;YoudaoBot/1.0;http://www.youdao.com/help/webmaster/spider/;）搜索Soso搜索博客蜘蛛soblogspiderssssosogsssogsspider （ http://help.soso.com/soso-blog-spider.htm）Sogou搜狗蜘蛛Sogouwebspider/4.0（ http://www.sogou.com/docs/help/webmasters.htm#07)Twiceler爬虫程序Mozila/5.0（Twiceler-0.9http://www.cuil.com/twiceler/robot.html）Gogle图片搜索蜘蛛Goglebot-Image/1.0俄罗斯Yandex搜索引擎蜘蛛Yandex/1.001.00（compatible;Win16;I）alexa蜘蛛ia_archiver（ http://www.alexa.com/site/help/webmasters;crawler@alexa.com）Feedsky蜘蛛Mozla5.（compatible;Feedskycrawler/1.0;http://www.feedsky.com）韩国yeti蜘蛛yeti/1.（NHNCorp.;http://help.naver.com/robots/）4、通过查看格式化的日志来观察访客的行为，您可以在一定时间内查看和跟踪一系列IP访问行为。单个IP访问记录越多，您的网站PV越高，用户粘性越好；如果单个IP访问记录希希，您应该考虑如何使您的网站内容更具吸引力。通过分析访问者的行为，可以为您的网站建设提供强有力的参考，确定网站的发展方向；通过分析访问者的行为，看看他们做了什么，你可以猜测访问者的意图，及时找出恶意用户。通过分析访问者的行为，你可以为你的网站建设提供强有力的参考，哪些内容好，哪些内容不好，确定网站的发展方向；通过分析访问者的行为，看看他们做了什么，你可以猜测访问者的意图，及时找到恶意用户。以上只是我个人总结的一些技巧，可以简单地分析你的日志内容，毕竟，我的个人知识相对较短，不能进行全面的日志分析。在cpanel主机控制面板中，还提供了两种日志分析工具：awstats和webalizer。它们都是基于原始访问日志进行分析的。它们功能强大丰富。你可以试试。如果你不明白，你可以咨询主机客户服务。上面提到了如何分析你的日志，下面我们就来谈谈如何御敌千里之外。我们在这里使用Linux主机.以htaccess为例，讲解如何防止恶意请求。1、如果你不想让IP访问你的网站，你可以阻止它。有两种预防措施：一种是在cpanel面板上有一个Security。–IPDenyManager，点击填写要封杀的IP；第二，在.在htaccess中添加以下句子，以阻止这两个IP123.165.54.14、IP段123.165.54.15，以及123.165.55，多个同理： denyfrom123.165.54.14denyfrom123.165.54.15denyfrom123.165.55.15denyfrom 2、阻止浏览器类型（Agent）一般情况下，如果你使用机器人来扫描或恶意下载你的网站资源，他们使用的Agent几乎都是一种类型，比如我上面提到的Mozila/4.0、Mozilla/5.0或libwww-perl/等。为了达到防范攻击的目的，你可以阻止Agent。在.以下规则添加到htaccess中： SetEnvIfNoCaseUser-Agent".*Firefox/3\.6\.3.*"bad_agent 上述规则阻止了含有Firefox/3.6的Agent.3的来源，也就是说，Agent将无法访问您的网站，包括以下例子：Agent:Mozilla/5.0(Windows;U;WindowsNT5.1;zh-CN;rv:1.9.2.3)Gecko/20100401Firefox/3.6.以上只是一个例子，千万不要用在你的网站上，否则，使用Firefox3.6.3.用户无法访问您的网站。Httpcode的访问结果是403。他们看到403页，即禁止访问页面。让我教你如何编写封杀规则。以上句子是Setenvifnocaseuser。-Agent".*Firefox/3\.6\.3.*"bad_agent指定