如何在VPS上用Linux记录蜘蛛爬取

在VPS（虚拟专用服务器）上，记录蜘蛛爬取活动可以帮助你更好地监控网站流量，防止被爬虫攻击或DDoS攻击，以下是几种常用的方法：

使用网络抓包工具记录流量

使用tcpdump抓包

tcpdump是一个强大的网络抓包工具,可以记录从VPS到外部网络的流量，以下是一个基本命令：

sudo tcpdump -n -i eth0 -f tcp -m state --start-sACK=1 --dump

• -n：不显示抓包的详细信息
• -i eth0：指定捕获来自eth0接口的流量
• -f tcp：只抓取TCP流量
• -m state：捕获所有状态的流量
• --start-sACK=1：启用SACK序列号捕获
• --dump：将抓包输出到指定文件

抓包后,你可以将文件导出到本地并分析。

使用ngsniff

ngsniff是一个更强大的抓包工具,可以实时监控网络流量，安装后，可以使用以下命令开始抓包：

sudo apt install ngsniff
sudo ngsniff -n -i eth0 -f tcp -m state --start-sACK=1 --dump

ngsniff会实时显示抓包信息,适合实时监控。

配置日志文件记录

除了抓包,还可以配置VPS的端口日志，记录访问流量。

配置rotate和大小限制

在VPS的配置文件中,添加以下内容：

<VPS_NAME>-access.log
  rotate=100M
  size=50M
  usage=on

• rotate=100M：每100MB自动备份一次
• size=50M：日志文件大小限制为50MB
• usage=on：启用使用

这样可以确保日志文件不会过大,同时自动备份。

配置tail命令

tail是一个查看日志的工具,可以实时显示最新的几行：

sudo tail -f /var/log/<VPS_NAME>-access.log

使用监控工具分析流量

使用Prometheus

Prometheus是一个开源的监控工具,可以实时监控网站流量。

安装后,配置如下：

sudo apt install prometheus
sudo apt install prometheus-gui
sudo systemctl enable prometheus
sudo systemctl enable prometheus-gui
sudo systemctl restart prometheus

启动Prometheus服务后,可以查看实时流量数据。

使用Grafana

Grafana是一个开源的数据可视化工具,可以展示Prometheus收集的数据。

安装后,配置如下：

sudo apt install grafana
sudo apt install grafana-server
sudo systemctl enable grafana
sudo systemctl enable grafana-server
sudo systemctl restart grafana
sudo systemctl restart grafana-server

启动服务后,访问http://localhost:3001查看图表。

配置反向代理

如果你使用Nginx作为反向代理,可以配置Nginx来记录访问日志。

在Nginx配置文件中添加：

<VS:Port 80>
<VS:Name your-nginx-name>
location / {
    log_file $document_root/vps_access.log;
    log_start_time [FMT=+%Y-%m-%d %H:%M:%S];
    log_size 100M;
    log Usage;
}
location /index.html {
    proxy_pass http://your-nginx-name;
}

这样,Nginx会将访问日志写入指定的文件。

使用一次性密码验证

为了防止爬虫攻击,可以配置VPS的端口访问需要一次性的密码验证。

在VPS的配置文件中添加：

<VPS_NAME>-access.php
  access 10.10.10.10:8080
  require once
  once 1m
  require file /var/www/<VPS_NAME>-access.log
  require size 100M
  require close

这样,每次访问都需要一次性的密码验证，可以有效防止爬虫攻击。

通过以上方法,你可以有效地记录和分析VPS上的蜘蛛爬取活动，这些方法结合使用，可以更好地监控网站流量，防止被攻击，记得遵守相关法律法规，确保合规性。