Squid详细配置实用文档
一、 前言:
作为一种免费的网络操作系统,Linux越来越受到广大网络爱好者的欢迎了,目前因特网(Internet)上运行的主机有相当一部分采用的就是linux操作系统,而且中国已经把linux操作系统作为政府上网年的指定网络操作系统,种种迹象表明,linux操作系统正在逐渐走向成熟。今天,我给大家介绍一种能在Linux系统下使用的比较优秀的代理服务器软件的安装和调试方法。
众所周知,当今因特网发展速度极其迅猛,IP地址资源非常紧张。而如果您想访问因特网,共享因特网的丰富资源,您的机器必须拥有一个标准的IP地址。在因特网上,IP地址是识别您的机器的唯一标志。目前,有两种方式可以让您的机器拥有标准的IP地址:一种是局域网通过专线接入因特网,您的机器可以拥有静态的IP地址。所谓静态IP地址,就是对使用者来说,是固定不变的IP地址,这个IP地址给您使用后,其他人就不能再用了。一种是通过电话线拨号或ISDN拨号等方式接入因特网,您的机器可以在您拨号上网的在线期间从ISP的访问服务器的IP地址池中获得一个临时的标准IP地址,这个IP地址在您下线后就不归您使用了,而您下次拨号再上网,很可能分配给您的机器的是另外一个临时的IP地址了。这种临时分配的IP地址,称为动态IP地址。无论是静态地址还是动态地址,在您的机器访问因特网时,使用起来没有什么区别。
现在因特网发展速度这么快,而IP地址资源又这么紧张,这不能不说是一个尖锐的矛盾。虽说Ipv6正在开发中,但远水不解近渴,好多的企业、公司内部的Intranet现在就想接入因特网这个浩瀚的资源海洋,但又苦于没有充足的IP地址资源,怎么办?还好,有代理服务这个好东西。代理服务是指由一台拥有标准IP地址的机器代替若干没有标准IP地址(以下称内部地址)的机器和因特网上的其他主机打交道,提供代理服务的这台机器称为代理服务器。拥有内部地址的机器想到因特网上查找资料时,先把这个请求发给拥有标准IP地址的代理服务器,由代理服务器把这个请求通过它的标准IP地址发到请求的目标地址。然后目标地址的服务器把返回的结果发回给代理服务器,代理服务器再原封不动的把资料发给最初那台拥有内部IP地址的机器。这样就完成了一次内部机器访问因特网的一个过程。若干拥有内部地址的机器就组成了内部网,代理服务器的作用就是勾通内部网和因特网,解决内部网访问因特网的问题。而且这种代理是不可逆的,因特网上的主机不能访问任何一台拥有内部地址的机器,这样又可以保障内部资料的安全性。
能够完成这种代理功能的服务器软件有好多,我给大家推荐一种能在linux下使用的比较优秀的代理服务器软件Squid。之所以说它比较优秀,一方面是因为它可以在代理服务器上作一个很大的缓存,可以把好多常去的网站内容存储到缓存中,这样,内部网的机器再访问那些网站,就可以从缓存里调用了。这样一可以加快内部网浏览因特网的速度,二可以减少专线的数据流量。另一方面,Squid不仅仅支持HTTP协议,而且还支持FTP,GOPHER,SSL和WAIS等协议。下面我将逐步介绍该服务器软件的下载、编译、安装和调试。
二、 squid安装
1、 源码编译安装
获取安装软件:http://www.squid-cache.org/
其中STABLE稳定版、DEVEL版通常是提供给开发人员测试程序的,假定下载了最新 的稳定版squid-3.0.STABLE15.tar.gz,用以下命令解开压缩包:
tar xvfz squid-3.0.STABLE15.tar.gz
用bz2方式压缩的包可能体积更小,相应的命令是:
tar xvfj squid-3.0.STABLE15.tar.bz2
然后,进入相应目录对源代码进行配置和编译,命令如下:
cd squid-3.0.STABLE15
配置命令configure有很多选项,如果不清楚可先用“-help”查看。通常情况下,用到的选项有以下几个:
--prefix=/web/squid
指定Squid的安装位置,如果只指定这一选项,那么该目录下会有bin、sbin、man、conf等目录,而主要的配置文件此时在conf子目录中。为便于管理,最好用参数--sysconfdir=/etc把这个文件位置配置为/etc。
--enable-storeio=ufs,null
使用的文件系统通常是默认的ufs,不过如果想要做一个不缓存任何文件的代理服 务器,就需要加上null文件系统。
--enable-arp-acl
这样可以在规则设置中直接通过客户端的MAC地址进行管理,防止客户使用IP欺骗。
--enable-err-languages="Simplify_Chinese"
--enable-default-err-languages="Simplify_Chinese"
上面两个选项告诉Squid编入并使用简体中文错误信息。
--enable-linux-netfilter
允许使用Linux的透明代理功能。
--enable-underscore
允许解析的URL中出现下划线,因为默认情况下Squid会认为带下划线的URL是 非法的,并拒绝访问该地址。 整个配置编译过程如下:
./configure --prefix=/usr/local/squid
--sysconfdir=/usr/local/squid/etc
--enable-arp-acl
--enable-linux-netfilter
--enable-pthreads
--enable-err-language="Simplify_Chinese"
--enable-storeio=ufs,null
--enable-default-err-language="Simplify_Chinese"
--enable-auth="basic"
--enable-baisc-auth-helpers="NCSA"
--enable-underscore
[root@zhang squid-3.0.STABLE15]# make
[root@zhang squid-3.0.STABLE15]# make install
Squid的基本命令
第一次启动squid时用初始化squid,建立缓存
/usr/local/squid/sbin/squid –z
调试debug方式启动
/usr/local/squid/sbin/squid –Nd 1
检测squid语法
/usr/local/squid/sbin/squid -k parse
重启加载配置文件
/usr/local/squid/sbin/squid -k reconfigure
停止squid程序
/usr/local/squid/sbin/squid -k shutdown
观察Squid是否运行使用下面的命令,输出会告诉用户Squid的当前状态:
/usr/local/squid/sbin/squid –k check
查看日志:
#more /usr/local/squid/var/logs/access.log | grep TCP_MEM_HIT
该指令可以看到在squid运行过程中,有那些文件被squid缓存到内存中,并返回给访问用户。
#more /usr/local/squid/var/logs/access.log | grep TCP_HIT
该指令可以看到在squid运行过程中,有那些文件被squid缓存到cache目录中,并返回给访问用户。
#more /usr/local/squid/var/logs/access.log | grep TCP_MISS
该指令可以看到在squid运行过程中,有那些文件没有被squid缓存,而是现重原始服务器获取并返回给访问用户。
Squid命中率
squid/bin/squidclient -p 3128 mgr:info
squid/bin/squidclient -p 3128 mgr:5min
可以看到详细的性能情况,其中PORT是你的proxy的端口,5min可以是60min
三、 squid的基本配置
安装完成后,接下来要对Squid的运行进行配置(不是前面安装时的配置)。所有项目都在squid.conf中完成。Squid自带的squid.conf包括非常详尽的说明,相当于一篇用户手册,对配置有任何疑问都可以参照解决。
在这个例子中,代理服务器同时也是网关,内部网络接口eth0的IP地址为192.168.0.1,外部网络接eth1的IP地址为202.103.x.x。下面是一个基本的代理所需要配置选项:
http_port 10.167.27.51:3128
默认端口是3128,当然也可以是任何其它端口,只要不与其它服务发生冲突即可。为了安全起见,在前面加上IP地址,Squid就不会监听外部的网络接口。 下面的配置选项是服务器管理者的电子邮件,当错误发生时,该地址会显示在错误页面上,便于用户联系:
cache_mgr jimo291@sohu.com
以下这些参数告诉Squid缓存的文件系统、位置和缓存策略:
cache_mem 32MB
cache_swap_low 90
cache_swap_high 95
cache_dir ufs /usr/local/squid/var/cache 2000 16 256
在这里,Squid会将/usr/local/squid/var/cache目录作为保存缓存数据的目录,2000代表缓存最大为2000MB;16和256代表一级和二级目录数。每次处理的缓存大小是32兆字节,当缓存空间使用达到95%时,新的内容将 取代旧的而不直接添加到目录中,直到空间又下降到90%才停止这一活动。
如果不想Squid缓存任何文件,如某些存储空间有限的专有系统,可以使用 null文件系统(这样不需要那些缓存策略):
cache_dir null /tmp
下面的几个关于缓存的策略配置中,较主要的是第一行,即用户的访问记录,可以通过分析它来了解所有用户访问的详尽地址:
cache_access_log /usr/local/squid/log/access.log
cache_log /usr/local/squid/log/cache.log
cache_store_log /usr/local/squid/log/store.log
下面这行配置是在较新版本中出现的参数,告诉Squid在错误页面中显示的服务器名称:
visible_hostname proxy
以下配置告诉Squid如何处理用户,对每个请求的IP地址作为单独地址处理:
client_netmask 255.255.255.255
配置DNS
dns_nameservers 210.53.31.2
四、 透明代理
如果是普通代理服务器,以上的配置已经足够。但是很多Squid都被用来做透明代理。
所谓透明代理,就是客户端不知道有代理服务器的存在,当然也不需要进行任何与代理有关的设置,从而大大方便了系统管理员。相关的选项有以下几个:
httpd_accel_host virtual
httpd_accel_port 80
httpd_accel_with_proxy on
httpd_accel_user_host_header on
在Linux上,可以用iptables/ipchains直接将对Web端口80的请求直接转发到Squid端口3128,由Squid接手,而用户浏览器仍然认为它访问的是对方的80端口。例如以下这条命令:
iptables -t nat -A PREROUTING -s 192.168.0.200/32 -p tcp --dport 80 -j REDIRECT 3128
就是将192.168.0.200的所有针对80端口的访问重定向到3128端口。
所有设置完成后,关键且重要的任务是访问控制。Squid支持的管理方式很多,使用起来也非常简单(这也是有人宁愿使用不做任何缓存的Squid,也 不愿意单独使用iptables的原因)。
五、 访问控制
Squid可以通过IP地址、主机名、MAC地址、用户/密码认证等识别用户,也可以通过域名、域后缀、文件类 型、IP地址、端口、URL匹配等控制用户的访问,还可以使用时间区间对用户进行管理,所以访问控制是Squid配置中的重点。
Squid 访问控制有两个要素:ACL 元素和 访问列表。访问列表可以允许或拒绝某些用户对此服务的访问。
下面列出一些重要的 ACL 元素类型
src : 源地址 (即客户机IP地址)
dst : 目标地址 (即服务器IP地址)
srcdomain : 源名称 (即客户机名称)
dstdomain : 目标名称 (即服务器名称)
time : 一天中的时刻和一周内的一天
url_regex : URL 规则表达式匹配
urlpath_regex: URL-path 规则表达式匹配,略去协议和主机名
proxy_auth : 通过外部程序进行用户验证
maxconn : 单一 IP 的最大连接数
下面举些常见的例子!
1、一般控制
acl advance 192.168.0.2-192.168.0.10/32
acl normal src 192.168.0.11-192.168.0.200/32
acl baduser src 192.168.0.100/32
acl baddst dst www.soocol.com
acl all src 0.0.0.0/0
http_access deny baduser
http_access allow advance
http_access allow normal
可以看出,ACL的基本格式如下: acl 列表名称 控制方式 控制目标 比如acl all src 0.0.0.0/0,其名称是all,控制方式是src源IP地址,控制目标是0.0.0.0/0的IP地址,即所有未定义的用户。出于安全考虑,总是在最后禁止这个列表。 下面这个列表代表高级用户,包括IP地址从192.168.0.2到192.168.0.10的所有计算机:
acl advance 192.168.0.2-192.168.0.20/32
下面这个baduser列表只包含一台计算机,其IP地址是192.168.0.100:
acl baduser 192.168.0.100/32
ACL写完后,接下来要对它们分别进行管理,代码如下:
http_access deny baduser
http_access allow advance
http_access allow normal
上面几行代码告诉Squid不允许baduser组访问Internet,但advance、normal组允许(此时还没有指定详细的权限)。由 于 Squid是按照顺序读取规则,会首先禁止baduser,然后允许normal。如果将两条规则顺序颠倒,由于baduser在normal范围中, Squid先允许了所有的normal,那么再禁止baduser就不会起作用。
特别要注意的是,Squid将使用allow-deny-allow-deny……这样的顺序套用规则。例如,当一个用户访问代理服务器时, Squid会顺序测试Squid中定义的所有规则列表,当所有规则都不匹配时,Squid会使用与最后一条相反的规则。
就像上面这个例子,假设有一个用户 的IP地址是192.168.0.201,他试图通过这台代理服务器访问Internet,会发生什么情况呢?我们会发现,他能够正常访问,因为 Squid找遍所有访问列表也没有和192.168.0.201有关的定义,便开始应用规则,而最后一条是deny,那么Squid默认的下一条处理规则 是allow,所以192.168.0.201反而能够访问Internet了,这显然不是我们希望的。所以在所有squid.conf中,最后一条规则 永远是http_access deny all,而all就是前面定义的“src 0.0.0.0”。
2、 高级控制
前面说过,Squid的控制功能非常强大,只要理解Squid的行为方式,基本上就能够满足所有的控制要求。下面就一步一步来了解Squid是如何进行控制管理的。
通过IP地址来识别用户很不可靠,比IP地址更好的是网卡的MAC物理地址。要在Squid中使用MAC地址识别,必须在编译时加上“--enable-arp-acl”选项,然后可以通过以下的语句来识别用户:
acl advance arp 00:01:02:1f:2c:3e 00:01:02:3c:1a:8b ...
它直接使用用户的MAC地址,而MAC地址一般是不易修改的,即使有普通用户将自己的IP地址改为高级用户也无法通过,所以这种方式比IP地址可靠得多。
假如不想让用户访问某个网站应该怎么做呢?可以分为两种情况:一种是不允许访问某个站点的某个主机,比如ok的主机是ok.sina.com.cn,而其它的新浪资源却是允许访问的,那么ACL可以这样写:
acl sinapage dstdomain ok.sina.com.cn
... ...
http_access deny sinapage
... ...
由此可以看到,除了ok,其它如http://www.sina.com.cn、news.sina.c...??常访问。
另一种情况是整个网站都不许访问,那么只需要写出这个网站共有的域名即可,配置如下:
acl qq dstdomain .tcccent.com.cn
注意tcccent前面的“.”,正是它指出以此域名结尾的所有主机都不可访问,否则就只有tcccent.com.cn这一台主机不能访问。
如果想禁止对某个IP地址的访问,如202.118.2.182,可以用dst来控制,代码如下:
acl badaddr dst 202.118.2.182
当然,这个dst也可以是域名,由Squid查询DNS服务器将其转换为IP。
还有一种比较广泛的控制是文件类型。如果不希望普通用户通过代理服务器下载MP3、AVI等文件,完全可以对他们进行限制,代码如下:
acl mmxfile urlpath_regex /.mp3$ /.avi$ /.exe$
http_access deny mmxfile
看到regex,很多读者应该心领神会,因为这条语句使用了标准的规则表达式(又叫正则表达式)。它将匹配所有以.mp3、.avi等结尾的URL请求,还可以用-i参数忽略大小写,例如以下代码:
acl mmxfile urlpath_regex -i /.mp3$
这样,无论是.mp3还是.MP3都会被拒绝。当然,-i参数适用于任何可能需要区分大小写的地方,如前面的域名控制。
如果想让普通用户只在上班时间可以上网,而且是每周的工作日,用Squid应当如何处理呢?看看下面的ACL定义:
acl worktime time MTWHF 8:30-12:00 14:00-18:00
http_access deny !worktime
首先定义允许上网的时间是每周工作日(星期一至星期五)的上午和下午的固定时段,然后用http_access 定义所有不在这个时间段内的请求都是不允许的。
或者为了保证高级用户的带宽,希望每个用户的并发连接不能太多,以免影响他人,也可以通过Squid控制,代码如下:
acl conncount maxconn 3
http_access deny conncount normal
http_access allow normal
这样,普通用户在某个固定时刻只能同时发起三个连接,从第四个开始,连接将被拒绝。
总之,Squid的ACL配置非常灵活、强大,更多的控制方式可以参考squid.conf.default。
六、 认证
1、squid NCSA认证
用户/密码认证为Squid管理提供了更多便利,最常用的认证方式是NCSA。从Squid 2.5版本开始,NCSA认证包含在了basic中,而非以前单独的认证模块。下面来看看实现认证的具体操作。
首先在编译时配置选项应包括以下配置:
--enable-auth="basic" --enable-basic-auth-helpers="NCSA"
“make install”以后,需要将“helpers/basic_auth/NCSA/ncsa_auth”拷贝到用户可执行目录中,如/usr/bin(如 果在该目录中找不到这个执行文件,在编译时请使用make all而不是make,或者直接在该目录中执行make),然后需要借助Apache的密码管理程序htpasswd来生成用户名/密码对应的文件,就像 下面这行代码:
htpasswd -c /var/squid/etc/password guest
在输入两遍guest用户的密码后,一个guest用户就生成了。如果以后需要添加用户,把上面的命令去掉-c参数再运行即可。
[root@zhang squid-3.0.STABLE15]# cd /root/squid/squid-3.0.STABLE15/helpers/basic_auth/NCSA
[root@zhang NCSA]# make
将生成生成的执行文件ncsa_auth复制到squid执行文件目录
# cp ncsa_auth /usr/local/squid/bin
该选项指出了认证方式(basic)、需要的程序(ncsa_auth)和对应的密码文件(password)
auth_param basic program /usr/local/squid/bin/ncsa_auth /usr/local/squid/etc/password
指定认证程序的进程数
auth_param basic children 5
浏览器显示输入用户/密码对话框时的领域内容
auth_param basic realm Koncept proxy
基本的认证有效时间
auth_param basic credentialsttl 2 hours
普通用户需要通过认证才能访问Internet
acl normal proxy_auth REQUIRED
http_access allow normal
通过以上的配置即可完成认证工作。有的读者可能要问:认证只针对普通用户,而高级用户是直接上网的,该怎么处理呢?其实,这两种用户是可以共存的。
如 前所述,Squid是顺序处理http_access的,所以在http_access处理过程中,如果先处理normal用户,那么当前用户无论是否属 于高级用户,都会被要求进行认证;相反如果先处理高级用户,剩下的就只有需要认证的普通用户了。例如以下配置代码:
...
http_access allow normal (需要认证)
http_access allow advance (不需要认证)
...
不管是否为noauth用户,都要求进行用户名/密码验证。正确的方法是将二者位置交换,代码如下:
...
http_access allow advance
http_access allow normal
...
这时,高级用户不会受到任何影响。
2、Squid + mysql 认证
安装说明:如果以前用的是IPTABLES+SQUID做的透明代理,仍然要在浏览器中进行代理服务器设置,否则SQUID不能使用MYSQL认证!
关于squid和mysql的安装这里省略了!并确保你的系统中有squid用户:
[root@zhang NCSA]# groupadd squid
[root@zhang NCSA]# adduser -g squid -d /dev/null -s /sbin/nologin squid
编译mysql_auth
[root@zhang squid]# tar xzvf mysql_auth-0.8.tar.gz
[root@zhang squid]# cd mysql_auth-0.8
修改Makefile中的内容如下:
[root@zhang mysql_auth-0.8]# vi Makefile
CFLAGS = -I/usr/include/mysql -L/usr/lib/mysql
$(INSTALL) -o squid -g squid -m 755 mysql_auth /usr/local/squid/libexec/mysql_auth
$(INSTALL) -o squid -g squid -m 600 $(CONF) /usr/local/squid/etc/mysql_auth.conf
$(INSTALL) -o squid -g squid -m 600 $(CONF) /usr/local/squid/etc/mysql_auth.conf.default
修改src/define.h中的内容如下:
[root@zhang mysql_auth-0.8]# vi src/define.h
#define CONFIG_FILE "/usr/local/squid/etc/mysql_auth.conf"
#define DEF_MYSQLD_SOCKET "/var/lib/mysql/mysql.sock"
修改src/mysql_auth.conf中的内容如下:
[root@zhang mysql_auth-0.8]# vi src/mysql_auth.conf
mysqld_socket /var/lib/mysql/mysql.sock
[root@zhang mysql_auth-0.8]# make
[root@zhang mysql_auth-0.8]# make install
安装过程遇到的问题:
安装mysql_auth 8.0的时候出现错误。
[root@localhost mysql_auth-0.8]# make
gcc -I/usr/include -L/usr/lib/mysql -c -o src/mysql_auth.o src/mysql_auth.c
src/mysql_auth.c:24:25: mysql/mysql.h: No such file or directory
src/mysql_auth.c: In function `main':
src/mysql_auth.c:37: error: `MYSQL' undeclared (first use in this function)
src/mysql_auth.c:37: error: (Each undeclared identifier is reported only once
src/mysql_auth.c:37: error: for each function it appears in.)
src/mysql_auth.c:37: error: syntax error before "connect"
src/mysql_auth.c:38: error: `MYSQL_RES' undeclared (first use in this function)
src/mysql_auth.c:38: error: `result' undeclared (first use in this function)
src/mysql_auth.c:39: error: `MYSQL_ROW' undeclared (first use in this function)
src/mysql_auth.c:39: error: syntax error before "row"
src/mysql_auth.c:63: error: `connect' undeclared (first use in this function)
src/mysql_auth.c:184: error: `row' undeclared (first use in this function)
make: *** [src/mysql_auth.o] Error 1
更改/usr/include为/usr/include/mysql出现
[root@localhost mysql_auth-0.8]# make
gcc -o mysql_auth src/mysql_auth.c src/confparser.c -lmysqlclient -I/usr/include/mysql -L/usr/lib/mysql
/usr/bin/ld: cannot find -lmysqlclient
collect2: ld returned 1 exit status
make: *** [mysql_auth] Error 1
安装mysql-devel
创建用户数据库:
[root@zhang scripts]# mysql -uroot -p****** < create_script
创建用户:
[root@zhang scripts]# mypasswd zhang 123456
Password record UPDATED succesfully.
删除用户:
[root@zhang mysql_auth-0.8]# mypasswd -d zhang
Password record DELETED succesfully.
测试用户:
[root@zhang mysql_auth-0.8]# ./mysql_auth zhang
我测试的时候一直通不过,还没搞明白是怎么回事,但是可以正常验证!
在SQUID.CONF中增加MYSQL_AUTH认证
[root@zhang mysql_auth-0.8]# vi /usr/local/squid/etc/squid.conf
auth_param basic program /usr/local/squid/bin/mysql_auth
auth_param basic realm Squid caching server
auth_param basic children 5
auth_param basic credentialsttl 2 hours
acl password proxy_auth REQUIRED
http_access allow password
七、 客户端设置:
在你浏览器的代理服务器设置中填写SQUID服务器的IP和端口:
10.167.27.51:3128