对于centos7安装sqoop1.4.7感兴趣的读者，本文将会是一篇不错的选择，我们将详细介绍centos7安装gcc9，并为您提供关于CentOS5.6下利用Sqoop将hive数据导入导出数据到

对于centos 7 安装sqoop 1.4.7感兴趣的读者，本文将会是一篇不错的选择，我们将详细介绍centos 7 安装gcc9，并为您提供关于CentOS 5.6下利用Sqoop将hive数据导入导出数据到MySQL、Centos 5.x 升级 python2.7，安装setuptools、mysqldb 完整记录、Centos 6.3 源码编译安装sqlite、CentOS 6.5上安装squid 3.0的有用信息。

• centos 7 安装sqoop 1.4.7（centos 7 安装gcc9）
• CentOS 5.6下利用Sqoop将hive数据导入导出数据到MySQL
• Centos 5.x 升级 python2.7，安装setuptools、mysqldb 完整记录
• Centos 6.3 源码编译安装sqlite
• CentOS 6.5上安装squid 3.0

centos 7 安装sqoop 1.4.7（centos 7 安装gcc9）

cd /home/workspace
wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
tar -xzvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
cd sqoop-1.4.7.bin__hadoop-2.6.0/conf
mv sqoop-env-template.sh  sqoop-env.sh

vim  sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/hadoop-2.7.3
export HADOOP_MAPRED_HOME=/opt/hadoop-2.7.3
export HIVE_HOME=/home/workspace/apache-hive-2.3.4-bin

vim /etc/profile

#Sqoop
export SQOOP_HOME=/home/workspace/sqoop-1.4.7.bin__hadoop-2.6.0
export PATH=$PATH:$SQOOP_HOME/bin

CentOS 5.6下利用Sqoop将hive数据导入导出数据到MySQL

运行环境 CentOS 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出

首页 → 数据库技术

背景：

centos 5.6下利用sqoop将hive数据导入导出数据到mysql

[日期：2011-08-24] 来源：Linux社区  作者：jiedushi [字体：]

运行环境  CentOS 5.6   Hadoop  hive

sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具

相关阅读：Sqoop配置安装

1  首先安装sqoop,如果你使用的是clouder分发版的话就非常简单 

   # yum install sqoop

  如果用官方版本的话

   # cd /etc/yum.repos.d

   # wget

   # yum -y install sqoop

   sqoop就会安装完成

2  使用sqoop

   首先将mysql-connector-java-5.1.16-bin.jar文件复制到/usr/lib/sqoop/lib文件夹下

   列出mysql数据库中的所有数据库命令

  #  sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456

   连接mysql并列出数据库中的表命令

   # sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456

   命令中的test为mysql数据库中的test数据库名称  username password分别为mysql数据库的用户密码

 将关系型数据的表结构复制到hive中
 sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table username --username root --password 123456 --hive-table test
其中 --table username为mysql中的数据库test中的表   --hive-table test 为hive中新建的表名称

MySQL 主从同步错误（error）解决

Sqoop配置安装

相关资讯       mysql  Sqoop 

图片资讯      

本文评论 　　查看全部评论 (1)

评论声明

第 1 楼

最新资讯

本周热门

Linux公社简介 - 广告服务 - 网站地图 - 帮助信息 - 联系我们
本站（LinuxIDC）所刊载文章不代表同意其说法或描述，仅为提供更多信息，，也不构成任何建议。


Copyright © 2006-2011　Linux公社　All rights reserved 浙ICP备06018118号

Centos 5.x 升级 python2.7，安装setuptools、mysqldb 完整记录

最近由于有个工作任务需要搭个虚拟机环境，但是环境是搭建在内网，无法直接联网，很多软件都不能直接yum安装，

安装过程实在十分不顺利，在此留个记录给有需要的朋友。

环境是 CentOS 5.7 x64

请选择合适的方式，下载python2.7.3安装包

http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tar.bz2

安装前当然需要编译器gcc

[html] view plaincopy

1. yum install gcc  

为了安装setuptools，要需要安装zlib

[html] view plaincopy

1. yum install zlib zlib-dev  

解压安装python2.7

[html] view plaincopy

1. tar jxvf Python-2.7.3.tar.bz2  

2. cd Python-2.7.3  

3. ./configure  

4. make && make instal  

这里请注意：

上面这一步是正常步骤，但是在centos5.7环境中，当你执行setuptools时可能会有以下报错：

[html] view plaincopy

1. Traceback (most recent call last):  

2.   File "<string>", line 1, in <module>  

3. zipimport.ZipImportError: can''t decompress data; zlib not available  

解决方法是在上面的configure之后，编辑Modules/Setup文件 

找到下面这句，去掉注释 

[html] view plaincopy

1. #zlib zlibmodule.c -I$(prefix)/include -L$(exec_prefix)/lib -lz   

重新编译安装：

[html] view plaincopy

1. make & make install   

把系统自带的2.4移除（依然会保留2.4版本：/usr/bin/python2.4）

[html] view plaincopy

1. rm -f /usr/bin/python  

把python执行软连接连接到2.7

[html] view plaincopy

1. ln -s /usr/local/bin/python2.7 /usr/bin/python  

编辑yum命令，把路径指明为2.4，因为yum必须基于2.4版本

[html] view plaincopy

1. sed -ie ''s#/usr/bin/python$#/usr/bin/python2.4#g'' /usr/bin/yum   

对应python2.7.3版本的是

http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11-py2.7.egg

下载后，执行

[html] view plaincopy

1. sh setuptools-0.6c11-py2.7.egg  

到了 sh setuptools-0.6c11-py2.7.egg  这一步就出现面的错误了，

setuptools-0.6c11-py2.7.egg: line 3: exec: python2.7: not found

解决方法：

 ln -s /usr/local/python27/bin/python /usr/bin/

.bashrc

export PATH=$PATH:/usr/local/python27/bin

出现以下信息表示成功

[html] view plaincopy

1. Processing setuptools-0.6c11-py2.7.egg  

2. Copying setuptools-0.6c11-py2.7.egg to /usr/local/lib/python2.7/site-packages  

3. Adding setuptools 0.6c11 to easy-install.pth file  

4. Installing easy_install script to /usr/local/bin  

5. Installing easy_install-2.7 script to /usr/local/bin  

6.   

7. Installed /usr/local/lib/python2.7/site-packages/setuptools-0.6c11-py2.7.egg  

8. Processing dependencies for setuptools==0.6c11  

9. Finished processing dependencies for setuptools==0.6c11  

安装mysql相关包

[html] view plaincopy

1. yum install MySQL-devel MySQL-client MySQL-shared-compat MySQL-shared  

下载好mysqldb

[html] view plaincopy

1. tar xvzf MySQL-python-1.2.3.tar.gz  

2. cd MySQL-python-1.2.3  

3. vim site.cfg  

4. 把上面的mysql_config路径注释删除以及改成实际路径，如果不知道mysql_config在哪里，运行命令：whereis mysql_config  

5. python setup.py install  

安装mysqldb老是报错：

[html] view plaincopy

1. running build  

2. running build_py  

3. copying MySQLdb/release.py -> build/lib.linux-x86_64-2.7/MySQLdb  

4. running build_ext  

5. building ''_mysql'' extension  

6. gcc -pthread -fno-strict-aliasing -g -O2 -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -fPIC -Dversion_info=(1,2,3,''final'',0) -D__version__=1.2.3 -I/usr/include/mysql -I/usr/local/include/python2.7 -c _mysql.c -o build/temp.linux-x86_64-2.7/_mysql.o -g -pipe -m64 -fPIC -g -static-libgcc -fno-omit-frame-pointer -fno-strict-aliasing -DMY_PTHREAD_FASTMUTEX=1  

7. 在包含自 _mysql.c：36 的文件中:  

8. /usr/include/mysql/my_config.h:422:1: 警告：“HAVE_WCSCOLL”重定义  

9. 在包含自 /usr/local/include/python2.7/Python.h：8 的文件中，  

10.                  从 pymemcompat.h：10，  

11.                  从 _mysql.c：29:  

12. /usr/local/include/python2.7/pyconfig.h:890:1: 警告：这是先前定义的位置  

13. gcc -pthread -shared build/temp.linux-x86_64-2.7/_mysql.o -L/usr/lib64 -lmysqlclient -lpthread -lm -lrt -ldl -o build/lib.linux-x86_64-2.7/_mysql.so  

14. /usr/bin/ld: cannot find -lmysqlclient  

15. collect2: ld 返回 1  

说找不到 mysqlclient ，真心不可能，我把mysql-devel 、 mysql-client、mysql-shared都装上了。

只好从系统查找该文件，再建立软连接

[html] view plaincopy

1. find / -name ''libmysqlclient.so.*''  

2. /usr/lib64/libmysqlclient.so.14  

3. /usr/lib64/libmysqlclient.so.12  

4. /usr/lib64/libmysqlclient.so.14.0.0  

5. /usr/lib64/libmysqlclient.so.12.0.0  

6. /usr/lib64/libmysqlclient.so.16  

7. /usr/lib64/libmysqlclient.so.15  

8. /usr/lib64/libmysqlclient.so.15.0.0  

9. /usr/lib64/libmysqlclient.so.16.0.0  

建立软连接

[html] view plaincopy

1. ln -s /usr/lib64/libmysqlclient.so.16.0.0 /usr/lib/libmysqlclient.so  

再次install 

[html] view plaincopy

1. python setup.py install  

如果这个步骤没有报错，表示基本完成

进入python命令行模式

[html] view plaincopy

1. python  

再import MySQLdb，注意大小写呢

[html] view plaincopy

1. Python 2.7.3 (default, Dec 10 2012, 14:33:49)  

2. [GCC 4.1.2 20080704 (Red Hat 4.1.2-51)] on linux2  

3. Type "help", "copyright", "credits" or "license" for more information.  

4. >>> import MySQLdb  

5. /usr/local/lib/python2.7/site-packages/MySQL_python-1.2.3-py2.7-linux-x86_64.egg/_mysql.py:3: UserWarning: Module _mysql was already imported from /usr/local/lib/python2.7/site-packages/MySQL_python-1.2.3-py2.7-linux-x86_64.egg/_mysql.pyc, but /home/soft/MySQL-python-1.2.3 is being added to sys.path  

完成！

Centos 6.3 源码编译安装sqlite

系统版本：Centos6.3

sqlite版本(最新) ：4.8.04

下载地址http://www.sqlite.org/2014/sqlite-autoconf-3080403.tar.gz

编译安装sqlite

wget http://www.sqlite.org/2014/sqlite-autoconf-3080403.tar.gz
tar -zxf sqlite-autoconf-3080403.tar.gz
cd sqlite-autoconf-3080403
./configure --prefix=/home/sqlite
make && make install

如果是在自己电脑上下载好的源码包，需要传到linux服务机中，可以使用 rz 命令上传压缩包

如果输入 rz 提示 -bash: rz: command not found

使用 yum 安装 rz：yum -y install lrzsz

CentOS 6.5上安装squid 3.0

一、准备工作

[root@squid ~]# iptables -L -n

Chain INPUT (policy ACCEPT)

target prot opt source destination

Chain FORWARD (policy ACCEPT)

target prot opt source destination

Chain OUTPUT (policy ACCEPT)

target prot opt source destination

[root@squid ~]# getenforce

disabled

[root@squid ~]# hostname

squid.contoso.com

[root@squid ~]# crontab -l

0 * * * * /usr/sbin/ntpdate 210.72.145.44 64.147.116.229 time.nist.gov

[root@squid ~]#yum -y install gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib-devel bzip2 bzip2-devel ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb krb5-devel libidn libidn-devel openssl openssl-devel make gcc-c++ cmake bison-devel ncurses-devel

二、编译安装squid

mkdir-p/opt/tools
cd/opt/tools/
wgethttp://www.squid-cache.org/Versions/v3/3.0/squid-3.0.STABLE20.tar.gz
tar-zxfsquid-3.0.STABLE20.tar.gz
cdsquid-3.0.STABLE20

./configure--prefix=/usr/local/squid\
--enable-async-io=100\
--with-pthreads\
--enable-storeio="aufs,diskd,ufs"\
--enable-removal-policies="heap,lru"\
--enable-icmp\
--enable-delay-pools\
--enable-useragent-log\
--enable-referer-log\
--enable-kill-parent-hack\
--enable-cachemgr-hostname=localhost\
--enable-arp-acl\
--enable-default-err-language=English\
--enable-err-languages="Simplify_ChineseEnglish"\
--disable-poll\
--disable-wccp\
--disable-wccpv2\
--disable-ident-lookups\
--disable-internal-dns\
--enable-basic-auth-helpers="NCSA"\
--enable-stacktrace\
--with-large-files\
--disable-mempools\
--with-filedescriptors=64000\
--enable-ssl\
--enable-x-accelerator-vary\
--disable-snmp\
--with-aio\
--enable-linux-netfilter\
--enable-linux-tproxy

make
makeinstall

三、配置squid

useradd -s /sbin/nologin -M squid #创建squid用户

cd /usr/local/squid/etc/

[root@squid etc]# tree -d -L 2 /usr/local/squid #安装完squid之后默认创建的目录

/usr/local/squid

├── bin

├── etc

├── libexec

├── sbin

├── share

│ ├── errors

│ ├── icons

│ └── man

└── var

└── logs

10 directories

squid安装后的目录说明：

sbin/squid: squid的主程序

bin: bin目录包含对所有用户可用的程序

bin/runcache: runcache是一个shell脚本，可以用它来启动squid。假如squid死掉，该脚本自动重启它，除非它检测到经常的重启。

bin/RunAccel: RunAccel与runcache几乎一致，唯一的不同是它增加了一个命令行参数，告诉squid在哪里侦听HTTP请求。

bin/squidclient： squidclient是个简单的HTTP客户端程序，可以用它来测试squid。它也有一些特殊功能，用来对运行的squid进程发起管理请求。

libexec：libexec目录包含了辅助程序，有一些命令无法正常的启动。然而，这些程序通常被其他程序启动。

libexec/unlinkd：unlinkd是一个辅助程序，它从cache目录里删除文件。

libexec/cachemgr.cgi：cachemgr.cgi是squid管理功能的CGI接口。要使用它需要把它拷贝到你的WEB服务器的cgi-bin目录。

libexec/diskd(optional)：如果指定了--enable-storeio=diskd，才能看到它

libexec/pinger(optional)：如果指定了--enable-icmp，才能看到它

etc：etc目录包含了squid的配置文件

etc/squid.conf：这是squid的主配置文件

var: var目录包含了不是很重要的和经常变化的文件，这些文件不必正常的备份它们。

var/logs：该目录是squid不同日志文件的默认位置，当你第一次安装squid时，它是空的。一旦squid开始运行，你能在这里看到名字为access.log，cache.log和store.log这样的文件。

var/cache：假如你不在squid.conf文件里指定，这是默认的缓存目录(cache_dir)。

[root@squid etc]# diff squid.conf.default squid.conf #默认情况下就有一个squid.conf的备份

[root@squid etc]# vi squid.conf

[root@squid etc]# diff squid.conf.default squid.conf

1710c1710

< # cache_dir ufs /usr/local/squid/var/cache 100 16 256

---

> cache_dir ufs /usr/local/squid/var/cache 100 16 256 #取消cache_dir的注释

1889c1889

< # cache_log /usr/local/squid/var/logs/cache.log

---

> cache_log /usr/local/squid/var/logs/cache.log #启用cache_log

1899c1899

< # cache_store_log /usr/local/squid/var/logs/store.log

---

> cache_store_log /usr/local/squid/var/logs/store.log #启用cache_store_log

2912c2912

< # cache_mgr webmaster

---

> cache_mgr admin@contoso.com #设置cache管理员邮箱

2941c2941

< # cache_effective_user nobody

---

> cache_effective_user squid #设置squid用户

2961a2962

> cache_effective_group squid #设置squid组

2977a2979

> visible_hostname cache1.contoso.com #设置可见的主机名，如果不设置会报错

[root@squid etc]# chown -R squid:squid/usr/local/squid/var/logs

[root@squid etc]# /usr/local/squid/sbin/squid -k parse #测试squid的配置文件语法是否正确

2016/10/15 09:09:01| Processing Configuration File: /usr/local/squid/etc/squid.conf (depth 0)

2016/10/15 09:09:01| Initializing https proxy context

# 上面的结果说明配置文件正确

[root@squid etc]# chown -R squid:squid /usr/local/squid/var/

[root@squid etc]# /usr/local/squid/sbin/squid -z #对cache目录进行初始化

2016/10/15 09:13:14| Creating Swap Directories

2016/10/15 09:13:14| Making directories in /usr/local/squid/var/cache/00

2016/10/15 09:13:14| Making directories in /usr/local/squid/var/cache/01

2016/10/15 09:13:14| Making directories in /usr/local/squid/var/cache/02

2016/10/15 09:13:14| Making directories in /usr/local/squid/var/cache/03

2016/10/15 09:13:14| Making directories in /usr/local/squid/var/cache/04

2016/10/15 09:13:14| Making directories in /usr/local/squid/var/cache/05

2016/10/15 09:13:14| Making directories in /usr/local/squid/var/cache/06

2016/10/15 09:13:14| Making directories in /usr/local/squid/var/cache/07

2016/10/15 09:13:14| Making directories in /usr/local/squid/var/cache/08

2016/10/15 09:13:14| Making directories in /usr/local/squid/var/cache/09

2016/10/15 09:13:14| Making directories in /usr/local/squid/var/cache/0A

2016/10/15 09:13:14| Making directories in /usr/local/squid/var/cache/0B

2016/10/15 09:13:14| Making directories in /usr/local/squid/var/cache/0C

2016/10/15 09:13:14| Making directories in /usr/local/squid/var/cache/0D

2016/10/15 09:13:14| Making directories in /usr/local/squid/var/cache/0E

2016/10/15 09:13:14| Making directories in /usr/local/squid/var/cache/0F

下面看一下初始化的结果：

[root@squid etc]# ll /usr/local/squid/var/cache/

total 64

drwxr-x--- 258 squid squid 4096 Oct 15 09:13 00

drwxr-x--- 258 squid squid 4096 Oct 15 09:13 01

drwxr-x--- 258 squid squid 4096 Oct 15 09:13 02

drwxr-x--- 258 squid squid 4096 Oct 15 09:13 03

drwxr-x--- 258 squid squid 4096 Oct 15 09:13 04

drwxr-x--- 258 squid squid 4096 Oct 15 09:13 05

drwxr-x--- 258 squid squid 4096 Oct 15 09:13 06

drwxr-x--- 258 squid squid 4096 Oct 15 09:13 07

drwxr-x--- 258 squid squid 4096 Oct 15 09:13 08

drwxr-x--- 258 squid squid 4096 Oct 15 09:13 09

drwxr-x--- 258 squid squid 4096 Oct 15 09:13 0A

drwxr-x--- 258 squid squid 4096 Oct 15 09:13 0B

drwxr-x--- 258 squid squid 4096 Oct 15 09:13 0C

drwxr-x--- 258 squid squid 4096 Oct 15 09:13 0D

drwxr-x--- 258 squid squid 4096 Oct 15 09:13 0E

drwxr-x--- 258 squid squid 4096 Oct 15 09:13 0F

[root@squid ~]# ls /usr/local/squid/var/cache/00/

00 0C 18 24 30 3C 48 54 60 6C 78 84 90 9C A8 B4 C0 CC D8 E4 F0 FC

01 0D 19 25 31 3D 49 55 61 6D 79 85 91 9D A9 B5 C1 CD D9 E5 F1 FD

02 0E 1A 26 32 3E 4A 56 62 6E 7A 86 92 9E AA B6 C2 CE DA E6 F2 FE

03 0F 1B 27 33 3F 4B 57 63 6F 7B 87 93 9F AB B7 C3 CF DB E7 F3 FF

04 10 1C 28 34 40 4C 58 64 70 7C 88 94 A0 AC B8 C4 D0 DC E8 F4

05 11 1D 29 35 41 4D 59 65 71 7D 89 95 A1 AD B9 C5 D1 DD E9 F5

06 12 1E 2A 36 42 4E 5A 66 72 7E 8A 96 A2 AE BA C6 D2 DE EA F6

07 13 1F 2B 37 43 4F 5B 67 73 7F 8B 97 A3 AF BB C7 D3 DF EB F7

08 14 20 2C 38 44 50 5C 68 74 80 8C 98 A4 B0 BC C8 D4 E0 EC F8

09 15 21 2D 39 45 51 5D 69 75 81 8D 99 A5 B1 BD C9 D5 E1 ED F9

0A 16 22 2E 3A 46 52 5E 6A 76 82 8E 9A A6 B2 BE CA D6 E2 EE FA

0B 17 23 2F 3B 47 53 5F 6B 77 83 8F 9B A7 B3 BF CB D7 E3 EF FB

[root@squid ~]# ls /usr/local/squid/var/cache/00/ |wc -l

256

也就是根据在squid.conf文件配置的cache_dir ufs /usr/local/squid/var/cache 100 16 256，一共在cache_dir中生成16个目录，每个目录下又生成256个目录。

下面启动squid：

[root@squid etc]# /usr/local/squid/sbin/squid -N -d1 #启动squid（前台启动）

2016/10/15 09:15:14| Starting Squid Cache version 3.0.STABLE20 for x86_64-unkNown-linux-gnu...

2016/10/15 09:15:14| Process ID 21815

2016/10/15 09:15:14| With 64000 file descriptors available

2016/10/15 09:15:14| Performing DNS Tests...

2016/10/15 09:15:14| Successful DNS name lookup tests...

2016/10/15 09:15:14| helperOpenServers: Starting 5/5 'dnsserver' processes

2016/10/15 09:15:14| User-Agent logging is disabled.

2016/10/15 09:15:14| Referer logging is disabled.

2016/10/15 09:15:14| Unlinkd pipe opened on FD 14

2016/10/15 09:15:14| Swap maxSize 102400 + 8192 KB,estimated 8507 objects

2016/10/15 09:15:14| Target number of buckets: 425

2016/10/15 09:15:14| Using 8192 Store buckets

2016/10/15 09:15:14| Max Mem size: 8192 KB

2016/10/15 09:15:14| Max Swap size: 102400 KB

2016/10/15 09:15:14| Rebuilding storage in /usr/local/squid/var/cache (DIRTY)

2016/10/15 09:15:14| Using Least Load store dir selection

2016/10/15 09:15:14| Set Current Directory to /usr/local/squid/var/cache

2016/10/15 09:15:14| Loaded Icons.

2016/10/15 09:15:14| Accepting HTTP connections at 0.0.0.0,port 3128,FD 15.

2016/10/15 09:15:14| Accepting ICP messages at 0.0.0.0,port 3130,FD 16.

2016/10/15 09:15:14| HTCP disabled.

2016/10/15 09:15:14| Pinger socket opened on FD 18

2016/10/15 09:15:14| Ready to serve requests.

2016/10/15 09:15:15| Done scanning /usr/local/squid/var/cache swaplog (0 entries)

2016/10/15 09:15:15| Finished rebuilding storage from disk.

2016/10/15 09:15:15| 0 Entries scanned

2016/10/15 09:15:15| 0 Invalid entries.

2016/10/15 09:15:15| 0 With invalid flags.

2016/10/15 09:15:15| 0 Objects loaded.

2016/10/15 09:15:15| 0 Objects expired.

2016/10/15 09:15:15| 0 Objects cancelled.

2016/10/15 09:15:15| 0 Duplicate URLs purged.

2016/10/15 09:15:15| 0 Swapfile clashes avoided.

2016/10/15 09:15:15| Took 0.99 seconds ( 0.00 objects/sec).

2016/10/15 09:15:15| Beginning Validation Procedure

2016/10/15 09:15:15| Completed Validation Procedure

2016/10/15 09:15:15| Validated 25 Entries

2016/10/15 09:15:15| store_swap_size = 0

2016/10/15 09:15:15| storeLateRelease: released 0 objects

2016/10/15 09:55:14| NETDB state saved; 0 entries,0 msec

2016/10/15 10:36:54| NETDB state saved; 0 entries,0 msec

查看一下监听端口：

[root@squid ~]# netstat -tunlp|grep squid

tcp 0 0 0.0.0.0:3128 0.0.0.0:* LISTEN 21815/squid

udp 0 0 0.0.0.0:3130 0.0.0.0:* 21815/squid

[root@squid ~]# lsof -i :3128

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

squid 21815 squid 15u IPv4 36097 0t0 TCP *:squid (LISTEN)

四、简单的测试

由于上面的配置只是简单的一个正向代理的配置，所以这里使用IE浏览器进行代理连接测试。

首先，打开IE浏览器的浏览器选项，在连接选项卡中点击局域网设置。

在代理服务器中输入squid服务器的IP和端口，确定，然后打开百度进行刷新。

为了确定是否是从squid代理进行浏览网页，我清空了squid的access.log，然后再进行跟踪，下面是详细的日志信息：

[root@squid ~]# > /usr/local/squid/var/logs/access.log

[root@squid ~]# tail -f /usr/local/squid/var/logs/access.log

1476545163.478 214 192.168.49.1 TCP_MISS/200 48583 CONNECT www.baidu.com:443 - DIRECT/14.215.177.38 -

1476545163.545 69 192.168.49.1 TCP_MISS/200 12924 CONNECT ss0.baidu.com:443 - DIRECT/119.146.74.33 -

1476545163.547 74 192.168.49.1 TCP_MISS/200 12252 CONNECT ss2.baidu.com:443 - DIRECT/119.146.74.33 -

1476545163.613 131 192.168.49.1 TCP_MISS/200 618 CONNECT ss0.bdstatic.com:443 - DIRECT/119.146.74.32 -

1476545163.635 161 192.168.49.1 TCP_MISS/200 1151 CONNECT ss0.bdstatic.com:443 - DIRECT/119.146.74.32 -

1476545163.636 163 192.168.49.1 TCP_MISS/200 1135 CONNECT ss0.bdstatic.com:443 - DIRECT/119.146.74.32 -

1476545163.751 277 192.168.49.1 TCP_MISS/200 1103 CONNECT ss0.bdstatic.com:443 - DIRECT/119.146.74.32 -

1476545164.094 622 192.168.49.1 TCP_MISS/200 1087 CONNECT ss0.bdstatic.com:443 - DIRECT/119.146.74.32 -

1476545164.094 618 192.168.49.1 TCP_MISS/200 1055 CONNECT ss0.bdstatic.com:443 - DIRECT/119.146.74.32 -

1476545164.094 622 192.168.49.1 TCP_MISS/200 1524 CONNECT ss0.bdstatic.com:443 - DIRECT/119.146.74.32 -

1476545164.095 480 192.168.49.1 TCP_MISS/200 1684 CONNECT ss1.bdstatic.com:443 - DIRECT/119.146.74.32 -

1476545164.095 460 192.168.49.1 TCP_MISS/200 3139 CONNECT ss1.bdstatic.com:443 - DIRECT/119.146.74.32 -

1476545164.444 107 192.168.49.1 TCP_MISS/200 634 CONNECT sp3.baidu.com:443 - DIRECT/14.215.177.37 -

1476545223.537 60061 192.168.49.1 TCP_MISS/200 15152 CONNECT ss1.baidu.com:443 - DIRECT/119.146.74.33 -

1476545223.549 60076 192.168.49.1 TCP_MISS/200 1156 CONNECT ss0.bdstatic.com:443 - DIRECT/119.146.74.32 -

1476545223.555 60079 192.168.49.1 TCP_MISS/200 9479 CONNECT ss1.baidu.com:443 - DIRECT/119.146.74.33 -

1476545223.738 60100 192.168.49.1 TCP_MISS/200 2238 CONNECT ss1.bdstatic.com:443 - DIRECT/119.146.74.32 -

1476545224.154 60606 192.168.49.1 TCP_MISS/200 1625 CONNECT ss0.bdstatic.com:443 - DIRECT/119.146.74.32 -

1476545224.154 60606 192.168.49.1 TCP_MISS/200 1657 CONNECT ss0.bdstatic.com:443 - DIRECT/119.146.74.32 -

1476545224.376 60236 192.168.49.1 TCP_MISS/200 25575 CONNECT www.baidu.com:443 - DIRECT/14.215.177.37 -

1476545224.437 60109 192.168.49.1 TCP_MISS/200 953 CONNECT www.baidu.com:443 - DIRECT/14.215.177.38 -

1476545258.936 95184 192.168.49.1 TCP_MISS/200 3736 CONNECT sp0.baidu.com:443 - DIRECT/14.215.177.38 -

1476545258.994 78103 192.168.49.1 TCP_MISS/200 1742 CONNECT sp1.baidu.com:443 - DIRECT/14.215.177.37 -

五、其他

把squid命令路径添加到系统环境变量：

echo 'PATH=/usr/local/squid/sbin:/usr/local/squid/bin:$PATH' >> /etc/profile

source /etc/profile

让squid在后台运行：

/usr/local/squid/sbin/squid -D

将squid添加到开机启动：

echo '/usr/local/squid/sbin/squid -D' >>/etc/rc.local

squid启动脚本：

#!/bin/bash

# chkconfig: 345 88 14

# description: squid Daemon

case "$1" in

start)

/usr/local/squid/sbin/squid -D

;;

stop) /usr/local/squid/sbin/squid -k shutdown

;;

restart)

/usr/local/squid/sbin/squid -k reconfigure

;;

parse)

/usr/local/squid/sbin/squid -k parse

;;

check)

/usr/local/squid/sbin/squid -k check

;;

*)

echo "Usage: $0 start|stop|restart|check|parse"

;;

esac

配置squid日志轮询：

/usr/local/squid/sbin/squid -k rotate

配置squid日志切割：

1）添加定时任务：

0 0 * * * /bin/sh /opt/tools/rotate_squid.sh >/dev/null 2>&1

2）rotate_squid.sh脚本的内容如下：

cd /usr/local/squid/var/logs

[ -f access.log ] && mv access.log access_$(date +%F).log

/usr/local/squid/sbin/squid -k rotate

今天关于centos 7 安装sqoop 1.4.7和centos 7 安装gcc9的讲解已经结束，谢谢您的阅读，如果想了解更多关于CentOS 5.6下利用Sqoop将hive数据导入导出数据到MySQL、Centos 5.x 升级 python2.7，安装setuptools、mysqldb 完整记录、Centos 6.3 源码编译安装sqlite、CentOS 6.5上安装squid 3.0的相关知识，请在本站搜索。