假设我们要上线一个两年内不会宕机的先进架构。在上线前,免不了单元测试,功能测试,还有使用ab,webbench等等进行压力测试。
但这些步骤非生产环境下正式用户的行为。或许你会想到灰度上线,但毕竟可能会影响到部分用户,这怎么对得起我们两年内不宕机的承诺呢?
好在网易的 王斌 开发了tcpcopy, 可以导入线上流量进行功能和压力测试。
tcpcopy介绍
tcpcopy
是一种请求复制工具。可以将线上流量拷贝到测试机器,实时的模拟线上环境。在不影响线上用户的情况下,使用线上流量进行测试,以尽早发现bug。也可以通过放大流量,进行压力测试,评估系统承载能力。
tcpcopy
可以从线上服务器的IP
层抓取在线请求的数据包,修改相关属性,利用raw socket output
技术(packet injection
技术之一)将其发送给测试服务器进行测试。
发送到测试服务器的数据包会在TCP/IP
协议栈被识别,其中带有payload
(tcp data)的数据包最终进入到测试服务器的上层应用(如nginx),上层应用在处理完请求之后,将响应传递给测试服务器的TCP/IP
协议栈。
在测试服务器上启用ip_queue
模块,并使用iptables
在IP
层将响应结果数据包发往QUEUE(ip_queue
)。
测试服务器上运行在用户空间
的拦截程序(intercept进程),通过打开netlink
的socket接受内核通过ip_queue
所传递来的网络数据包(即上层应用的响应内容)进行裁定,将结果返回内核,进行出队列的操作。intercept进程默认会丢弃上层应用的响应内容,返回ip header,以释放tcp连接。
intercept进程也可以通过-x
(passlist)参数,不drop指定ip lists发出请求的响应内容。默认drop是为了:
减少出口带宽占用,节约成本不影响客户端(线上服务)的`TCP/IP`协议栈不会在互联网上产生ghost数据包
tcpcopy工作流程
如上图,tcpcopy拷贝一次流量访问的步骤如下:
① 一个访问到达线上前端机;② socket数据包在ip层被拷贝了一份传给tcpcopy进程;③ tcpcopy修改包的目的及源地址,发给目标测试机;④ 拷贝的包到达目标测试机;⑤ 目标测试机的nginx处理访问,并返回结果;⑥ 返回结果在ip层被截获、丢弃,由intercpet进程拷贝返回结果的ip header并返回;⑦ ip header被发送给线上前端机的tcpcopy进程。
安装和配置
tcpcopy有两种工作模式:
实时拷贝数据包通过使用tcpdump等抓包生成的文件进行离线(offline)请求重放
如果采用实时拷贝线上流程进行导入的方式,需要分别在线上服务器和测试服务器安装tcpcopy
,对于离线模式,只需要在测试服务器上安装tcpcopy
,编译时指定 --enable-offline
。
安装步骤如下:
wget https://github.com/wangbin579/tcpcopy/archive/0.9.0.tar.gz -O tcpcopy-0.9.0.tar.gz --no-check-certificate
tar zxvf tcpcopy-0.9.0.tar.gz
cd tcpcopy-0.9.0./autogen.sh
./configure --prefix=/usr/local/tcpcopy
make
sudo make install
目标测试机配置
线上服务器拷贝的数据包发送至测试服务器进行处理之后,测试服务器需要通过iptables
将响应结果发送至QUEUE(ip_queue
),这样测试服务器上运行的intercept
拦截进程才能通过打开的netlink
socket获取传递过来的数据包并进行裁定。所以测试服务器上需要开启iptables
防火墙,并启用内核模块ip_queue
modprobe ip_queue
/etc/init.d/iptables start
因为线上服务器需要和目标测试服务器通信,传递请求数据包和控制信息(封装的ip packet header),所以需要在测试服务器上添加相关iptables
防火墙规则。编辑/etc/sysconfig/iptables
,添加:
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 80-j ACCEPT
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 36524-j ACCEPT
然后重启iptables
/etc/init.d/iptables restart
接着执行:
iptables -I OUTPUT -p tcp --sport 80-j QUEUE
将响应结果发送至QUEUE(ip_queue
),从而实现运行在用户态的进程对相关数据包进行裁定。
相关使用
本文以线上和测试机的web服务都使用80端口,传递控制信息使用默认的36524端口为例。如果使用别的端口,记得修改相关iptables
防火墙规则。
离线 offline
1) 在线上服务器抓包
tcpdump -i eth0 tcp and port 80-s 0-w online.pcap
2) 将抓包生成的文件拷贝到测试服务器
3) 在测试服务器上进行执行如下命令进行重放
cd /usr/local/tcpcopy/bin
sudo ./intercept
sudo ./tcpcopy -i /path/online.pcap -x 80-10.16.12.11:80
tcpcopy -i <抓包文件地址>-x <port>-<本地ip>:<port>
在线实时复制 online
1) 在测试服务器上启动intercept
拦截进程
cd /usr/local/tcpcopy/bin
sudo ./intercept
2) 在线上服务器复制流量到测试服务器
cd /usr/local/tcpcopy/bin
sudo ./tcpcopy -x 80-10.16.12.11:80-c 10.16.12.12
tcpcopy -x 服务器应用端口号-测试服务器ip地址:测试服务器应用端口-c 本地服务器ip
reference:
[^1] https://github.com/wangbin579/tcpcopy
[^2] http://www.searchtb.com/2012/05/using-tcpcopy-to-simulate-traffic.html
[^3] http://hi.baidu.com/yacker/item/e6bd5b287fe5a3f150fd8731
相关推荐
为了能够更真实的测试,我们开发了一款线上流量复制工具-TCPCopy,它可以使用线上真实的流量来对测试环境中的服务器进行测试。目前,TcpCopy技术已经在中国很多公司大量使用。 二、使用场景: 1)分布式压力测试 ...
tcpcopy可以用于实时和离线回放领域,并且tcpcopy支持mysql协议的复制,开源二年以来,功能上越来越完善。 如果你对上线没有信心,如果你的单元测试不够充分,如果你对新系统不够有把握,如果你对未来的请求压力...
Tcpcopy是一个分布式在线压力测试工具,可以将线上流量拷贝到测试机器,实时的模拟线上环境,达到在程序不上线的情况下实时承担线上流量的效果,尽早发现bug,增加上线信心。 与传统的压力测试工具(如:abench)...
NULL 博文链接:https://aigo-h.iteye.com/blog/2018741
tcpcopy可以用于实时和离线回放领域,并且tcpcopy支持mysql协议的复制,开源二年以来,功能上越来越完善。 如果你对上线没有信心,如果你的单元测试不够充分,如果你对新系统不够有把握,如果你对未来的请求压力...
使用tcpcopy进行压力测试时如何查看压力情况。使用tcpcopy进行压力测试的时候如何查看压力是否上来?其实这个疑问我最初的时候就已经有了。关于性能测试,我的理解是用工具产生压力后首先要做的是要查看压力是否上来...
tcpcopy是一种应用请求复制(基于tcp的packets)工具,其应用领域较广,目前已经应用于国内各大互联网公司。
TCPCopy部署文档
宽带连接数测试工具,宽带压力测试工具,宽带TCP测试工具
TCP压力测试工具
linux tcp服务器压力测试linux tcp服务器压力测试linux tcp服务器压力测试
tcpcopy的四大功能: tcpcopy是一个基于底层的应用请求复制(所有基于tcp的packets)开源项目,可用于替代ab做在线模拟压力测试,可转发各种在线请求到测试服务器上,进行较为详尽的近乎实际的测试,从而避免了新...
JMeter 之TCP服务器并发压力测试,图文详细介绍,傻瓜式操作。
tcpcopy:在线请求复制工具,也是tcp流重播工具,适用于真实测试,性能测试,稳定性测试,压力测试,负载测试,冒烟测试等
可以模拟出上千次的socket链接,对服务器进行压力测试,短小精悍。凑齐50个字不容易,由原来的7分降到3分
TCP&UDP测试工具使用教程,TCP&UDP工具集功能强大与简单易用为一体,是无需安装的免费绿色软件。她可以帮助网络编程人员、网络维护人员检查所开发的网络应用软硬件的通信状况。
程序中对突破最大连接办法和G-Sockets(压力测试工具源码)进行了公开,内部包括了一个基于完成端口的Tcp客户端通讯模块,编写代码时做以下说明: 一、使用G-TcpClient模块 二、可以设定间隔时间发起大规模长、短...
concurrent-tcp-client 可以在 TCP socket 创建大型并发请求,作为压力测试。 标签:concurrent 压力测试