©2020-2024 ioDraw All rights reserved,
Privacy Policy
测试服务器
硬件信息：
[root@catdb ~]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l 2
[root@catdb ~]# cat /proc/cpuinfo| grep "cpu cores"| uniq cpu cores : 6
[root@catdb ~]# cat /proc/cpuinfo| grep "processor"| wc -l 12 [root@catdb ~]#
cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 12 Intel(R) Xeon(R) CPU
E5-2603 v3 @ 1.60GHz [root@catdb ~]# free -m total used free shared buff/cache
available Mem: 15757 5056 938 1206 9762 9047 Swap: 32767 6765 26002
io性能：
[root@catdb bin]# time dd if=/root/ubuntu.tar of=test.file 2553093+0 records
in 2553093+0 records out 1307183616 bytes (1.3 GB) copied, 7.89118 s, 166 MB/s
real 0m7.906s user 0m0.454s sys 0m5.539s
表信息：
size： 1.12G num_rows：6,015,341 columns： 21
测试场景：全量抽取并加载至本库。同时kettle跟datax均在服务器上执行。
测试过程：
kettle的log： 2019/12/20 11:02:44 - Spoon - Transformation opened. 2019/12/20
11:02:44 - Spoon - Launching transformation [rcattest01]... 2019/12/20 11:02:44
- Spoon - Started the transformation execution. ......... 2019/12/20 11:05:33
- 表输入.0 - Finished reading query, closing connection. 2019/12/20 11:05:33 -
表输入.0 - Finished processing (I=6015341, O=0, R=0, W=6015341, U=0, E=0)
2019/12/20 11:05:33 - 表输出.0 - Finished processing (I=0, O=6015341, R=6015341,
W=6015341, U=0, E=0) 2019/12/20 11:05:33 - Spoon - The transformation has
finished!! dataxde的log: ......... 2019-12-20 11:19:24.851 [job-0] INFO
JobContainer - 任务启动时刻 : 2019-12-20 11:17:13 任务结束时刻
: 2019-12-20 11:19:24 任务总计耗时 :
131s 任务平均流量 : 8.90MB/s 记录写入速度
: 46271rec/s 读出记录总数 : 6015341 读写失败总数
: 0
测试结果：
kettle耗时167秒 VS datax耗时131秒。
600万条总计1.12G大小的表，datax比kettle快36秒。