返回首页
当前位置: 主页>Flash存储开发>

存储方式与介质对性能的影响

时间:2018-01-13 02:27来源:USB开发群 作者:USB开发频道 点击:

  

数据的存储方式对应用程序的整体性能有着极大的影响。对数据的存取,是顺利读写还是随机读写?将数据放磁盘上还将数据放flash卡上?多线程读写对性能影响?面对着多种数据存储方式,我们如何选择?本文给大家提供了一份不同存储模式下的性能测试数据,方便大家在今后的程序开发过程中可以利用这份数据选择合适的数据存储模式。 copyright dedecms

TAG 本文来自织梦

存储性能,innodb性能,存储介质

织梦内容管理系统

目录

目录… 1

copyright dedecms

简介… 1

copyright dedecms

存储性能分析… 2

内容来自dedecms

测试程序说明:… 2

织梦内容管理系统

存储测试数据:… 2 内容来自dedecms

Mysql innodb性能测试… 4

本文来自织梦

Mysql(InnoDB)刷盘策略… 6 dedecms.com

c/s模式通信性能… 6

dedecms.com

直接文件存储… 7 copyright dedecms

文件IO方式… 7

内容来自dedecms

完全随机写还是跳跃,5倍的性能差距… 8

dedecms.com

多线程随机读、处理速度、响应时间… 9

织梦好,好织梦

系统缓存… 10

copyright dedecms

系统缓存相关的几个内核参数… 10

本文来自织梦

dirty页的write back. 10 内容来自dedecms

总结… 11

copyright dedecms

简介

数据的存储方式对应用程序的整体性能有着极大的影响。对数据的存取,是顺利读写还是随机读写?将数据放磁盘上还将数据放flash卡上?多线程读写对性能影响?面对着多种数据存储方式,我们如何选择? dedecms.com

本文会对不同存储方式做详细的性能测试,以提供给大家一份不同存储方式下的性能测试数据为主,同时会简单介绍各种存储方式之间的性能差异。

内容来自dedecms

存储性能分析

影响储存速度有各个方面的原因,包括存储介质、读写盘方式以及硬件环境对读写盘时的影响。这里主要分享存储速度的一些调研结果。 内容来自dedecms

硬件环境如下:

CPU:      INTER Nehalem E5620 2.4GHZx2 copyright dedecms

内存:     PC-8500 4GB*8

织梦内容管理系统

硬盘:     300G 10k*2, RAID:1

copyright dedecms

Flash:    SSD 160GB_MLC X25-M G2×6 织梦内容管理系统

网卡:     千兆

本文来自织梦

数据量:117G

内容来自dedecms

测试程序说明:

测试共分两套程序: dedecms.com

A. 存储测试

本文来自织梦

a)         存储测试程序均使用pread/pwrite进行存储测试,块链遍历速度采用frs开发的块链库进行。

织梦好,好织梦

b)         为了减少随机读写时系统缓存带来的影响

织梦内容管理系统

i.              将数据量增大至117G

内容来自dedecms

ii.             每次数据只被测试一次

dedecms.com

iii.            程序入口处清内存 dedecms.com

c)         测顺序读写时,一次读写所有数据。 本文来自织梦

d)         测随机读写时,每次读4KB,读381MB。 copyright dedecms

B. 网络性能测试 本文来自织梦

a)         采用ub + ubrpc实现压力工具的服务器端和客户端。

copyright dedecms

b)         UBSVR_NODELAY

织梦好,好织梦

c)         常用的Idl规范

内容来自dedecms

d)         对两个不同大小的包请求进行测试 copyright dedecms

存储测试数据:

磁盘

dedecms.com

顺序读:145.59MB/s 本文来自织梦

随机读:0.91MB/s  (每次读4KB,读381MB)

织梦内容管理系统

顺序写:83.1MB/s

copyright dedecms

随机写:0.34MB/s  (每次写4KB,  写381MB) 织梦好,好织梦

Flash

织梦内容管理系统

顺序读:61.5MB/s 织梦内容管理系统

随机读:14.9MB/s  (每次读4KB,读381MB)

dedecms.com

顺序写:59.8MB/s dedecms.com

随机写:1.93MB/s  (每次写4KB,  写381MB) dedecms.com

内存

本文来自织梦

顺序写:1655MB/s 织梦好,好织梦

随机写:1496MB/s

本文来自织梦

Eg: 块链遍历速度1000万元素, 565582 us

内容来自dedecms

磁盘与flash卡的顺序读写性能对比(单位MB): 本文来自织梦

http://www.bitscn.com/

织梦内容管理系统

织梦好,好织梦

磁盘与flash卡的随机读写性能对比(单位MB):

copyright dedecms

http://www.bitscn.com/

织梦好,好织梦

copyright dedecms

对比磁盘和flash卡的随机读写性能,我们可以看到:对于写操作而言,其在磁盘和flash卡上的性能差异较小,且事实上其性能差异会随着随机写时每次写入的数据量以及flash卡块大小等其它因素而产生波动;同时,在带写优化的flash上,当将数据写入flash卡时,数据会先写到一块buffer中,当满足一定条件(如buffer满)后,会将buffer的数据刷入flash,此时会阻塞写,因此会带来性能抖动。所以,当应用程序的多数操作是写入操作时,若没有flash卡也可以勉强将数据放到磁盘上。 本文来自织梦

但是相反,从测试结果看,在磁盘和flash卡上的随机读性能有着8倍甚至更多的差距,所以当程序读磁盘操作相当多时,把数据放到flash卡上是一个比较好的选择。比如,对于一个随机查询较多数据库应用程序,我们可以考虑把数据库的存储文件放到flash卡上。 织梦内容管理系统

另一方面,我们可以直观地看到,无论顺序读还是顺序写,在磁盘上的速度都远远高于在flash卡上的速度。所以如果程序所需的数据是从磁盘一次载入,载入后对数据的修改都是内存操作,不直接写盘,当需要写盘时,也是一次将内存中的数据dump到磁盘上时。我们都应该将数据放到磁盘,而不是flash卡上。

本文来自织梦






秦华 『上海买保险』上海地区人寿保险资深寿险顾问 上海外籍人士买保险-高端人士医疗办理
服务项目:儿童医疗/子女教育金/养老保险/重大疾病/意外伤害/员工团险/公众责任
免费热线『上海』:13761630213, QQ:107242375, Email:victor.qin@qq.com
选择保险事业 为了爱,为了一份坚定的承诺!MSN:
上海地区请直接拨打本人电话,应约免费上门提供免费保险方案。
Baoxian.ws>>           旅行签证保险、上门办理>>        重大疾病网>>     上海重大疾病一览    
友情链接: 走在上海人寿保险的前端    和讯保险博客    上海投保在线    Shanghai Insurance    秦华的个人简历


顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
图文并茂 我的链接
最新评论 查看所有评论
发表评论 查看所有评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 密码: 验证码:
上海高端医疗/住院医疗保险信息
上海保险规划师信息
上海子女教育理财保险信息
上海保险规划师信息
上海女性高端生育保险方案-等待期
上海保险规划师信息
上海三口之家家庭保障方案
上海保险规划师信息
上海女性特色重大疾病保险方案
上海保险规划师信息
上海女性白领理财保险方案
上海保险规划师信息
上海养老理财规划保险方案
上海保险规划师信息
通过网络取得初步咨询
  •    
上海办理-免费咨询送计划书
上海买保险
上海办理-申根签证 出国旅行保险
上海买保险
上海买保险,海外基金,买保险,友邦保险,中国人民健康保险,养老保险,儿童保险,儿童医疗,子女教育金,太平洋保险,医疗保险,工伤保险条例,中国人寿保险,保险公司,中国平安保险,医疗险,进口药,自费药,外籍人士医疗,泰康人寿,英国保诚集团,上海综合保险,国际医疗保险,上海医疗保险,上海社会保险,上海养老保险,上海市综合保险,上海平安保险,上海太平洋保险,和睦家医院,上海综合保险卡,买保险,高端医疗,重大疾病,意外伤害,定期寿险,家庭理财,友邦保险,金茂大厦,少儿互助基金,上海社保,太平洋集团,港安医院