2014中华数据库与运维安全大会
中华数据库
行业协会
Linux的文件系统对比
目标和范围
普通PC用文件系统,部分可用于服务器。
obtrfs
oext3
oext4
ojfs
oreiserfs
oreiser4
oxfs
ontfs
ozfs
ntfs来凑什么热闹?
ntfs加入对比。
zfs也同样对比。
仅仅是对比而已。
参考标准
特性
●最大容量
●日志特性
●目录结构
●分配效率
●ACLS支持
●反碎片
●checksum
●透明压缩/透明加密
●在线伸缩
●设备支持
●快照
效率
●容积利用率
●大文件管理特性
●小文件管理特性
●连续读写效率
●随机读写效率
●元数据管理效率
●缓存模型管理效率
特性简表
大部分数据来自wikipedia,在此表示感谢。
头好晕,结论是什么?
1.如果你需要用海量数据,跳过ext3/ext4/reiser。(ext4最高的
推荐大小是100T,可以视为上限)
2.需要磁盘整理么?跳过ext3/reiser。
3.不想自己编译内核?跳过reiser4。
4.移动媒介到处要用?建议ntfs和ext3。当然,如果媒介size合
适,最好的文件系统是vfat。
5.压缩?只有btrfs和reiser4支持。考虑3,推荐btrfs。
?只有btrfs和ext4。如果考虑数据checksum,只有
btrfs
7.需要shrink?不要考虑jfs/reiserfs/xfs。
支持特性好像很全面阿。问题是它没有磁盘工具,磁盘
出错后全靠人品。需要调整的时候也靠人品。而且启用cow后
iops非常低。
性能简表
●时间测量使用time的real,全填充使用dd if=/dev/zero。
●大文件使用4个iso,共计,从tmpfs上复制出,三次平均
。
●小文件使用内核源码,49232个,629M,方法同上。
●循环列文件使用find .,测量时间,方法同上。
●下面数据采用iozone,相对片面。
还是头晕,结论结论。
1.要保存文件,不要使用btrfs/ext3/ext4。
的效率就是个渣。
的小文件管理完全无法理解,我只能说,他就是发生了。
上面跑虚拟机慢到死,而且主观体感也很慢。原因是cow
导致的iops很差。
的小文件管理就是个奇迹。
现在看的很明白——已经死了。
综上所述
1.大规模文件保存/数据存储,例如媒体支持系统,推荐xfs。但
实际上碰到这种情况的概率很小。有多少机器会有单个文件系
统大于100T的可能?
2.大量小文件管理,例如源码编译,推荐ext4。
3.如果你需要特性支持,考虑btrfs,但是后果自负。
4.数据库可以适当考虑jfs,随机读写快,但是不活跃,用户少
。
5.对于不同需求的目录,分区挂载,并使用不同文件系统。
未来会如何,谁也不知道。
几年前,谁也不知道Hans Reiser会卷入杀人案,锒铛入狱。
豆瓣使用gentoo+reiser,并不是目光问题,只是他们没有预知能
力。而且当时ext4并不是一个选项。在ext3/jfs/xfs/reiser中,
reiser拥有很好的小文件管理能力——至少比jfs好。
几年后呢?很难说。也许btrfs会修正性能问题,成为linux中的
zfs。
但是也有可能,oracle宣布zfs成为专利格式,从此扫地出门。
当然——也有可能oracle直接倒闭了,和sun一样——虽然希望
不大。
当然,有不少新的文件格式会出来。
所以,本文也会过期,请在2012来临前谨慎参考。
2014年11月中华架构师大会预告
演讲主题 演讲嘉宾 公司名称 职位/职称
待定 朱超 360 中间件研发负责人
TFS技术架构及运维 张友东 阿里云 TFS研发负责人
待定 黄俊 国药集团 常务副总经理
golang实时消息推送架构实战 毛剑 金山网络 移动游戏技术经理
MyCAT之前世今生 吴治辉 惠普中国 系统架构师
雪球的架构实践 王栋 雪球财经 CTO
待定 刘建平 热璞科技 技术总监
中华数据库行业协会
中华数据库
行业协会