8. ARM生态,存储相关软件

编号 软件 状态 版本 获取方式
1 Ceph 已使能 12.2.8 [github] [发行版软件源]
2 NFS 已使能 1.3.4 [发行版软件源]
3 HDFS 已使能 java [官网]
4 fio 已使能 3.11 [发行版软件源]
5 vdbench 已使能 5.04.07 [官网]
6 GridFS 已使能 MongoDB [官网]
7 MooseFS 未使能 3.0.103 [github] [官方软件源]
8 LizardFS 未使能 3.13.0 [官网] [github] [官方软件源]
9 fastDFS 已使能 5.11 [github]
10 lustre 未使能 2.12.0 [官网]
11 TFS 未使能 2.2.13 [官网] [github]
12 MogileFS 未使能 2.73 [github]
13 GFS 未使能闭源
 
14 glusterfs 已使能
[软件源]

amazon Dynamo key/value 分布式存储系统

8.1. ubuntu官方不支持ceph-fuse

me@ubuntufio:~$ rmadison -S ceph-fuse
 ceph-fuse | 0.79-0ubuntu1                 | trusty                  | amd64
 ceph-fuse | 0.80.11-0ubuntu1.14.04.3      | trusty-security         | amd64
 ceph-fuse | 0.80.11-0ubuntu1.14.04.4      | trusty-updates          | amd64
 ceph-fuse | 10.1.2-0ubuntu1               | xenial                  | amd64
 ceph-fuse | 10.2.11-0ubuntu0.16.04.1      | xenial-updates          | amd64
 ceph-fuse | 12.2.4-0ubuntu1               | bionic/universe         | amd64
 ceph-fuse | 12.2.4-0ubuntu1.1build1       | cosmic/universe         | amd64
 ceph-fuse | 12.2.8-0ubuntu0.18.04.1       | bionic-updates/universe | amd64
 ceph-fuse | 13.2.1+dfsg1-0ubuntu2.18.10.1 | cosmic-updates/universe | amd64
 ceph-fuse | 13.2.4+dfsg1-0ubuntu1         | disco/universe          | amd64
me@ubuntufio:~$
ceph的其他组件ubuntu官方支持,源上有。
ceph-fuse需要到download.ceph.com去下载

8.2. vebench 官方版本java jni缺少aarch64版本,需要手动编译。

vdbench使用方法

vdb=/home/me/vdbench50407src/src/
java=/usr/lib/jvm/java-11-openjdk-arm64/
jni=$vdb/Jni

INCLUDES32="-w -DLINUX -I$java/include -I/$java/include/linux -I/usr/include/ -fPIC"
INCLUDES64="-w -DLINUX -I$java/include -I/$java/include/linux -I/usr/include/ -fPIC"


gcc  -o   $vdb/linux/linux32.so vdbjni.o vdblinux.o vdb_dv.o vdb.o chmod.o -lm -shared -lrt

gcc  -o   $vdb/linux/linux64.so vdbjni.o vdblinux.o vdb_dv.o vdb.o chmod.o -lm -shared -lrt

执行make.linux,会在src/linux/下生成linux32.so和linux64.so文件,这里我们只需要使用到64位的文件。重命名linux64.so并复制到二进制包(注意不是源码包)的linux/目录下即可。

8.3. MooseFS

moosefs 代码托管在 https://github.com/moosefs/moosefs
官方运行付费版本的pro版本 https://moosefs.com/

未见提供ARM版本。

[ICO]   Name    Last modified   Size    Description
[DIR]   Parent Directory        -
[DIR]   binary-amd64/   24-Nov-2018 03:41   -
[DIR]   binary-i386/    24-Nov-2018 03:41   -

8.4. LizardFS

LizardFS作为MoseFS的分支发布。 LizardFS官方支持CentOS,Debian,ubuntu,官网提供x86版本rpm包、deb包下载,有官方软件源http://packages.lizardfs.com/yum/el7/

8.5. fastDFS

可以编译通过

8.6. GridFS

基于MongoDB,使用方法是部署mongoDB,安装mongoDB driver后调用api进行存储。

8.7. MogileFS

基于perl github上基本停止更新

8.8. TFS

github库已经archive,停止更新。 只有x86安装指导教程

8.9. 其他信息

GridFS 用于存储和恢复那些超过16M(BSON文件限制)的文件(如:图片、音频、视频等)。
MogileFS    适用于处理海量小文件
Ceph    是一个 Linux PB级别的分布式文件系统
MooseFS 通用简便,适用于研发能力不强的公司
Taobao Filesystem   适用于处理海量小文件
ClusterFS   适用于处理单个大文件
Google Filesystem   GFS+MapReduce擅长处理单个大文件
Hadoop Distributed Filesystem   GFS的山寨版+MapReduce,擅长处理单个大文件