FastDFS

分布式文件系统

• 海量文件数据存储
• 文件数据高可用(冗余备份)
• 读写性能
• Hadoop中的文件系统HDFS主要解决并行计算中分布式存储数据的问题。单个数据文件通常很大，采用分块(切分)存储的方式，是大数据大文件存储使用场景
• FastDFS主要用于互联网网站，为文件上传和下载提供在线服务。负载均衡，动态扩容方面支持得比较好,FastDFS不会对文件进行分块存储。中小文件存储

FastDFS

• 开源轻量级分布式文件系统。功能包括:文件存储、文件同步、文件访问(文件上传下载)等
• 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标
• 服务端两个特色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作，访问上起负载均衡作用
• 存储节点存储文件，完成文件管理的所有功能
• 跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随着增加和下线而不会影响线上服务器。
• 为了支持大容量，存储节点(服务器)采用了分卷(分组)的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是互相独立的。所有卷的文件容量累加就是整个存储系统中的文件容量。
• 在卷中增加服务器时，同步已有文件由系统自动完成，之后，系统自动将新增服务器切换到线上提供服务
• 当存储空间不足或即将耗尽时，可以动态添加卷。
• FastDFS中的文件标识分为两部分:卷名和文件名
• meta data:文件的元数据信息

FastDFS安装

• 下载安装包
  • libfastcommon:FastDFS分离出的一些公用函数包
  • FastDFS:FastDFS本体
  • fastdfs-nginx-module:FastDFS和nginx的关联模块
  • nginx:发布访问服务
• 安装步骤
  • 安装基础环境

yum install -y gcc gcc-c++
yum install -y libevent

* 安装libfastcommon函数库

# 解压
tar -zxvf libfastcommon-1.0.42.tar.gz
# 编译安装
./make.sh
./make.sh install

* 安装fastdfs主程序文件

# 解压
tar -zxvf fastdfs-6.04.tar.gz
# 安装
./make.sh
./make.sh install

* 配置tracker

vim tracker.conf
# tracker工作目录，保存数据及日志
base_path=/usr/local/fastdfs/tracker

* 配置storage

vim storage.conf
# 修改组名
group_name=storage
# 修改storage工作空间
base_path=/usr/local/fastdfs/storage
# 修改storage的存储空间
store_path0=/usr/local/fastdfs/storage
# 修改tracker的地址和端口号，用于监听心跳
tracker_server=192.168.1.1:22122
# 后续结合nginx的一个对外服务端口
http.server_port=8888

* 启动(需先启动tracker) * fastdfs安装好后是无法通过http访问的，需借助nginx * 安装nginx插件
* 解压nginx的fastdfs压缩包`tar -zxvf fastdfs-nginx-module-1.22.tar.gz`
* 安装插件
* 配置

server {
    listen 8888;
    server_name localhost;
    location /storage/M00 {
        ngx_fastdfs_module;
    }
}

集成spring boot

• 引入依赖

<dependency>
    <groupId>com.github.tobato</groupId>
    <artifactId>fastdfs-client</artifactId>
    <version>1.26.7</version>
</dependency>

• 配置yml

# fdfs配置
fdfs:
  # 连接超时时间
  connect-timeout: 30
  # 读取超时时间
  so-timeout: 30
  tracker-list: 192.168.217.129:22122

第三方云存储

• 阿里OSS
• SDK使用简单
• 提供强大的文件处理功能
• 零运维
• 图形化管理控制台
• CDN加速