您的位置 首页 php

分布式系统开发实战：分布式存储，实战：基于MongoDB文件服务器

智云科技发布于 2022年10月18日评论关闭阅读(316)

实战：基于MongoDB文件服务器

本节，我们将介绍如何基于MongoDB技术来存储二进制文件，从而实现一个文件服务器MongoDB File Server。

文件服务器的需求

本文件服务器致力于小型文件的存储，比如博客中的图片、普通文档等。由于MongoDB支持多种数据格式的存储，对于二进制的存储自然也是不在话下，所以可以很方便地用于存储文件。由于MongoDB的BSON文档对于数据量大小的限制（每个文档不超过16MB），所以本文件服务器主要针对的是小型文件的存储。对于大型文件的存储（比如超过16MB），MongoDB官方已经提供了成熟的产品GridFS，读者朋友可以自行了解。

文件服务器应能够提供与平台无关的REST API供外部系统调用。

文件服务器整体的API设计如下。

·GET/files/{pageIndex}/{pageSize}：分页查询已经上传了的文件。

·GET/files/{id}：下载某个文件。

·GET/view/{id}：在线预览某个文件。比如，显示图片。

·POST/upload：上传文件。

·DELETE/{id}：删除文件。

我们创建一个新项目，称之为mongodb-file-server。

所需技术

本例子采用的开发技术如下。

·MongoDB 3.4.6。·Spring Boot 2.0.0.M2。

·Spring Data Mongodb 2.0.0.M4。

·Thymeleaf 3.0.6.RELEASE。

·Thymeleaf Layout Dialect 2.2.2。

·Embedded MongoDB 2.0.0。

其中，Spring Boot用于快速构建一个可独立运行的Java项目；

Thymeleaf作为前端页面模板，方便展示数据；Embedded MongoDB则是一款由Organization Flapdoodle OSS出品的内嵌MongoDB，可以在不启动MongoDB服务器的前提下，方便进行相关的MongoDB接口测试。

本文所演示的项目，是采用Gradle进行组织以及构建的，如果对Gradle不熟悉，也可以自行将项目转为Maven项目。

build.gradle文件完整配置内容如下。 

 buildscript { // buildscript 代码块中脚本优先执行
// ext 用于定义动态属性
ext {
springBootVersion = '2.0.0.M2'
}
// 使用了 Maven 的中央仓库（也可以指定其他仓库）
repositories {
//mavenCentral()
maven { url "#34; }
maven { url "#34; }
maven { url "#34; }
}
// 依赖关系
dependencies {
// classpath 声明说明了在执行其余的脚本时，ClassLoader 可以使用这些依赖项
classpath("org.springframework.boot:spring-boot-gradle-plugin:${springBoot
Version}")
}
}
// 使用插件
apply plugin: 'java'
apply plugin: 'eclipse'
apply plugin: 'org.springframework.boot'
apply plugin: 'io.spring.dependency-management'
// 指定了生成的编译文件的版本，默认是打成了 jar 包
version = '1.0.0'
// 指定编译 .java 文件的 JDK 版本
sourceCompatibility = 1.8
// 使用了 Maven 的中央仓库（也可以指定其他仓库）
repositories {//mavenCentral()
maven { url "#34; }
maven { url "#34; }
maven { url "#34; }
}
// 依赖关系
dependencies {
// 该依赖用于编译阶段
compile('org.springframework.boot:spring-boot-starter-web')
// 添加 Thymeleaf 的依赖
compile('org.springframework.boot:spring-boot-starter-thymeleaf')
// 添加 Spring Data Mongodb 的依赖
compile('org.springframework.boot:spring-boot-starter-data-mongodb')
// 添加 Embedded MongoDB 的依赖用于测试
compile('de.flapdoodle.embed:de.flapdoodle.embed.mongo')
// 该依赖用于测试阶段
testCompile('org.springframework.boot:spring-boot-starter-test')
}

该build.gradle文件中的各配置项的注释已经非常详尽了，这里就不再赘述其配置项的含义了。

文件服务器的实现

在mongodb-file-server项目基础上，我们将实现文件服务器的功能。

1.领域对象

首先，我们要对文件服务器进行建模。相关的领域模型如下。

文档类是类似与JPA中的实体的概念。不同的是JPA是采用@Entity注解，而文档类是采用@Document注解。

在com.waylau.spring.boot.fileserver.domain包下，我们创建了一个File类。 

 import org.bson.types.Binary;
import org.springframework.data.annotation.Id;
import org.springframework.data.mongodb.core.mapping.Document;
...
@Document
public class File {
@Id // 主键private String id;
private String name; // 文件名称
private String contentType; // 文件类型
private long size;
private Date uploadDate;
private String md5;
private Binary content; // 文件内容
private String path; // 文件路径
// 省略 getter/setter 方法
protected File() {
}
public File(String name, String contentType, long size,Binary content) {
this.name = name;
this.contentType = contentType;
this.size = size;
this.uploadDate = new Date();
this.content = content;
}
@Override
public boolean equals(Object object) {
if (this == object) {
return true;
}
if (object == null || getClass() != object.getClass()) {
return false;
}
File fileInfo = (File) object;
return java.util.Objects.equals(size, fileInfo.size)
&& java.util.Objects.equals(name, fileInfo.name)
&& java.util.Objects.equals(contentType, fileInfo.contentType)
&& java.util.Objects.equals(uploadDate, fileInfo.uploadDate)
&& java.util.Objects.equals(md5, fileInfo.md5)
&& java.util.Objects.equals(id, fileInfo.id);
}
@Override
public int hashCode() {
return java.util.Objects.hash(name, contentType, size, uploadDate, md5, id);
}
@Override
public String toString() {
return "File{"
+ "name='" + name + '\''
+ ", contentType='" + contentType + '\''
+ ", size=" + size
+ ", uploadDate=" + uploadDate
+ ", md5='" + md5 + '\''
+ ", id='" + id + '\''
+ '}';
}
}

需要注意以下两点。

·文档类，主要采用的是Spring Data MongoDB中的注解，用于标识这是NoSQL中的文档概念。

·文件的内容，我们是用org.bson.types.Binary类型来进行存储。

2.存储库FileRepository

存储库用于提供与数据库“打交道”的常用的数据访问接口。其中FileRepository接口继承自org.springframework.data.mongodb.repository.MongoRepository即可，无须自行实现该接口的功能，Spring Data MongoDB会自动实现接口中的方法。 

 import org.springframework.data.mongodb.repository.MongoRepository;
import com.waylau.spring.boot.fileserver.domain.File;
public interface FileRepository extends MongoRepository<File, String> {
}

3.服务接口及实现类

FileService接口定义了对于文件的CURD操作，其中查询文件接口是采用的分页处理，以有效提升查询性能。 

 public interface FileService {
/**
* 保存文件
* @param File
* @return
*/File saveFile(File file);
/**
* 删除文件
* @param File
* @return
*/void removeFile(String id);
/**
* 根据id获取文件
* @param File
* @return
*/File getFileById(String id);
/**
* 分页查询，按上传时间降序* @param pageIndex
* @param pageSize
* @return
*/List<File> listFilesByPage(int pageIndex, int pageSize);
}
FileServiceImpl实现了FileService中所有的接口。
@Service
public class FileServiceImpl implements FileService {
@Autowired
public FileRepository fileRepository;
@Override
public File saveFile(File file) {
return fileRepository.save(file);
}
@Override
public void removeFile(String id) {
fileRepository.deleteById(id);
}
@Override
public Optional<File> getFileById(String id) {
return fileRepository.findById(id);
}
@Override
public List<File> listFilesByPage(int pageIndex, int pageSize) {
Page<File> page = null;
List<File> list = null;
Sort sort = new Sort(Direction.DESC,"uploadDate");
Pageable pageable = PageRequest.of(pageIndex, pageSize, sort);
page = fileRepository.findAll(pageable);
list = page.getContent();
return list;
}
}

4.控制层、API资源层

FileController控制器作为API的提供者，接收用户的请求及响应。

API的定义符合RESTful的风格。 

 @CrossOrigin(origins = "*", maxAge = 3600) // 允许所有域名访问
@Controller
public class FileController {
@Autowired
private FileService fileService;
@Value("${server.address}")
private String serverAddress;
@Value("${server.port}")
private String serverPort;
@RequestMapping(value = "/")
public String index(Model model) {
// 展示最新20条数据model.addAttribute("files", fileService.listFilesByPage(0, 20));
return "index";
}
/**
* 分页查询文件
*
* @param pageIndex
* @param pageSize
* @return
*/@GetMapping("files/{pageIndex}/{pageSize}")
@ResponseBody
public List<File> listFilesByPage(@PathVariable int pageIndex,
@PathVariable int pageSize) {
return fileService.listFilesByPage(pageIndex, pageSize);
}
/**
* 获取文件片信息
*
* @param id
* @return
*/@GetMapping("files/{id}")
@ResponseBody
public ResponseEntity<Object> serveFile(@PathVariable String id) {
Optional<File> file = fileService.getFileById(id);
if (file.isPresent()) {
return ResponseEntity.ok()
.header(HttpHeaders.CONTENT_DISPOSITION, "attachment; fileName=\""
+ file.get().getName() + "\"")
.header(HttpHeaders.CONTENT_TYPE, "application/octet-stream")
.header(HttpHeaders.CONTENT_LENGTH, file.get().getSize() + "")
.header("Connection", "close")
.body(file.get().getContent().getData());
} else {
return ResponseEntity.status(HttpStatus.NOT_FOUND).body("File was not
found");
}
}
/**
* 在线显示文件
*
* @param id
* @return
*/@GetMapping("/view/{id}")
@ResponseBody
public ResponseEntity<Object> serveFileOnline(@PathVariable String id) {
Optional<File> file = fileService.getFileById(id);
if (file.isPresent()) {
return ResponseEntity.ok()
.header(HttpHeaders.CONTENT_DISPOSITION, "fileName=\""
+ file.get().getName() + "\"")
.header(HttpHeaders.CONTENT_TYPE, file.get().getContentType())
.header(HttpHeaders.CONTENT_LENGTH, file.get().getSize() + "")
.header("Connection", "close")
.body(file.get().getContent().getData());} else {
return ResponseEntity.status(HttpStatus.NOT_FOUND).body("File was not
found");
}
}
/**
* 上传
*
* @param file
* @param redirectAttributes
* @return
*/@PostMapping("/")
public String handleFileUpload(@RequestParam("file") MultipartFile file,
RedirectAttributes redirectAttributes) {
try {
File f = new File(file.getOriginalFilename(), file.getContentType(),
file.getSize(), new Binary(file.getBytes()));
f.setMd5(MD5Util.getMD5(file.getInputStream()));
fileService.saveFile(f);
} catch (IOException | NoSuchAlgorithmException ex) {
ex.printStackTrace();
redirectAttributes.addFlashAttribute("message", "Your "
+ file.getOriginalFilename() + " is wrong!");
return "redirect:/";
}
redirectAttributes.addFlashAttribute("message",
"You successfully uploaded " + file.getOriginalFilename() + "!");
return "redirect:/";
}
/**
* 上传接口
*
* @param file
* @return
*/@PostMapping("/upload")
@ResponseBody
public ResponseEntity<String> handleFileUpload(@RequestParam("file") MultipartFile
file) {
File returnFile = null;
try {
File f = new File(file.getOriginalFilename(), file.getContentType(), file.
getSize(),
new Binary(file.getBytes()));
f.setMd5(MD5Util.getMD5(file.getInputStream()));
returnFile = fileService.saveFile(f);
String path = "//" + serverAddress + ":" + serverPort + "/view/" +
returnFile.getId();
return ResponseEntity.status(HttpStatus.OK).body(path);
} catch (IOException | NoSuchAlgorithmException ex) {
ex.printStackTrace();
return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR).body(ex.
getMessage());
}
}
/*** 删除文件
*
* @param id
* @return
*/@DeleteMapping("/{id}")
@ResponseBody
public ResponseEntity<String> deleteFile(@PathVariable String id) {
try {
fileService.removeFile(id);
return ResponseEntity.status(HttpStatus.OK).body("DELETE Success!");
} catch (Exception e) {
return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR)
.body(e.getMessage());
}
}
}

其中@CrossOrigin(origins=”*”,maxAge=3600)注解标识了API可以被跨域请求。

运行

有多种方式可以运行Gradle的Java项目。使用Spring Boot GradlePlugin插件运行是较为简便的一种方式，只需要执行： 

 $ gradlew bootRun

项目成功运行后，通过浏览器访问即可。如图14-4所示，首页提供了上传的演示界面，上传后，就能看到上传文件的详细信息。

图14-4 上传界面

其他配置项

我们打开application.properties配置文件，可以看到以下配置。 

 server.address=localhost
server.port=8081
# Thymeleaf
spring.thymeleaf.encoding=UTF-8
spring.thymeleaf.cache=false
spring.thymeleaf.mode=HTML5
# limit upload file size
spring.http.multipart.max-file-size=1024KB
spring.http.multipart.max-request-size=1024KB
# independent MongoDB server
#spring.data.mongodb.uri=mongodb://localhost:27017/test

这些配置的含义如下。

·server.address和server.port用来指定文件服务器启动的位置和端口号。

·spring.http.multipart.max-file-size和spring.http.multipart.max-request-size用来限制上传文件的大小，这里设置最大是1MB。

·当spring.data.mongodb.uri没有被指定的时候，默认会采用内嵌MongoDB服务器。如果要使用独立部署的MongoDB服务器，那么设置这个配置，并指定MongoDB服务器的地址。同时，将内嵌MongoDB的依赖注释掉，操作如下。 

 dependencies {
//...
// 注释掉内嵌的 MongoDB
// compile('de.flapdoodle.embed:de.flapdoodle.embed.mongo')
//...
}

本文给大家讲解的内容是分布式系统开发实战： 分布式存储，实战：基于MongoDB文件服务器

  1. 下篇文章给大家讲解的是分布式系统开发实战： 分布式监控，分布式监控常用技术；
  2. 觉得文章不错的朋友可以转发此文关注小编；
  3. 感谢大家的支持!
标签:
打赏 点赞(4)

文章来源：智云一二三科技

文章标题：分布式系统开发实战：分布式存储，实战：基于MongoDB文件服务器

文章地址：https://www.zhihuclub.com/152218.shtml

关于作者: 智云科技

相关文章

热门文章

1分享新浪图床上传接口源码

点赞(952)阅读(61,227)

2PHP简单实现路由Route功能

点赞(1.16K)阅读(35,973)

3Tideways、xhprof 和 xhgui 打造 PHP 非侵入式监控平台

点赞(382)阅读(4,306)

4centos系统如何查看是否安装了mysql

点赞(549)阅读(3,798)

5curl 工具简述

点赞(527)阅读(2,986)
网站地图