您的位置 首页 java

会用Java读取文本文件就够了吗?文件超大怎么办?

Java读取文本文件的几个方法。

读到内存(适合小文件)

Guava方法:

Files.readLines(new File(path), Charsets.UTF_8);
 

Apache Commons IO方法:

FileUtils.readLines(new File(path));
 

这种方法的问题在于所有内容都保留在内存中。如果文件太大,这将迅速导致 OutOfMemory错误

此外,通常我们并不需要把一个大文件一次性全部读出来。 一方面,我们可能会对文件逐行做处理;一方面即便是直接显示也会分段呈现。想象一下,一次性给前端(不管是web还是桌面)返回1G的数据,怎么显示?

文件流 Scanner

try(Scanner scanner = new Scanner(new File(pathname))) {
 while ( scanner.hasNextLine() ) {
 String line = scanner.nextLine();
 // 逐行处理
 }
}
 

Apache Commons IO的 Stream

LineIterator it = FileUtils.lineIterator(theFile, "UTF-8");
try {
 while (it.hasNext()) {
 String line = it.nextLine();
 // 逐行处理
 }
} finally {
 LineIterator.closeQuietly(it);
}
 

Java8的Stream

Files.lines(Paths.get(pathname));
 

利用Files.lines()得到一个Stream,然后逐行处理。

进阶

  • 读取文件总行数
// 总行数
long lineCount = Files.lines(Paths.get(pathname)).count();
 
  • 读取指定行或起止行
try (Stream<String> lines = Files.lines(path)) {
 List<String> list = lines.skip( 1000 ).limit(10).collect(Collectors.toList());
} catch (IOException e) {
 e.printStackTrace();
}
 

如上,读取1001行到1010行。

利用上面这两段代码,可以用类似分页的方式来读取整个文件。

总页数 = 总行数 / 每页条数 + (总行数 % 每页条数 == 0 ? 0 : 1);

每页内容 = lines.skip( (第几页-1)*每页条数 ).limit(每页条数);
 

文章来源:智云一二三科技

文章标题:会用Java读取文本文件就够了吗?文件超大怎么办?

文章地址:https://www.zhihuclub.com/182084.shtml

关于作者: 智云科技

热门文章

发表回复

您的电子邮箱地址不会被公开。

网站地图