送你 3 个优化大数据量下分页查询缓慢的锦囊妙计
当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢。某个业务的订单历史表主要字段：unsignedintid，tinyint，id字段为索引，且为递增。
dubbo 长连接
Transporter: mina， netty， grizzy Serialization: dubbo， hessian2， java， json Dispatcher: all， direct， message， execution， connection ThreadPool: fixed， cached 特性 缺省协议，使用基于 mina 1.1.7 和 hessian 3.2.1 的 tbremoting 交互。
手把手教你实现超大数据量带进度条导入导出功能（二导出篇）
概述对于超大数据量的导出是一个长耗时的操作。在没有进度条情况下，当用户点击导出后，页面长时间得不到反馈，导致用户不清楚是导出出现问题，还是导出正在进行处理还未结束。所以，为超大数据量的导出添加进度条功能显得尤为必要。
在黑洞照片的海量数据中查找其中的数字
昨晚被一则新闻刷屏：北京时间4月10日今晚9点，人类首张黑洞照片正式发布。同时，看新闻的时候小吴还注意到里面有个细节，给黑洞”拍照“的事件视界望远镜从2017年就开始为黑洞拍照了，但直到2019年才公布。
大数据量文件导入实时更新进度条实现
前言物联网设备采集到的实时数据以csv格式文件存储，需要定时导入到mongoDB数据库，数据文件大概20多M（天），10万左右数据量。概述前端基于VUE AntDesign实现UI及进度条，后端采用Java Spring Boot。
MongoDB中如何优雅地删除大量数据
删除大量数据，无论是在哪种数据库中，都是一个普遍性的需求。除了正常的业务需求，我们需要通过这种方式来为数据库“瘦身”。为什么要“瘦身”呢？表的数据量到达一定量级后，数据量越大，表的查询性能会越差。毕竟数据量越大，B+树的层级会越高，需要的IO也会越多。
一篇文章搞懂Java和大数据的关系
Java语言产生于1995年，距今已经20多年了。相信很多朋友对Java都不陌生。Java作为一个纯粹的面向对象的语言，不论是在Web开发还是企业级应用中，都占有很大的市场份额。很多朋友也已经用Java做开发很多年了，早已成了老朋友。大数据是近几年非常热门的一个话题。
索引的优缺点
优点：减少数据库服务器需要扫描的数据量帮助数据库服务器避免排序和临时表将随机 I/O 变顺序I/O提高查询速度唯一索引，能保证数据的唯一性缺点：索引的创建和维护耗时随着数据量的增加而增加对表中数据进行增删改时，索引也要动态维护，降低了数据的维护速度增大磁盘占用
PHPexcle大数据量导出
设置memory_limit，将内存设置加大，2.2在执行代码前加上ini_set;2.3每次读取的数据量减少，增加循环的次数；3.导出的excle数字过长展示成科学计数解决：3.1在要写入的数字数据，后面加个“\t”;3.2或是数字转换为字符串格式上代码。