java 领域实现并发程序的主要手段就是 多线程 ，使用多线程很简单，但是使用多少个 线程 却是个难题，工作中经常有人问：各种 线程池 的数量多少合适呢?或者 Tomcat 的线程数、 jdbc 的线程数，我们该如何设置呢？

那么先要搞清楚以下两个问题：

为什么要使用多线程？

使用多线程首要解决的就是提高性能，或者说快，但是 这个太笼统没有具体衡量指标，所以我们看下如何衡量性能。

度量性能指标很多，核心的两个：延迟量、吞吐量。

延迟指的就是发出请求到响应请求的时间，当然时间越短越好。

吞吐量单位时间内能够处理的请求量，当然越多越好。

所以我们需要做的就是降低延迟、提高吞吐量。这也是我们使用多线程的目的。

多线程的应用场景

那么我们如何做呢？主要有两个方向：一是优化算法 而是将硬件的性能发挥极致。前者属于算法领域，后者就和并发编程息息相关了。

硬件有哪些呢？主要是两类：一个是I/O，一个是 CPU 。 简言之， 在并发编程领域，提升性能本质上就是提升硬件的利用率，再具体来说，就是提升I/O 的利用率和 CPU 的利用率 。

硬件方面，难道操作系统做的不完善吗？是的，操作系统硬件的优化往往是针对单一的硬件设备。而我们的并发程序往往需要CPU 和 I/O 设备相互配合工作，所以 我们做的就是需要提高 CPU 和 I/O 设备综合利用率的问题 。

关于这个综合利用率，操作系统虽然没有办法完美解决，但是却给我们提供了解决方案。：多线程

下面我们通过一个简单的示例：如何利用多线程来提升 CPU 和 I/O 设备的利用率？ 假设程序按照 CPU 计算和 I/O 操作交叉执行的方式运行，而且 CPU 计算和 I/O 操作的耗时是 1:1。

如下图所示，我们只有一个线程，执行CPU 计算的时候， I/O 设备空闲； 执行 I/O 操作的时候， CPU 空闲， 所以 CPU 的利用率和 I/O 设备的利用率都是 50%。

如果有两个线程，如下图所示，当线程A 执行 CPU 计算的时候， 线程 B 执行 I/O 操作； 当线程 A 执行 I/O 操作的时候，线程 B 执行 CPU 计算，这样 CPU 的利用率和 I/O 设备的利用率就都达到了 100%。

我们将 CPU 的利用率和 I/O 设备的利用率都提升到了 100%， 会对性能产生了哪些影响呢？通过上面图示，很容易看出：单位时间处理的请求数量翻了一番，也就是说吞吐量提高了一倍。此时可以你想思维以下， 如果 CPU 和 I/O 设备的利用率都很低，那么可以尝试通过增加线程来提高吞吐量。

在单核时代，多线程主要用来平衡CPU 和 I/O 设备的。 如果程序只有CPU 计算， 而没有I/O 操作的话， 多线程不但不会提升性能，还会使性能变得更差，原因是增加了线程切换成本。但是在多核时代，这种纯计算型的程序可以利用多线程来提高性能。为什么呢？因为利用 多核 可以降低响应时间。

为了便于你理解，这里我举个简单的例子说明一下：计算 1+2+… … +100 亿的值，如果在 4 核的 CPU 上利用 4 个线程执行，线程 A 计算 [1，25 亿)，线程 B 计算 [25 亿，50 亿)，线程 C 计算 [50，75 亿)，线程 D 计算 [75 亿，100 亿]，之后汇总，那么理论上应该比一个线程计算 [1，100 亿] 快将近 4 倍，响应时间能够降到 25%。一个线程，对于 4 核的 CPU，CPU 的利用率只有 25%，而 4 个线程，则能够将 CPU 的利用率提高到 100%。

创建多少线程合适？

创建多少合适，需要看具体的应用场景，我们程序一般是CPU 计算和 I/O 操作交叉执行的，由于 I/O 设备的速度相对于 CPU 来说都很慢，所以大部分情况下，I/O 操作执行的时间相对于 CPU 计算来说都非常长，这种场景我们一般都称为 I/O 密集型计算；

和 I/O 密集型计算相对的就是 CPU 密集型计算了，CPU 密集型计算大部分场景下都是纯 CPU 计算。I/O 密集型程序和 CPU 密集型程序，计算最佳 线程数 的方法是不同的。

对于 CPU 密集型计算，多线程本质上是提升多核 CPU 的利用率， 所以对于一个4 核的 CPU，每个核一个线程，理论上创建 4 个线程就可以了， 再多创建线程只是增加线程切换的成本。所以， 对于 CPU 密集型的计算场景，理论上“线程的数量 =CPU 核数”就是最合适的 。不过在工程上，线程的数量一般会设置为“CPU 核数 +1”， 这样的话，当线程因为偶尔的内存页失效，或者其他原因导致阻塞，这个额外的线程可以顶上，从而保证CPU的利用率。

对于I/O 密集型的计算场景，比如前面我们提到的例子中，如果 CPU 计算和 I/O 操作的耗时是 1:1，那么 2 个线程是最合适的。 如果 CPU 计算和 I/O 操作的耗时是 1:2，那多少个线程合适呢？是 3 个线程，如下图所示：CPU 在 A、B、C 三个线程之间切换，对于线程 A，当 CPU 从 B、C 切换回来时，线程 A 正好执行完 I/O 操作。这样 CPU 和 I/O 设备的利用率都达到了 100%。

通过上面的例子，我们就会发现，对于I/O 密集型计算场景， 最佳的线程数是与程序中CPU 计算和 I/O 操作的耗时比相关的，我们可以总结出这样一个公式：

 最佳线程数 =1 +（I/O 耗时 / CPU 耗时）
  

我们令 R=I/O 耗时 / CPU 耗时，综合上图，可以这样理解：当线程 A 执行 IO 操作时，另外 R 个线程正好执行完各自的 CPU 计算。这样 CPU 的利用率就达到了 100%。

不过上面这个公式，是针对单核CPU 的，至于多核CPU ，也很简单，只要等比扩大就可以了，计算公式如下：

总结

很多人都知道不是线程越多越好，但是设置多少合适又拿不定注意，其实只要把我一条原则就可以了，这条原子就是将硬件性能发挥极致，上面我们针对CPU密集型和I/O 密集型计算场景都给出了理论上的最佳公式，这些公式背后的目标其实就是将硬件的性能发挥到极致。

对于 I/O 密集型计算场景，I/O 耗时和 CPU 耗时的比值是一个关键参数，不幸的是这个参数是未知的，而且是动态变化的，所以工程上，我们要估算这个参数，然后做各种不同场景下的 压测 来验证我们的估计。不过工程上，原则还是将硬件的性能发挥到极致，所以压测时，我们需要重点关注 CPU、I/O 设备的利用率和性能指标（响应时间、吞吐量）之间的关系。