内存与存储之边界迎来变

延迟可以说是存储系统永远的痛。没人愿意等待，至少每一套虚拟机都渴望着能以多线程、多核心、多插槽方式在虚拟服务器中大量访问数据。然而随着摩尔定律的逐渐失效，处理器的发展速度已经明显放缓，这意味着改善 IO 延迟已经成为让昂贵的 IT 方案发挥更大力量的必由之路。

目前已经有两项新的技术成果得到应用，且二者都能够立足于两大主要存储边界点实现可观的延迟降低效果：其一为内存与存储之间，其二为内部与外部联网存储之间。

内部 / 外部边界的转移归功于 NVMe-over-fabric（简称 NVMeF）访问机制。那么这种变革为什么会出现？又是如何实现的？

内部：外部存储边界

内部存储通过 PCIe 总线接受访问，随后经由 SAS 或者 SATA 硬件适配器与协议堆栈对接磁盘或者固态驱动器（简称 SSD）。直连 NVMe PCIe 总线访问属于速度最快的内部存储访问方法，但目前还没能完全取代 SAS/SATA SSD 以及 HDD 访问机制。

内存与存储访问延迟系谱以及 NVMe 光纤接入阵列所处位置。

要访问容量更大的共享式存储，我们则需要使用联网外部阵列，其通过光纤通道（块访问）或者以太网（iSCSI 块及 / 或文件访问）与服务器相对接。在这里我们暂时不讨论对象存储及 Hadoop 存储，而将注意力主要集中在通用型服务器的外部存储状态身上。

除了存储介质访问时间之外，网络传输同样需要耗费时间。当磁盘驱动器（简称 HDD）在阵列中充当一级存储介质时，其会给数据访问时长添加寻道时间与旋转延迟等因素，这意味着网络延迟表现得并不明显。然而如今的一级外部阵列已经开始向速度更快的 SSD 转移，这意味着网络传输时长就变得非常重要。尽管光纤通道传输能力已经由过去的每秒 8 Gbit 提升至每秒 16 Gbit，而以太网则由 10 GbitE 提升至 25 与 40 GbitE，但由于访问涉及往返两个部分，因此网络延迟仍然会加倍。

InfiniBand 能够显著提升速度表现，但价格同样令人咋舌，而且与最新技术相比仍然算是比较缓慢。具体来讲最新技术将 PCIe 总线外部化，并在一套以太网体系之内对外部阵列运行 NVMe 协议（或者其它同类方案）。

NVMeF 访问延迟在 200 微秒以下。为了让大家更清楚地理解其含义，我们整理出了下面这份延迟表单，具体排名当然是由快到慢：

虽然看似精确，但其中的数字其实比较粗糙，另外实际接入延迟也要比图表中所列出的更高。

最右侧的一列立足于日常环境，即将一级缓存的访问时长规定为 1 秒，而后以此为基础进行等比计算。因此，二级缓存访问耗时更长，为一级缓存的 14 倍 -- 那么其访问流程则为 14 秒。DRAM 存取时间为一级缓存的 400 倍，即 6 分 40 秒。NVMe PCIe SSD 写入为一级缓存访问时长的 6 万倍，实际时长为 3 万纳秒 -- 听起来挺快，但在将一级缓存作为 1 秒来考虑时，其耗时将达到令人难以置信的 40 分钟。

再来看 SAN 访问：300 毫秒，根据我们的计算条件其相比时长将达到 19 年 5 天 10 小时 40 分钟。DAS 磁盘访问时长不到其一半，为 100 毫秒，而 NVMe 访问在写入时延迟为 30 微秒、读取则为 100 微秒。

经过我们的换算，NVMeF 写入操作的相对时长为 16 小时 40 分，读取则为 61 小时 6 分 40 秒。

目前 DSSD D5 与 Mangstor NX 阵列基本能够达到 NVMeF 的微秒级读取 / 写入延迟水平。

这种光纤通道或者 iSCSI SAN 与 NVMe-F 方案间的访问延迟差异如此巨大，使得众多供应商积极投入其中并希望借此彻底摧毁传统存储产品。目前新方案中的典型代表包括 DSSD、E8、Mangstor 以及 Mangstor 合作伙伴 Zstor。

内存：存储边界

内存存储边界为 DRAM（其属于易失性或者说非持久性存储介质 -- 即断电后数据将丢失）同存储（即持久性或者说非易失性介质 -- 断电后数据仍能保留）的对接处。

NVDIMM-B 属于利用闪存作为备份手段的内存 DIMM，因此其拥有内存级别的访问速度。

这种对接会造成速度损耗，因为即使是速度最快的非易失性介质 -- 闪存 -- 也要远慢于内存访问速度（0.2 微秒对 30/100 微秒，二者分别为 NVMe SSD 的读取与写入延迟）。

要解决这一难题，我们可以直接将闪存接入内存总线，也就是闪存 DIMM（简称 NVDMM-N）技术，这使其延迟能够达到 5 微秒水平。Diablo Technology 走的正是这条路线，而 SanDisk 也在这方面拿出了其 ULLtraDIMM 方案。不过这样的速度水平仍然只有内存访问的二十五分之一。

英特尔与美光的 3D XPoint 技术据称能够提供远高于闪存的非易失性存储性能。双方指出，XPoint 的速度表现可达 SSD 的 1000 倍，虽然仍不及 DRAM，但延迟水平已经得到显著降低。

好了，假设普通 SSD（非 NVMe）的平均延迟为 200 微秒，将其除以 1000 则为 200 纳秒，与 DRAM 一样 -- 这显然是胡说八道。英特尔 / 美光明显是将 XPoint 同某些老古董级的 SSD 比较才得出了这样的结论。

添加了 3D XPoint 与非 NVMe SSD 访问速度的新版延迟图表。

那么我们假定 XPoint 的延迟为 500 纳秒，那么乘以 1000 则意味着作为其比较对象的 SSD 延迟为 500 微秒：好吧，反正我是没见过这么差的 SSD 技术。

无论如何，如果 XPoint 真能达到其宣称的效果，那么内存：存储边界将在系谱图中向左侧移动，而应用程序软件开发者则将迎来新一轮速度提升 -- 至少是在使用 XPoint 的设备上。

除了 XPoint，可能还存在其它一些类似的新技术，例如旋矩存储或者惠普旗下的忆阻器方案，而它们的出现将令内存与存储的边界再度向右移动。

那么以上设想真能变成现实吗？

在我们看来，答案应该是肯定的。诚然，相关变革需要相当长的推进时间并面对一系列挑战。不过面对着夸张的现有数据延迟以及新技术所做出的令人心动的提升承诺，其到来将是不可避免的。