一文了解 AI服务器，核心芯片全解析

为何英伟达（NVIDIA）、AMD、英特尔（Intel）只要推出新品，搭上AI都会引起热议，唯NVIDIA独尊的GPU魅力又在哪里？

NVIDIA 强调自家产品拥有可以加快处理AI训练及推论 ，有望让AI技术运用更为普及。 对千禧世代的人来说，AI就如同生活的一部份，我们知道电脑可以是AI、机器人是AI，连电影里都在讲AI，尽管在现在的生活中，我们已经频繁的接触它，但它仍然是既熟悉又陌生的一项技术。

AI（人工智能; Artificial Intelligence ）指的是由人制造出来的机器所表现出来的智能（通常指机器人或计算机），通过电脑程序来呈现人类智能的技术，达成或模仿人类的思考逻辑、行为模式和决策能力，并具备感知、学习、逻辑推理、统计机率、修补校正甚至是做出行为动作等概念。

当AI搭上服务器，引爆未来式热潮

“你在哪个服务器？” 在游戏中常问的，对我们来说再熟悉不过的一句话，同时也大概把服务器（Server）给解释完了，举游戏服务器为例，服务器提供玩家等特定用户，进行游玩等服务的企业级计算机 ，除了拥有高效能、高安全性、高稳定性等优势之外，会再根据用户的需求而有不同功能。

此外，服务器内仍有主板、处理器、内存等硬件（Hardware），为了加快处理效率与运算速度，与一般电脑不同的是，服务器会将大量主板排列装设在一起，所以体积通常较庞大，又分为体积大的直立式服务器（Pedestal server）、空间利用率较好的机架服务器（Rack server），以及小而精简的刀锋服务器（Blade server）。

至于软件（Software）部分，则需要有像台式电脑使用的 Windows Server 一样的操作系统。 但性能要更好，才能顺利同时多人连线、开启多个应用程序。

AI服务器（AI Server ）

而AI服务器，言下之意就是将AI技术运用在服务器上，为了增加计算速度和效率， AI服务器多采用「异质架构形式」（指在计算系统中，使用多种不同类型的处理器，或计算组件结合在一起，以满足不同工作负载的需求）的服务器，因为AI工作负载通常需要大量的数值计算和并行运算。

如传统CPU在通用计算上表现出色，但对于深度学习等需要大量矩阵计算的任务，效能可能就会不足。 这时，若再组合上GPU、TPU等异质处理器（指在同一个计算系统或芯片中集成了不同类型的处理器核心或计算单元），可以更好地满足AI任务的需求，提供更高效的运算能力，同时还有扩展其能力以判读更多人事物的能力。

随着AI运用逐步普及，推升需求，据调研机构TrendForce预估，2023年AI服务器（包含搭载GPU、FPGA、ASIC等）出货量可逼近120万台，年增38.4%，占整体服务器出货量近9%，至2026年占比更可达15%， TrendForce 同步上修2022~2026年AI服务器出货量，年复合成长率可达22%。

不过，由于CoWoS封装制程产能不足，造成AI服务器的GPU供不应求，身为CoWoS主力的台积电，相关产线近期处于严重供不应求状态，加上市场上AI需求快速成长，遂决定在中科与南科提前启动CoWoS封装制程的扩产，并连带快速对设备商追加采购订单。

AI服务器核心，芯片处理器有哪些？

当AI服务器大行其道，其内部的芯片处理器更是关键中的关键，甚至可说是引爆了新的芯片战争，英特尔主攻CPU、AMD强打CPU、APU，并逐步布局GPU市场、英伟达则是以自家超强GPU独大，各家大厂有其拿手项目，盼能站稳AI市场，而相关处理器介绍如下：

CPU（Central Processing Unit）：

做为计算机主要的组件，CPU 用于处理电脑的信息和控制运作，负责执行计算机系统指令及操作数据，系统指令来自电脑操作系统、应用程序或用户程序。 若一台电脑没有CPU，将连最基本的开机都无法达成。

GPU（Graphics Processing Unit）：

作为计算机或服务器内的处理器，GPU 类似于 CPU，但其扮演的功能不同，CPU 架构比较复杂，功能比较泛用，而 GPU 采用的平行计算（指许多指令得以同时进行的计算模式 ）架构比较单纯、核心数量较多，适合处理大规模且高度并行的任务，同时专注于大量的数据 。GPU 的应用范围已扩展到许多其他领域，包括科学计算、人工智能、机器学习和加密货币挖矿等。

显卡（display card）：

显卡（也称为绘图卡或视频卡）是一个装置，用于连接显示器并将图形或影像数据转换成可视的图像。 显卡通过其上的 GPU 来处理和加速这些图像计算，并将处理后的图像传送到连接的显示器上，让用户能够看到图形、视频和游戏等。

显卡的核心部分是GPU通常是显卡中最重要的组件，它负责处理所有与影像和图形相关的计算。 而显卡又分为下列两种。

1.集成显卡（简称：内显; iGPU；Integrated Graphics Processing Unit ） ：

内显是整合在主处理器（CPU）或系统芯片组中的一个显示核心，并且共享系统内存（RAM）。 它不是独立的硬件设备，而是随着CPU或芯片组一同出售的一部分，因此受到内存带宽和CPU性能的限制。 它性能较低，通常适合处理一般的图形工作、视频播放和轻量级游戏。

2.独立显卡（简称：独显; Discrete Graphics Card）：

独显是一个独立的硬件设备，有时候也被称作 GPU，通常插入主板的插槽中。 它与 CPU 是分离的单元，拥有自己的专用显示内存（VRAM）。 它通常具有较高的图形处理性能，特别是在处理图形密集型应用程序（例如游戏、3D建模等）时。 但同时也需要消耗更多的电源并产生更多的热量。 因此，使用独立显卡的电脑可能需要更好的散热系统和更高的功耗。

3.加速处理器单元（APU; Accelerated Processing Unit）:

APU 概念有点像是功能的整合，举AMD APU 为例，APU 的基本概念就是 CPU +显卡（GPU），而此概念需要多个散热装置，因此，APU 将其整合，既能减少电脑体积，也增加空间流通的散热性，不过性能并不一定比 GPU 来的好。

4.张量处理单元（TPU; Tensor Processing Unit）：

作为补充，TPU 是由 Google 开发的一种特殊用途的处理器，专门用于加速人工智能（AI）的计算任务。TPU 主要针对机器学习和深度学习等 AI 应用进行优化，与 CPU、GPU 和 APU 等「通用处理器」不同。

AI服务器不仅要有深度，还要比速度

当有了好的芯片处理器，我们有能力解决大量的数据运算，但还需要搭配有效率的运算成果，我们才有「办法」处理这些资料，以网络、运算、储存三个主要组件模式比喻，若要以最高效能运作，每个组件都必须跟上其他组件的速度，反之则会受到影响。

高性能运算（HPC; High Performance Computing ）：

根据技嘉科技网站解释，HPC 指的是能够高速处理数据或执行指令的运算能力，为达成此目标，则须集结大量的 CPU 或 GPU 处理进行。

算力：

常用 TOPS（Tera Operations Per Second）或者 TFLOPS（Tera Floating point Operations Per Second）做为衡量单位，分别表示每秒芯片能完成多少次的定点运算和浮点运算，数字越大，代表运算速度也就越快。NVIDIA 创办人黄仁勋先前就号称，自家产品可以达成 EXAFLOPS 级次的算力。

GPU重要性增加，CPU未来恐乏人问津？

NVIDIA 产品推陈出新，且都是专注在GPU产品，先前执行长黄仁勋也曾指出，AI世代已经到来，以GPU 为首的加速算力也取代了CPU，并且结合生成式AI，让世界进入新的运算时代。 他说，“过去每几年，CPU 运算速度就可快上5-10倍，但这样的趋势已经告终了，GPU 正是新的解决方案。”

无独有偶，AMD 近年也积极发展 GPU，今年6月15日数据中心和 AI 技术发布会，就端出高端 GPU Instinct MI300X，以及号称全球第一个为AI与 HPC 应用而开发的 APU 加速器Instinct MI300A，与 GPU 霸主 NVIDIA 的较劲意味浓厚，但除了比运算速度外，GPU 好像成了兵家必争之地，CPU 的存在感更为低落。

简单比喻，CPU 就好比人类大脑，处理大大小小的事情，为通才型处理器 ，却在处理速度和运算效率上，难敌大量琐碎工作; 同样的状况，GPU 则可以同时大量处理简易工作，更适合 AI 应用情境，是为专才型处理器 。