为深度学习选择最好的 GPU

编程技巧 · 浏览次数 : 501 · 发布时间 : 2022-12-29 13:50:30

为什么 GPU 比 CPU 更适合机器学习?

CPU(中央处理器)是计算机的主力,它非常灵活,不仅需要处理来自各种程序和硬件的指令,并且处理速度也有一定的要求。为了在这种多任务环境中表现出色,CPU 具有少量且灵活快速的处理单元(也称为核)。

GPU(图形处理单元)GPU在多任务处理方面不那么灵活。但它可以并行执行大量复杂的数学计算。这是通过拥有更多数量的简单核心(数千个到上万)来实现的,这样可以同时处理许多简单的计算。

并行执行多个计算的要求非常适合于:

图形渲染——移动的图形对象需要不断地计算它们的轨迹,这需要大量不断重复的并行数学计算。

机器和深度学习——大量的矩阵/张量计算,GPU可以并行处理。

任何类型的数学计算,可以拆分为并行运行。

在Nvidia自己的博客上已经总结了CPU和GPU的主要区别:

张量处理单元(TPU)

随着人工智能和机器/深度学习的发展,现在已经有了更专门的处理核心,称为张量核(Tensor cores)。在执行张量/矩阵计算时,它们更快更有效。因为我们在机器/深度学习中所处理的数据类型就是张量。

虽然有专用的tpu,但一些最新的GPU也包括许多张量核,我们会在后面总结。

Nvidia vs AMD

这将是一个相当短的部分,因为这个问题的答案肯定是Nvidia

虽然可以使用AMD的gpu进行机器/深度学习,但在写本文时,Nvidia的GPU具有更高的兼容性,并且通常更好地集成到TensorFlow和PyTorch等工具中(比如目前PyTorch的AMD GPU的支持还只能在Linux上使用)。

使用AMD GPU需要使用额外的工具(ROCm),这个会有一些额外的工作,并且版本可能也不会更新的很快。这种情况将来可能会有所改善,但是现在为止,最好还是使用Nvidia。

GPU选择的主要属性

选择一个够完成机器学习任务并且符合预算的GPU,基本上归结为四个主要因素的平衡: