如何配置一台以机器学习、深度学习为用途的工作站?

(36) 2024-02-27 12:50:20

来源:https://www.zhihu.com/question/310387269

编辑:深度学习与计算机视觉

声明:仅做学术分享,侵删

作者:丁一帆
https://www.zhihu.com/question/310387269/answer/926638382

这里介绍10K以下的机器

众所周知,深度学习是有钱人的游戏(笑)作为一个穷学生(definitely)为了不只和minist较劲,需要配置一台较好的工作站,然而学生荷包空空,实验室的服务器抢手,如何配置一台够用的服务器呢。

(洋垃圾)服务器篇:

穷人的救星,P104显卡

P104显卡,或者说是换了马甲的1070显卡,拥有8G显存,一般只要700RMB就能搞到不错的橙色,用于跑深度学习再好不过了

笔者刚好有一块P104显卡。这块卡是750rmb收的。用于跑深度学习再好不过了

如何配置一台以机器学习、深度学习为用途的工作站? (https://mushiming.com/)  第1张

大概长这样

卡支持cuda,意味着tensorflow和pytorch都可以使用

如何配置一台以机器学习、深度学习为用途的工作站? (https://mushiming.com/)  第2张

tensorflow初始化,8G显存可用

由于去掉了视频输入输出模块,该卡的温度较低,满载65摄氏度左右。

手上刚好有个PSMNet 跑一下看看温度吧

如何配置一台以机器学习、深度学习为用途的工作站? (https://mushiming.com/)  第3张

第二个epoch,其实大差不差

然后是算力?算力的话,以1080ti为坐标系1 大概是0.6-0.7左右(训练PSMnet的时候有图片加载时间,是0.7)

如果电源够大,可以考虑四块连载,效果更佳

(洋垃圾)平台篇(c612)

如果是老师付电费系列,当然可以直接选择C612

现在x99平台的cpu已经足够便宜(AMD,YES!)这里推荐使用富士康的主板和e5 2670v3*2

加起来也就1700元

拥有48条PCIE和28C 56T 足够你插4块显卡了

当然作为A fan 我肯定用amd啦

如何配置一台以机器学习、深度学习为用途的工作站? (https://mushiming.com/)  第4张

大玩具2

如何配置一台以机器学习、深度学习为用途的工作站? (https://mushiming.com/)  第5张

主力机

但是一定要知道,amd的pcie实际上是不足的,最多支持两块显卡,拿来跑小项目还行,多卡大项目是不行的

(洋垃圾)散热篇

水冷?不存在的。买不起。

基本上是靠暴力风扇来散热,做深度学习多卡一定要先考虑散热再上玩具,大部分机箱的散热性能堪忧,两块显卡就能上90度,千万别嫌吵,能上多大风扇上多大风扇。

基本上就写道这里把,我会一点cuda,主语言还是C++,人生苦短,python太慢,还是C++好。

作者:sqrt3
https://www.zhihu.com/question/310387269/answer/589429977

我觉得可以分情况讨论

1.新手:没有任何深度学习经验,想体验一下深度学习技术(跑一些现成的代码)

选择A - 各种云:个人只用过AWS云,其它的估计差不多。好处在于可以直接加载别人的预设环境,省去很多配环境的烦恼,并且学生/新手有各种优惠,基本不用花什么钱。

选择B - 淘宝租服务器:目前淘宝租一个月单卡1060服务器约400元,租一个月1080ti约1100元,还提供各种有偿配环境的服务,个人觉得比云要实在一些。

选择C - 拿自己已经有的机器:15年以前的模型基本上CPU或者MX150就能跑了,也可以顺便学学怎么配环境装驱动。

2.入门:已经学习了一些深度学习基础,打算参与实战项目,比如复现论文和改进经典的模型。

这个阶段不建议大家用云,性价比不高并且折腾的空间小,毕竟只有在不停折腾中才能不断进步。

选择A - 游戏主机: 按照家用游戏主机的思路,根据自己的经济情况选择相应的配置,可以参考网络上很多现成的推荐,也可以直接对已有主机进行升级(比如多插一块矿卡,再升级下电源)。

要注意深度学习和游戏不同的几点

  • 因为希望机器能长时间高性能运转,尽量选择更好的电源/散热和主板

  • 超频的本质是用速度换稳定性,所以不要考虑超频

  • 把大部分的钱花在显卡上,可以上双卡(不需要主板支持SLI,只要有显卡插槽就行,两张显卡也不需要型号相同)

  • 差钱的话可以考虑核显+矿卡,比如i3 8100+双P106的配置,3000元左右就能配到一台显存和算力都说过得去的深度学习主机,基本上17年以前的深度学习模型都能训练

  • 10系和20系显卡的选择:如果不用FP16的话(入门玩家使用FP16有点自找麻烦),目前10系卡性价比高一些。介意二手就买20系卡,或者等将来20系砍光追的版本(gtx1180?)

选择B - 服务器主机(洋垃圾)/矿机:适合预算有限的情况下追求更高的算力和性价比,是垃圾佬的话自然懂,所以不做展开以免让大家误入歧途。但有一点需要告诫垃圾佬:显存不是简单的相加,6张p106虽然显存加起来比一张tesla v100还多,但是并不能开一样大的batch,因为模型的参数是每张卡都要复制一份的。比如你模型有3g,那你每张卡就只剩下3g分给数据了,相当于有效显存只有一半,别问我是怎么知道的。。。

3 进阶(科研方向):已经熟练掌握深度学习知识,理论基础扎实,打算follow最新的文章,探索未知的模型架构

不同研究领域对卡的需求差别很大,听说很多做理论的数学大佬都不怎么用显卡的。我目前在学习NLP,如果想要合理的时间内fine-tuning一个BERT-base(18年最火的模型),至少要2张1080或者同等算力的专业卡。并且调参调模型一般会同时跑好几个实验,所以卡越多,进展就越快,成功的概率就越大。如果是做CV里面的和视频相关的一些task,就更加吃卡了。这种需求如果不是家里有矿,还是借助实验室或者公司比较实际。实验室一台主机8张卡,会有几个人和你一起分,就我在两个学校的经历来看大部分时间大部分卡都是空着的,只有接近论文DDL的时候会挤到爆炸。

就算有服务器的情况下最好还是按照上面的建议自己组一台/申请一台主机,显卡的话可以选择和服务器尽量接近的版本(比如服务器是v100本地就配20系,服务器是titanxp本地就配10系),毕竟本地debug更方便,并且在服务器爆炸/断电的时候还有显卡用一用。。。

4 进阶(工程方向):已经有深度学习项目经验,实践能力强,打算开发一些fancy的应用

这一块我了解的不多,可能在云上开发应用是更合适的选择,因为云上有很多算法落地的API可以用,比如你要开发一个对话系统,就可以用云上语音转文字/文字转语音等等API来拓展使用场景。

作者:致熵
https://www.zhihu.com/question/310387269/answer/583357364

既然从笔记本转过来,说明需求也不特别大,可以考虑以下配置:

显卡2080ti,如果是上多块显卡,处理比较复杂些,单卡可以风冷,多卡必上水冷。同时多卡对主板cpu的要求大幅提高。

主板+CPU,必须要联合起来考虑,最主要的是通道数,如果是单卡,就普通桌面高级版即可,具体看CPU是哪家的,有配套。但要注意,如果是多卡,或者先单卡,之后打算升级的,也要配高通道数的板U。至于核心数,如果不考虑其他用途,少一些也没关系,核心数和钱成正比关系。

散热器:不超频可以用风冷,建议水冷稳定些。

内存:可以考虑每卡32G,当然和你的内容有关,尽量大些,同时上面的主板也要考虑最大支持内存。至于超频,为了稳定性,不建议CPU和主板内存等超频。

硬盘:建议m2固态1t,想小一点500g必须的,当然如果用两个,sata大容量SSD加一个也是可以的。至于机械硬盘,反正很便宜,接一个也可以,拆卸也方便。

机箱:一定要大些,品牌好点的。2卡以下全塔中塔都可以,如果用两个电源必须用全塔。

电源:把所有最大功耗加起来,然后除以70%。比如(以下为假设功耗)单卡250w,CPU170w(注意CPU在睿频时功率大幅高于标称的95w),主板内存条固体机械键盘风扇等算它120w,外接设备预留50w,还有什么漏了都可加上,然后除以70%,得到850w左右,如果是金牌电源可以除以80%。注意有的显卡是超频的,功率可能是320w。不要卡得很紧。电源要好点的。

显示器:平面,设计用的,4k 32-40英寸(感觉27吋实在字太小了,而2k又显示内容不够多)

键盘:机械键盘,茶的试试,不怕手累可以青的,但千万别买红轴。

最后:具体配置看需求,看预算,看计划。

作者:幽泉ba主
https://www.zhihu.com/question/310387269/answer/583763336

个人建议,工作站电脑还是不要DIY配置,直接购买专业工作站电脑整机比较好。

由于工作站的特殊性,其需要面对7*24小时满负荷工作状态,这种不是一般DIY台机出厂检查需要标准,因此不能保证DIY台机能够实现相关工况而不出现任何故障问题;而专业的工作站电脑整机在设计、配置、检测都是按照相关标准进行的,能够保证工作稳定性。

其次,就是专业工作站一般会有针对不同应用而开发的配套软件,这些也是其价值所在;而一般DIY台机是无法获取或者无法使用的(需要特定硬件支持)。

所以,如果你真的需求一台用于工作的工作站电脑,建议购买专业产品,而非DIY台机。

     不断更新资源

     获取更多精彩

长按二维码扫码关注

如何配置一台以机器学习、深度学习为用途的工作站? (https://mushiming.com/)  第6张

THE END

发表回复