买了一台二手Dell PowerEdge R730xd后的一些体会和成长

viploser

我大概在2022年底买了一台Dell PowerEdge R730xd。间断用了一阵子，歇着的时候比跑着的时候多，突发奇想地记录一下在家里放一台服务器的体会的个人成长。
我也不知道要写什么。教程是没有必要写的，有文档，非常详细的文档。我就想到什么写什么吧。所以就发到了天南海北里，意识流作品。也并不打算真的写很硬核的东西。



这台机器是在无情开评家买的，双路E5-2696V4，192G（16G*12）内存，500G SATA SSD+12T SAS HDD（3T*4），NVDIA Tesla P4，这么个配置。（下文不严格规范大小写了 太累了）
我不是专业搞的，也没见过一手产品，就是玩，轻喷。

第〇个问题 万事查文档 文档比搜索引擎靠谱
拿到设备肯定要升级一下bios和idrac的。如果在搜索引擎上搜，基本都是在idrac的某个页面上传本地下载好的包，然后选升级就行。但是，一定会报错，提示无法验证签名。Dell的bios，在某个版本之前用sha1，某个版本只有换了，需要从现有版本升级到过度版本，然后从过度版本升级1个版本（不是版本号，是发布的包），再从这个新版本升级到最新版。这个过程在文档里会写的非常清楚，也只有文档里才会写。在dell官网搜支持的时候，搜设备系列，不要用快速服务代码。二手设备过了支持期的话，新的包、新的文档、新的各种东西都不显示。

第一个问题 兼容性 还是要查文档
我的这张P4并没有真的起到生产力作用。装上之后风扇长期在76%甚至更高，空载都下不来，当时我只有一个房间，即使放到门外去，也吵得干不了活，而且我觉得真的跑起来邻居会投诉。看别人的文章，说是能用的，我相信也是能用的，但是官方文档没有明确说兼容，其实就是不怎么兼容。服务器的配件，扩展件，一定要明确兼容才靠谱。这里的兼容不一定非要原厂件，但要明文兼容。比如服务器的硬盘背板是sas向下兼容sata的，你说我用场景存储全闪行不行，文档上没说行，自己非要搞，有三种问题，一是插上不认，二是风扇狂转，三是坏的很快；当然不是说绝对不能用，多少会出点问题。还是拿硬盘说事，比如文档说支持dell原厂（贴牌），wd，Seagate，toshiba的hdd，我搞一个三星的怼上去能不能用，还真不一定。要是真不能用了，二手硬盘不好出手吧。

第二个问题 服务器需要至少两条线接路由器 看看口够不够
idrac管理网卡和业务网卡，在物理上是两个东西，所以至少要有两条线，两个ip地址，如果网络设置比较复杂，记得留出来。再不行就要接交换机了。但是，交换机的配置比服务器还难，NAT之后鬼知道会出什么问题。

第三个问题 第一次配置服务器还是需要显示器的
idrac非常强大（这是第四个问题了），但是需要给idrac配置ip地址啊。到手之前，你并不知道卖家或者上家会给服务器配什么奇葩网络，如果手里没有console线，没有串口（以及不会用上面的两种东西），还是老老实实弄显示器和键鼠吧，把idrac的ip配好，才能真远程。这个挺痛苦的。服务器配好之前很吵闹，机旁操作很蛋疼。idrac的配置界面莫名会英文，压力挺大的。

第四个问题 idrac非常强大
idrac就算服务器没开机也能访问，还能通过idrac开机关机。idrac是一个半图形化的东西（很简陋的网页），但至少不需要输入命令。不是很精确的说，可以把idrac理解成比较牛逼的家用pc的uefi那一部分。（现在很多uefi也有gui了不是么），idrac是直接调整硬件的。idrac这个东西是能直接调整raid卡的，能升级bios的，会备份的话还能回滚bios，idrac自己也有固件，而且和bios之间存在版本号的不严格对应关系。就是说idrac和bios如果他们的版本（包发布的日期）跨越的过大，可能会出问题（或者不让刷）。用服务器一般都是虚拟化。装个esxi，然后在esxi里装虚拟机，虚拟机里再装熟悉的操作系统，比如winserver什么的。esxi可以当成服务器的基础/基本操作系统。但是在idrac下，可以直接对硬盘阵列操作。比如有esxi，在idrac下重建raid，esxi就直接没了，数据和虚拟机也直接没了。所以管理网络是才和业务网络分开的，泄露还是很危险的。通过idrac还可以重装系统，装esxi也好，装winserver也好，装ubuntuser也好，装redhat也好，服务器是可以在本机硬盘空空如也的情况下通过网络装操作系统的。很神奇，接受了之后，发现家用pc好笨啊。


第五个问题 重启服务器很慢
服务器重启会自检硬件，所以很慢，非常慢。这个东西设计出来就是一直跑着的。

第六个问题 esxi
dell会发布定制化的esxi的，包里包含完整的驱动。在网上搜esxi装机，很多是工控机跑软路由那套东西，也有蜗牛星际搞nas那套东西，什么自建驱动啊，什么屏蔽签名啊之类的。esxi是vmware发布的，但是dell会自己发布客制化的包，直接用这个就行。esxi安装过程是全键盘操作的，类似debian的安装过程。装好之后会有一个ip，就可以从前台访问了。

第七个问题 电费和噪音
服务器两路电源，基本都1500W以上了，当然空载不会这么大功率，但是这个东西一直开着，一天几度电是没问题的。而且这个东西散热之后会让周围热起来，如果配外置散热的东西，比如服务器放房间，开空调，空调的功率也会需要的比较大，就又花了一分钱。然后是噪音。我搬家之后服务器放阳台，屋子里好一些。之前一室一厅，服务器放客厅，受不了的时候会更多，所以它闲置了很久。还挺心疼的。

第八个问题 所谓个人的成长吧
我没有手册，没有技术支持，没有团队，甚至我自己都不是专业的IT。我就只能求助于互联网，在真正认识第〇个问题之前，走了很多弯路，不只是中文互联网，英文的环境下，垃圾消息也很多。（想象一下遇到日常生活问题查百度知道的感觉）文档以外的东西基本不可信的占大多数，就算有用，也很可能是绕远的路子。比如我向重建raid，各种互相转发甚至剽窃的帖子都要进bios，但是完全没必要，idrac就可以实现。这个领域技术门槛很高，最开始学习那些名词解释都需要一些功夫（不仅是时间，还有精力），我这篇帖子没解释任何东西，idrac/esxi，如果没经历过，是没法理解的。现在回头看看自己折腾的路，特别像那片老梗帖子“观看当代大学生使用电脑”，摸索过来了，而且没淹死，就挺不容易的。这个摸索过程，我中英文皆看，那又怎么样，虽然相关关检测搜索的东西很少遇到资讯农场，但看了一大堆重复且没有营养的东西之后，越来越觉得，世界就是个草台班子。这个领域吧，价格相对透明，海鲜市场上看看，没太大波动，最开始入门买机器或者配件，找个靠谱的门脸还是挺重要的。选择无情开评家，也是看了他的视频之后觉得还行，才开始尝尝看的。这篇帖子没有交易，我的服务器是我自己花钱买的，而且他家那么大的买卖，不至于找我一个非专业人士做推广。我这一轮接触服务器，接触企业设备，很大程度上就是接触了一个新领域，服务器，虽然也是电脑，方方面面的，和pc差别真的挺大的，但真的捅破了那层纸，真的踏进一点点，又觉得似曾相识。折腾本身就是这么个过程吧。我买服务器，最开始是想训练ai模型，真的折腾一圈下来，真的不是很推荐个人在家里买服务器，哪怕是二手三手。有这个钱和想法，不如买台好pc，装个win+lin双系统，显卡加上（不知道4090还买不买的到，真想搞，4090d也不是绝对不行），内存堆上，搞个tb硬盘柜（这不就是搞个高端游戏主机么），比折腾服务器，开篇门槛要低很多了。

综合感触
其实搞一台服务器，还是有点后悔的，钱花了，成果没多少，感觉哪怕二手，性价比也不是很高。我真的不推荐自己在家买服务器，在多数甚至绝大多数情况下，如果不是专业学这个搞这个的，高配pc能解决的问题比服务器并不少。
但是从另一个角度来说，玩起来，会有当年折腾东西的快感。上次有这种快感，还是在2015rmbp上搞可移动磁盘wtg的时候，也就是2015年我刚来论坛的时候。一台服务器，让我找回了那种久违的成长我自我进化的快感，又怎么能说完全没有意义呢。


写了一篇其实没什么价值的帖子。
其实从这一轮回归论坛以来，已经不追求全精华了，最近几篇也都没有精华。
但为什么还是回来呢，就像刚才说的，为了找回那种久违的成长我自我进化的快感。
也为了几年和祭奠曾经的青春。我这些年告别了中文互联网，唯一的记忆，只在这里。回头看看，回来重温过去的“习以为常”，也努力找回之前的从容。

Per aspera ad astra
循此苦旅 以達星辰


viploser
https://arcice.org
UTC+8.00 2024-01-13 23:10

viploser

更新一下帖子

纠正几个错误
P4是明确支持的
P40和P100没有明确支持，插上能用，但是需要自制（手搓）供电转接线，我搞不定，也怕着火，所以淘宝解决的。运费高于售价的东西。
更神奇的是我的双路395W电源，插P4提示电源供电不足，插P40和P100不提示。（P4只需要75W，PCIe直接供电；P40要250W、P100要300W，而且需要接供电线；当然不排除我的P4或许有问题，也有可能五改过服务器iDrac设置忘了）

前几天升级了一下服务器
目前最新的配置是
双路Intel E5 2696 V4（单路2.20GHz 22核 44线程）
6块 960GB Intel SSD 组RAID5
6块 8TB Dell 7200转 HDD 组RAID5
2133内存 16GB 共24条插满 理论内存384GB
Nvida Tesla P40显卡 1张 3840cuda核心 1303MHz 384-bit 480GB/s 24GB FP16-0.184TFLOPS FP32-11.76TFLOPS FP64-0.367TFLOPS GP102
（备Nvida Tesla P100显卡 1张 3584cuda核心 1190MHz 4096-bit 732GB/s 16GB FP16-19.05TFLOPS FP32-9.526TFLOPS FP64-4.763TFLOPS GP100）
（闲置Nvida P4显卡 1张  2560cuda核心 886MHz 256-bit 192GB/s 8GB FP16-0.089TFLOPS FP32-5.704TFLOPS FP64-0.178TFLOPS GP104）

关于预算
所有件都是二手 就是所有 机箱主板CPU硬盘内存GPU电源线插线板都是二手
低端GPU计算卡的价格跳水很严重 P4目前300上下就能买到 P40和P100大概800上下就能买到

关于无情开评
他家有个淘宝店 无情开评严选
直接给B站号发私信也很快就有人回
他在B站发过粉丝群二维码 里面有Evan（彭总）

补充一点体会
ToB的设备和ToC的完全不是一回事，上手门槛很高。我主业和IT毫不相关，目前也算能搞服务器折腾的不怎么年轻（但也不敢说老）挨踢了。
个人非常不建议自己搞服务器放家里。真的还是挺吵闹的。我搬了新家有阳台了，把服务器放在阳台上才基本做到不影响生活吧。

e0yue

真不错，其实精华不精华没这么重要，重要的是把自己想写的都写出来，当然如果能放一些图表会更好一些，毕竟文字比较单调啊。

jyssysz

官方说明文件是最权威的。
服务器不能和家用计算机相比，最大的优点是稳定和安全，其他的都是缺点！！

天亮去看流星雨

我还是比较喜欢用笔记本。

909746823

这配置真的好强大。花了多少预算

jyssysz

天亮去看流星雨 发表于 2024-1-15 20:18
我还是比较喜欢用笔记本。

我也是手边随时备有笔记本，携带方便，随时可用。

ssuoi

无情开评他家居然有to C的业务一直以为只有to B的，想问下楼主是如何联系的？

alovelydoge

ssuoi 发表于 2024-1-16 15:01
无情开评他家居然有to C的业务一直以为只有to B的，想问下楼主是如何联系的？ ...

我也是第一次知道！