打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
M720Q+X710-DA4组软路由+万兆光纤内网
userphoto

2023.11.17 广西

关注

                                                               

2021-02-18 20:23:04 50点赞 333收藏 56评论

创作立场声明:本文所测商品为自费购入。如参加张大妈家的活动获得,我会在文中点明。坚持独立的评价观点是笔者创作的基本底线,绝不会因商品来源不同而有所偏颇,请各位放心。

一、起由

其实没啥特别的原因,就是有挺长一段时间我的WRT1900的LEDE有些功能不太好用,跟一个同事念叨了两句,他说咋不弄个软路由,又快,又好。于是乎上网搜搜,J1900什么的。后来搜到有人说M720Q,怎么怎么好,性能强颜值高做工好巴拉巴拉,比工控机路子的强巴拉巴拉。心想也罢,那就搞个强点的,于是开撸。

我的外网是千兆,最终搞定是的上联千兆,内网4光口万兆和4电口千兆,PvE上iKUAI + LEDE + 一个Windows连了一个RAID双槽硬盘盒做下载机。

二、硬件和选型

主机:Lenovo M720Q,来源深水宝(899),链接不提了,以下链接都从略。

主机可选件:包括PCIE转接卡,必选;无线网卡,没必要;无线网卡天线套件,没必要;后4口挡板,用电口4口网卡的话可选(也可不选),光口卡没必要(装不上);90瓦或65瓦电源,总得有一个是吧,联想传统扁方口电源,如果家有老笔记本自带,不要也行。

CPU:i5-8600T,深水宝,830

内存笔记本内存8G,旧的

硬盘:256G SSD,旧的

网卡1:东哥家I350-T4(369)和咸鱼 X710-DA4(750),只搞千兆电口的话,I350即可。我是都搞了一遍,先电后光。

网卡2:如果搞光口,我觉得你的PC上应该没有SFP+槽,所以还得有个至少单口的万兆光卡,深水宝 X520-DA1(239),我买了俩,因为有两个主机要连

SFP+模块:深水宝Intel 10G多模8571(45),我买了4个。

网卡3:USB无线网卡,Lenovo的,东哥家(69),干啥用后面说。

光纤跳线:LC-LC OM4多模双芯光纤跳线10米,深水宝(38),2根。

旧的四口千兆无线路由一台。

铁威马双槽硬盘柜,带RAID,东哥家(499)

三、说说硬件选择过程

CPU/内存/硬盘老三样,不多说了,差不多就行。这个准系统要配8代9代TDP35瓦的U,性能相当可以,一般人都会上虚拟机。

网卡,千兆电还是万兆光或是万兆电都可以,选不同的网卡看需求。如果家里没有大容量SSD或带有RAID的NAS存储,那千兆也就够了,毕竟机械硬盘的上限也就150MB,也就合千兆多一点,还不一定能持续发力。有万兆需求的话,现有的超5类线估计够呛,新拉6类线不见得比光纤便宜,而且线又硬又不好铺。所以我还是上万兆光了。

第一个要说的注意事项是网卡的版型,主要是长度问题。千兆卡一般没啥问题。M720Q内部总长度大约17cm,但是大部分常见X710-DA4都是17cm的版型,可能必须得拆掉无线天线架才能装上。可能啊,我没买来试过,这个网卡长度是一个淘宝店主量了告诉我的。这种卡应该是比较麻烦的,就下边这种。

估计不能用的网卡

我是看了网上另一个神仙的帖子,他的X710是短板型,如下图

可用的网卡(注意这不是我的,是某前辈的)(转载)

深水宝找不到,咸鱼上无意中找到一个,还有几块,我下单了一块,这个我量了一下,15cm长。正合适。深水宝上有一些短板型的标着HBA卡,可能也不行,买的时候要问好。

关于网卡的挡板。电口比较好办,M720Q有原配的4口电口挡板,就是比较贵,150+。严丝合缝毫无破绽,见图:

电口网卡挡板

光口就没有,自己想办法。上边那个大神是把原配的用来装VGA口的挡板自己锯了一下,弄好了这样的:

别人弄的自加工挡板(转载)

我虽然手头也有家伙什照样锯一个出来,但是懒癌发作,算了。

其实是因为我发现其实Lenovo这个位置其实没那么不堪,其实是个挺标准的空挡,比一般的挡板位置窄那么几毫米,形状、长度其实都一致。于是,很简单地,找把钳子,把自带短挡板的弯头掰直,把一个比较长碍事的大固定螺丝去掉,就这么成了。

我的省事版方案

由于没有精确钣金,我也没那个设备,所以左边的那边没能如同原装挡板一样地、稍微地浮起一点(如果你买到手就知道我啥意思了),所以,这个挡板是倾斜的。但是So what,这比没有强多了。我在左边还是稍微地加工了一下,电磨开了个小槽出来,可以拧上原位置的一个小螺丝,固定一下。但是不开这个槽上这个螺丝也没事,基本不影响固定。

扣上盖子以后是这样的,挡板的外边缘那个弯折恰好露在了机箱的外边,跟谁都不打架,很和谐。我这个相比上边那个神仙的方案,还有一个好处是,四个口的指示灯完美可用。(用上边那个神仙的方案可能不行,那个方案里,上边能留的金属边缘太窄了,没法再开8个槽显露指示灯,所以他干脆把导光板都去掉了)

定妆照

网卡的选择其实最麻烦,我还踩了一圈坑。因为我的上游是千兆电,下游也有千兆电的路由器什么的。710万兆光口能不能转成千兆电呢?

为这个我淘宝骚扰了一大票多个品牌的店主,一多半告诉我说没戏,另一半说他家的模块是自适应的可以。最终我测试了一个EB-Link的SFP+转电口万兆千兆自适应模块,标注了要兼容Intel的,结果诡异,确实可以通,但是在我的千兆线路上只有不到百兆的速度。我不是说这个品牌有问题啊,可能还是兼容性,因为有若干品牌的类似模块特别标注了710不行。另一个我测试的是博扬的SFP千兆光电转换模块,不带加号不是万兆,在我的那两块X520上OK,能顺利到千兆的速度,但是在710上根本不亮,貌似710,520都是10G/1G自适应的,不知道啥问题。

而且这些光电转换模块都很热,所以我最终决定:算了,另买了一个USB3.0的千兆网卡。主机主板上的电口做上联,USB电口网卡做下联。

四、系统安装

虚拟平台可选的无非ESXi,PvE,Windows Hyper-V。Hyper-V太重型了,还得带个Win Server,不知道要损耗多少性能,我看极少有人这么搞,首先Pass。ESXi我其实已经有好几个,很熟悉,不过觉得还是点重,我那几个每次启动都得好半天,也暂时Pass。这次打算用用PvE先试试。

装PvE的时候还没有装其他网卡,所以板载网卡就是管理口,自己随便设个IP就可以了,当然你的PC上也得加个同子网的IP,才能连上。网上有人说这个管理口只能是板载卡,其实不是,装好以后,在PvE节点自己的硬件属性里,能看到这个管理IP被绑定到某一个网桥上,这个网桥又被绑定了板载网卡一般叫eno1,但是这个是可以改的,你可以把随便哪些网口,光口电口都绑到这个网桥上,甚至这个网桥也可以换,这样随便从哪儿就都可以进管理界面。我的绑定如下图。

网卡绑定

我有6个物理口:板载电口,USB电口,4个光口。USB网卡和万兆光卡,还包括曾经用过又取下来的千兆4电口卡,PvE都可以自动驱动,不用自己麻烦。不管是4口千兆还是万兆,我这里名字都没变,都是enp1s0f0-s0f4。所以么,电口光口网卡切换没压力,啥设置都不用改,换完重插一遍线就可以了。

我闲的没事建了4个网桥,0和5没用。剩两个网桥vmbr1和vmbr2是有用的。vmbr1用来接上游外网,绑定板载电口eno1和1号光口enp1s0f0(实际这个1号光口现在并没有用到,以后要用的话我会把它挪到vmbr2去,现在......我懒癌了);vmbr2用来对应内网,绑定了其他3个光口和USB电口。管理地址是192.168.1.225 / 24,也绑定到了内网网桥上。这样,内网随便哪个机器,都能访问PvE管理端,空白PvE不装任何虚拟机都可以。

顺便说一句,电卡和光卡的编号顺序不一样,虽然都是Intel自己家的。就我上边照片里那个摆放方式,如果是电口,4个口最下边的是enp1s0f0。光口的话,对应的是最上边那个口。我是福至心灵,大彻大悟才悟到的,真是见了Intel的鬼了。

圆规正传,这俩网桥,1和2,后边装各个虚拟机,软路由都绑上就行了。记住哪个对哪个。比如下边是我的iKUAI的绑定方式:

软路由绑定

vmbr2刚才说了是内网,图上对应iKUAI的net0,同理可得,net1是外网。在iKUAI的管理界面别弄糊涂就行。各个网卡都用半虚拟化的方式,MAC地址么就随他去吧。

如果两个虚拟机绑定了同一个网桥,那么默认他俩就能通。这个也是我一开始糊涂的地方,一度以为在iKUAI和LEDE之间还得来根真的网线。而且,还可以弄个不绑定任何物理网卡的内部虚网桥,俩虚拟机可以用这个虚网桥连上进行通信。PvE内部的这种虚网桥带宽极大,我用iperf3测试单线程可以到6G左右,多线程可能只取决于CPU的能力,我测出来过15G的,高了也没意义,所以没使劲测。奇怪的是ESXi却不行,这种内部网桥我测的不过1.5G而已,同时它的外部带宽在万兆卡上却可以到10G,不知道是不是我哪儿没弄对。(BTW:最开始研究的时候,也见到过网上有人说PvE网络性能损耗低)

如果装Windows,随便你怎么绑网桥,绑到外网上,它就是台外部的机器,从外部获取WAN的地址,想跟内网通要通过路由器,端口转发什么的。绑到内网网桥上,那就是台内网机器,走局域网地址。看怎么用了。

网络设计针对自己需要自己设计吧,进一步的还可以在软路由里设置VLAN什么的。不过如果要在软路由里设置VLAN,就不能像我这样在网桥上都绑在一起,我这样的在路由里看到的就只有两个网口,没法分。要分开每物理端口各自绑定一个网桥,再把所有网桥都添加到软路由的设备列表里,在软路由里面再进行WAN、LAN的分配。但是如此设置的话,管理端口地址就只能绑在其中一个网桥上,不能全通。抑或可以多设几个不同的管理IP,分别绑,不同的主机使用不同的IP访问PvE管理端。这个有点麻烦,反正我没试。另外,这样分开的话端口之间的通信貌似要通过软路由,不知道有没有性能损失。愿意折腾的可以试试。

网络设计和设置好之后,爱怎么装就怎么装,我是iKUAI做主路由,LEDE做单臂旁路网关,也叫旁路由。各种帖子多的是,安装配置镜像转换等等我就不多说了。我这么弄俩有我的原因,我有WAN口单线多个IP的需求(不是负载均衡)、IPV6的需求、VPN的需求、还有..上网的需求。需求太多,难免难过。都用LEDE弄起来有点麻烦,懒癌再次发作,不想琢磨了,iKUAI有些是现成的就可以解决的,所以就分开成俩了。话说我还自己搭了LEDE的编译环境,能够编译出来可用的LEDE固件,但是后来还是恩山上找了一个别人做好的。

做好之后iperf3测速:

前面说了,PvE内部的互通速度可以飙到没什么卵用的15Gbps或更高。10G光路上,Windows单线程缺省设置啥参数都不加,最高3.2G,多线程或是加大Cache比如加 -P 4 -w 2M,可以到9.6G,这个就差不多了够意思了。1G电通路,虽然经过了外置的那个旧路由器,还有那个USB3网卡的弯弯绕,还是可以到960M左右,基本满。5G无线,300M没啥问题,这都可以了。

不过,要想到10G,巨帧要开的,否则10G线路不管怎么搞,也就最多到5G多。PvE里的各个物理卡光口,MTU设成9014,对应的网桥MTU也设成9014,两端的PC上的网卡设置,高级参数里,巨帧也要选成9014。iKUAI里有没有相关设置忘了,有的话也设成9014,9014不让设的话就设成9000(计数方法不一样,其实一回事),反正整个通路都是9000/9014就可以。

实际smb拷贝大文件,我还真是没有两端都能读写到1GB/s的存储设备,所以测不到顶。写入端用NVME SSD,读取端实测一个6HD盘RAID6能到600MB多的速度,一个2HD盘RAID0能到300MB,达到了我这些HD存储的极限,我基本满意。

五、总结

不写点啥好像不完整。

嗯.......以上,PvE整体负载其实很低,SSD用量也挺少,搞更多的应用也是完全可行的。NAS,黑群,智能家居等等,有时间慢慢折腾吧。

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
充分利用手头小机器,从Debian开始搭建aio(Debian11+PVE7+OMV)傻瓜式教程
我心中理想的小主板折腾记
新人回馈,记录暴风播酷云j3455+pve+睿频+折腾黑群晖+爱快+lede
步步为营
proxmox ve(PVE)下 RTL8256B USB2.5G驱动安装方法~
爱快iKuai和lede旁路设置教程
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服