V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
woyaojizhu8
V2EX  ›  Linux

请问有人了解 kvm 显卡直通吗?

  •  
  •   woyaojizhu8 · 2016-07-18 22:54:54 +08:00 · 22470 次点击
    这是一个创建于 3043 天前的主题,其中的信息可能已经有所发展或是发生改变。
    一直觉得虚拟机图形性能不够,想试试显卡直通,但看了相关介绍感觉挺困难的,比较挑硬件。这段时间一直在考虑接下来要配的台式机的配置,现在想把显卡直通这个也考虑进去,请问 e3 v3 +z87 主板和 e3 v5 +c236 主板哪个更适合显卡直通呢?宿主机系统为 ubuntu 16.04 ,客户机应该是 windows ,插两张显卡,一张主卡,一张直通给虚拟机,均限定为 n 卡,这两张显卡又选什么比较好呢?
    之前发的求配置贴: https://v2ex.com/t/290762#reply53
    24 条回复    2018-02-06 17:24:32 +08:00
    fzinfz
        1
    fzinfz  
       2016-07-18 23:32:25 +08:00
    测试过某 C602 品牌机,发现服务器很挑显卡,非兼容列表的问题 N 多, Passthrough 更挑一言不合就死机,不知道通病还是个例。。。

    客户机 windows 推荐试下 Windows server 2016 preview 的 remotefx , i3 核显都跑得很欢
    smilejustforfan
        2
    smilejustforfan  
       2016-07-19 01:17:24 +08:00
    我之前用過 vfio 做 passthrough ,顯卡是 k2 ,主板不詳, u 是 i7
    CupTools
        3
    CupTools  
       2016-07-19 04:26:45 +08:00
    CupTools
        4
    CupTools  
       2016-07-19 04:27:51 +08:00
    主板要支持 VT-d, that's a given
    然后最好是服务器芯片,例如 C236

    普通消费者板容易出问题,特别是 ACS 或者 VGA i915
    iamwb
        5
    iamwb  
       2016-07-19 07:48:13 +08:00 via Android
    参考 unRAID
    Siril
        6
    Siril  
       2016-07-19 13:24:35 +08:00   ❤️ 2
    以前折腾过这个,得出几点总结:
    esxi + AMD 显卡 + 正确的显卡驱动 + 运气 = 玩的 happy ;
    HD7770 ( R7770 )约等于 R7 250 ,这个级别以上的显卡容易遇到奇怪问题;
    kvm = 痛苦折腾,未能折腾成功,理论上可以;
    nvidia 消费级显卡(即使是泰坦)= 没可能;
    集成显卡=不能直通;

    vt-d 技术,需要 cpu 和主板同时支持方可启用,
    intel 的
    主板
    消费级 Z 系列、 B 系列 大厂主板(某 G 某 A)基本都支持,可能有 bug ,
    H 系列没指望,
    服务器芯片组基本都没问题。
    cpu vt-d 的支持: i5 、 i7 不带 k ,或 e3 e5 e7 ,详见 ark.intel.com

    ---------------
    amd 的据说全家支持,然而性能和功耗发热悲剧,
    上面是至少 1 年前的经验,
    最新情况如何,比如.... 可能 (
    kvm 的 bug 修了或者配置变容易了,
    nvidia 新显卡放开限制了
    ),
    有待楼主自行测试。
    Siril
        7
    Siril  
       2016-07-19 13:33:17 +08:00
    esxi + i7/e3/e5 + a 卡, 我成功过多次,均使用过一段时间。
    比如
    3770 / 4790 / e3 1230v2 / e3 1230 v3 / 2620v2 / 2650 / 2660 / 2670 +
    asus 的 b85 ,
    asrock 的 z77 ,
    gigabyte 的 b75 ,
    asrock E3C224D4I-14S ,
    asus z9pa-d8,
    asus-P9D-MV 。。。
    --------------------------
    amd
    HD7570 (HP OEM 渣渣),
    HD7750 ,
    R7770,
    R7 250E,
    以上三屏 ok ,主流网游 ok
    R5 230, (貌似比核显略强,至少双屏 ok , dota ok )
    R9-270(这个配合 z77 ,似乎卡 pcie 带宽的感觉, HDMI 音频和画面在游戏时会卡住)
    ---------------------------
    n 卡坑 die ,功能阉割, AMD 大法好。
    woyaojizhu8
        8
    woyaojizhu8  
    OP
       2016-07-19 22:13:22 +08:00
    @CupTools kvm=off 是指关掉 kvm ,纯粹用 qemu 模拟?这样性能不会很差吗?还是说只是针对英伟达驱动的一种伪装,实际没有关掉 kvm ,不会有性能影响?
    另外,为什么最好是像 c236 这样的服务器芯片组呢? z87 这样的芯片组有什么额外的问题呢? ACS 的话, e3 本来就不支持的;而 VGA i915 的话,虽然我没看懂它具体是做什么的,但好像跟 intel 核显有关,而我考虑的 cpu 型号都是不带核显的
    woyaojizhu8
        9
    woyaojizhu8  
    OP
       2016-07-19 22:25:19 +08:00
    @Siril 因为从前用 a 卡时被蓝屏和内部错误折磨得痛苦不堪,所以不到万不得已不想考虑 a 卡
    woyaojizhu8
        10
    woyaojizhu8  
    OP
       2016-07-19 22:26:16 +08:00
    @fzinfz 那有没有一个包含 n 卡的兼容显卡列表呢?
    fzinfz
        11
    fzinfz  
       2016-07-19 23:08:03 +08:00
    @woyaojizhu8 官方的兼容卡太贵我没有测试,测了 3 张都会 PCI bus error 就放弃了。而且兼容显卡列表并不一定指一定兼容 VT-D passthrough 。

    考虑 Xen 的话可以参考下这个链接:
    https://en.wikipedia.org/wiki/List_of_IOMMU-supporting_hardware#Nvidia
    CupTools
        12
    CupTools  
       2016-07-20 04:49:00 +08:00
    @woyaojizhu8

    kvm=off 不代表关掉 kvm 加速,只是隐藏 kvm 的 flag 。旧的 n 卡驱动 kvm=off 就够了,但是新的驱动需要改 vendor_id

    服务器板对 IOMMU 支持会更好, rule of thumb 。一般的芯片你可以自己试试。
    AILion
        13
    AILion  
       2016-07-20 08:47:20 +08:00
    这道题我会做(举手)

    根据题目中“虚拟机图形性能不够”、“双显卡”,我理解成你是要自己日常使用包括玩游戏,而不是拿来做服务器的

    KVM
    优点:显卡支持还可以
    缺点挺多的:你需要长期运行一个臃肿的底层系统比如说 Ubuntu ,你对底层系统的更新、升级、意外操作都可能让整个架构崩溃。重启底层系统意味着完全关机。除非你用 SSH 等 CUI 方式连接到底层系统,否则你可用的虚拟机数量=显卡数量-1

    推荐使用 VMware ESXi
    优点:底层系统非常小性能损失低、虚拟机数量=显卡数量、定位就是虚拟机,功能非常完善、虚拟机玩大型游戏杠杠的
    缺点:日常使用支持部分 A 卡。 N 卡除了超高端系列都会报 53 错误无法驱动。

    赠送 Google 关键词: one cpu x gamers , x=>2~7
    woyaojizhu8
        14
    woyaojizhu8  
    OP
       2016-07-20 19:08:41 +08:00
    @AILion 我选择 kvm 一个原因是它支持 n 卡(虽然也被英伟达封杀但没有 vsphere 上那么彻底),但更重要正是因为它需要运行一个底层系统。如果我选择 vsphere ,只能通过远程操控,在操作上感觉跟配了多台电脑没什么区别,无法灵活切换。
    woyaojizhu8
        15
    woyaojizhu8  
    OP
       2016-07-20 22:33:21 +08:00
    @CupTools
    @AILion
    @Siril 是不是直通显卡的话,只能另外接一个显示器,而不能将虚拟机画面显示在主机屏幕上的一个窗口里?
    AILion
        16
    AILion  
       2016-07-21 01:00:53 +08:00
    @woyaojizhu8 显卡直通的意思就是 GPU 独占,当然必须是独立的显卡+独立的显示器
    Azus
        17
    Azus  
       2016-07-21 16:22:18 +08:00
    @woyaojizhu8
    配新系统,如果是我就咬牙上 e5, acs patch 不会被正式内核接受,毕竟作者也不确定是否会对系统造成损害
    将来的内核升级都得手工打 patch, 哪天不能用了或出什么古怪问题也不确定
    e3 v3 + z87, z87 不支持 ecc 内存. 不考虑 ecc 内存,不如上 LGA 2011 接口的 i7, 可以支持 ACS
    e3 v5 + c236, 既然放弃原生 ACS 支持,当然需要考虑增加 iGVT-g 支持了,还是选带核显的 U 好
    ssd m6s 不带断电保护,选 ssd 可参考下 http://open-zfs.org/wiki/Hardware#Power_Failure_Protection
    显卡先别买,用手头的老卡先练手,老卡一般也比新卡碰到的问题少
    如果手头有老机器适合练手,先用老机器走通流程, 把概念摸清

    @AILion
    "对底层系统的更新、升级、意外操作都可能让整个架构崩溃。重启底层系统意味着完全关机。" 这句话不管是对 ESXi 或 Xen, 都适用. 底层系统只装虚拟相关软件,能有多臃肿. 而且长期运行的项目适合丢到容器里,总比下面再多一层 ESXi 或 Xen 性能更好.
    woyaojizhu8
        18
    woyaojizhu8  
    OP
       2016-07-22 22:39:32 +08:00
    @CupTools
    @Azus
    @Siril xeon e5 1620 v3 (淘宝拆机货)+ 华擎 x99 极限玩家 3 +三星 16gx2 ddr4 2133p recc 内存这个组合怎么样?这个支持 acs 而且价格相对便宜(大约 4000 )
    CupTools
        19
    CupTools  
       2016-07-23 03:00:59 +08:00 via Android
    @woyaojizhu8 🌚 这道题我不会做 玩的都是 Xeon D
    Azus
        20
    Azus  
       2016-07-23 20:00:10 +08:00
    @woyaojizhu8 私以为这样搭配可以接受
    mlyy
        21
    mlyy  
       2016-08-02 07:46:30 +08:00
    报个 dp.2014mid 15rmbp 低配外接 gtx 970 成功。 linux-vfio-lts 内核。唯一问题是磁盘写入性能非常差劲。 unigine heaven 跑分,原生 windows or linux 都是 1500,pci 直通 1400.
    cck
        22
    cck  
       2017-06-07 01:32:26 +08:00
    @Siril esxi 直通给的虚拟机关机的时候,显卡的功耗是怎样的,最大功耗还是最小功耗?从别的地方看到说 esxi 没有显卡驱动所以最大功耗。不同的显卡是不是情况也不同?能否推荐个在功耗上兼容比较好的显卡。
    另外,能否从这些显卡里面推荐一个性能还可以的目前还能买到的显卡。
    非常感谢。
    Siril
        23
    Siril  
       2017-06-10 12:05:49 +08:00 via iPhone
    @cck 这个不清楚; 因为没有 esxi 开机而直通的 vm 关机的必要啊。从显卡风扇狂转推测是最大功耗,这个不太确定... vm 开机后恢复正常。

    我试过的最新的是 hd7750,hd7770,R7 250,R5 230。我认为目前最新的 amd 中低端显卡应该都行

    高端显卡似乎直通容易出问题
    jyf007
        24
    jyf007  
       2018-02-06 17:24:32 +08:00
    @AILion 能不能配置一个串口终端代替显示器呢?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   977 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 22:56 · PVG 06:56 · LAX 14:56 · JFK 17:56
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.