V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
NianBroken
V2EX  ›  程序员

关于在 Windows 端本地微调 Qwen 模型

  •  
  •   NianBroken ·
    NianBroken · 3 天前 · 823 次点击

    在网上搜了 3 天了,对于如何在本地 运行模型 的教程很多,基本都是保姆级的很详细的教程,我看了一遍就运行起来了。

    但是对于如何在 Windows 端本地 微调模型 的教程,却都很复杂。我连着搜了 3 天的微调教程,每天基本上有 6 个小数都在浏览器前面,还是看不明白。

    目前我电脑上有 本地模型文件数据集的 json 文件

    我有Ollama 格式、gguf 格式、.safetensors 格式,这三种格式的模型。 也有一问一答的 json 数据集,一共有五百条,例如:

    {"instruction":"你是谁?","input":"","output":"我是 ChatGPT 。"}
    {"instruction":"我是谁?","input":"","output":"你是向我提问的人。"}
    

    那么我该如何用这一个 json 数据集,在 Windows 端本地微调我的模型并生成一个新的模型文件?

    求推荐保姆一点的教程,就是告诉我第一步应该做什么,然后第二步应该做什么的那种教程。

    Fdyo
        1
    Fdyo  
       3 天前
    Qwen 不是在阿里云上有在线调试的窗口吗?你看看?
    NianBroken
        2
    NianBroken  
    OP
       3 天前
    @Fdyo 阿里云百炼在线调试的窗口好像没办法下载模型吧?
    Fdyo
        3
    Fdyo  
       3 天前
    @NianBroken 确实没法下载,抱歉,我略过了本地的需求(但不确定本地的和在线的模型是否在微调结果上能保持一致?)
    frankyzf
        4
    frankyzf  
       2 天前
    https://github.com/hiyouga/LLaMA-Factory 可以尝试按 readme 试下,加下微信群,遇到问题在群里问
    diroverflow
        5
    diroverflow  
       2 天前
    本地微调需要什么硬件?怎么有人说一张 4090 都不行啊
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3033 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 17ms · UTC 13:20 · PVG 21:20 · LAX 06:20 · JFK 09:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.