AI大模型在科技圈开始流行。
用户不断增长的需求推动了AI技术的演进。随着大型语言模型的应用场景日益增多，它们开始在我们的生活中发挥越来越重要的作用。
尤其是在休闲、娱乐和实际工作中，大语言模型的应用越来越普遍。这些模型凭借其自然的语义能力、强大的数据处理能力以及复杂任务的执行效率，为用户提供了前所未有的便利，甚至是人们过去无法想象的数字陪伴感。
然而，随着大语言模型的快速普及，云大模型的局限性逐渐显现。
连接慢、成本高、数据隐私问题是任何人都无法轻易忽视的热门话题。最重要的是，基于各种制度和伦理的云审查制度进一步限制了大语言模型的自由。
本地部署似乎给我们带来了一条新的道路。
随着本土大型模型的呼声越来越高，今年Github 和Huggingface 上涌现了很多相关项目。经过大量研究，我按照示例得到了一种在本地部署大型模型的简单方法。
那么，本地部署是锦上添花还是对我们的人工智能体验的史诗般的增强？
跟随小雷的脚步，我们一起来玩吧。
本地大模型到底是个啥？
在开始之前，我们先来谈谈。
尽管如此，有些读者可能仍然不理解“本地大模型”的含义，不知道它意味着什么。
总而言之，总而言之。
现阶段流行的大模型应用，如国外的ChatGPT、Midjourney等，以及国内的文心一言、科大讯飞、KIWI等，基本上都是依靠云服务器来实现各种服务的AI应用。
（图片来源：温心一言）
他们可以实时更新数据并与搜索引擎集成。他们不需要占用自己的计算机资源。他们把所有的计算过程和负载都放在远程服务器上，他们只需要享受结果即可。
换句话说，有网络，就真的牛逼了。
但一旦互联网断开，这些依赖于云的AI服务就只能在键盘上输入“GG”。
相比之下，本地大模型自然侧重于在设备本地实现AI智能。
除了不用担心服务器崩溃带来的问题外，也更有利于保护用户隐私。
毕竟，如果大型模型运行在自己的计算机上，那么训练数据将直接存储在计算机中。肯定会比上传到云端然后让服务器计算更加安全，而且也省去了各种伦理道德的云端审计。
然而，目前在自己的计算机上构建本地大型模型并不容易。
设备要求高是原因之一。毕竟本地大模型需要把整个计算过程和负载都放在自己的电脑上，不仅会占用你电脑的性能，还会使其长时间在中高负载下运行。
第二.
从Github/Huggingface上琳琅满目的项目来看，要实现这个目标，基本上需要有编程经验。最起码，你需要安装很多运行时库，并在控制台执行一些命令行和配置。
别笑，这对于庞大的网友基数来说确实很不容易。
那么有没有一种本地应用程序更加“一键式”，只要设置好运行就可以开始对话呢？
确实有，Koboldcpp。
工具用得好，小白也能搞定本地大模型
简单介绍一下，Koboldcpp是一个基于GGML/GGUF模型的推理框架。与llama.cpp底层相同。它使用纯C/C++代码，无需任何额外的依赖库。甚至可以直接通过CPU运行进行推理。
（图片来源：PygmalionAI Wiki）
当然，这会运行得很慢。
要使用Koboldcpp，您需要去Github下载您需要的应用程序版本。
当然，我也会发布相应的拨号链接，方便大家使用。
目前Koboldcpp 共有三个版本。
koboldcpp_cuda12：目前最理想的版本，只要你有GTX 750以上显卡就可以使用，而且模型推理速度最快。
koboldcpp_rocm：适合AMD显卡的版本。基于AMD ROCm开放软件栈，同规格下推理时间约为N卡版本的3~5倍。
koboldcpp_nocuda：仅使用CPU进行推理的版本。功能非常精简。即使相同规格，推理时间依然是N卡版本的10倍以上。
（来源：Github）
打开软件后，首先可以关注Presets选项。
在软件首页的预设中，有多种不同的模式可供选择，例如旧版N卡、新版N卡、A卡、Intel显卡等。
默认情况下，不设置任何参数启动只会使用CPU的OpenBLAS进行快速处理和推理，运行速度肯定会很慢。
作为N卡用户，我选择CuBLAS。此功能仅适用于Nvidia GPU。我可以看到我的笔记本电脑显卡已被识别。
（来源：雷科技）
对于没有Intel显卡的用户，可以使用CLblast，这是OPENCL推出的一个可以在生产环境中使用的开源计算库。它最大的特点就是强调多功能性。至于性能，我还没有做过详细的测试。
主页上另一个需要调整的部分是Context Size。
为了获得更好的上下文体验，最好将其调整为4096。当然，Size越大，可以记住的上下文越多，但推理速度也会受到明显影响。
（来源：雷科技）
再往下，就是加载大模型的部分。
目前大型开源模型主要是从huggingface.co下载。如果你没有能力出国，也可以从国内的HF-Mirror镜像站或者modelscope社区下载。
根据我个人的经验，推荐两款不错的本土大机型：
因果LM-7B
这是基于LLaMA2和Qwen的模型权重训练的局部大模型。它最大的特点就是原生支持中文。显卡显存小于8G的用户建议下载CausalLM-7B，显卡显存小于8G的用户可以下载CausalLM-14B。效果更好。
（来源：modelscope）
MythoMax-L2-13B
母语是英语的大模特。其特点是文学性较强，能根据要求写出流畅、可读的小说文本。缺点是只能通过输入英文才能获得理想的输出内容。推荐给普通消费者。使用MythoMax-L2-13B。
如果你只是想使用一个大的语言模型，那么不需要对其他部分进行调整。只需单击“开始”，您选择的模型就会在本地加载。
一般来说，你必须将前端部署到大模型上才能使用。
不过Koboldcpp最大的特点是在llama.cpp的基础上增加了多功能的Kobold API端口。
该端口不仅提供额外的格式支持、稳定的扩散图像生成、良好的向后兼容性，而且还具有持久的故事、编辑工具、保存格式、内存、世界信息、作者注释、角色、场景定制定义功能的简化前端——Kobold Lite 。
大致来说，界面是这样的。
（来源：雷科技）
功能也非常简单。
（来源：雷科技）
像这样，加载你拥有的AI对话场景。
“保存/加载”也很清楚。您可以保存当前对话并加载并随时继续。
在“设置”中，您可以调整一些AI对话选项。
（来源：雷科技）
其中，温度。代表对话的随机性。值越高，生成的对话就越不可控，甚至可能超出角色设定的范围。
重复处罚。它可以抑制对话的重复性，让AI减少重复的讲话。
生成对话的长度上限。上限越长，需要的时间就越长。重点是，在实际体验中，过高的生成上限会导致AI胡言乱语。我个人不建议增加这个值。超过240。
最大Ctx。代币。是可以给大模型反馈的关键词上限。数据越高，上下文关系越紧密，生成速度就会变慢。
完成设置后，您就可以与托德·霍华德进行热烈的交谈了。
（来源：雷科技）
不能再说话了吗？
单击左下角的聊天工具，模型会根据您之前的帖子自动生成回复以推进对话。
（来源：雷科技）
答案错误，或者谈话进展不顺利？
点击右下角的聊天工具，不仅可以重复生成AI问题和答案，甚至可以自己编辑回复，确保对话不会误入歧途。
当然，Kobold Lite 除了对话之外还有更多的可能性。
可以连接AI语音和AI绘图端口，这样在对话过程中，可以自动调用AI语言对生成的文本进行配音，并且可以随时调用AI绘图进行绘图两人现在对话的场景。
除此之外，您甚至可以使用更高端的SillyTarven 前端在对话中嵌入GIF 和HTML 内容。
当然，这些都是以后的事情了。
总结
好的，部署本地大型模型的教程就到此为止。
文中提到的软件和大模型我已经上传到百度网盘了，有兴趣的读者可以自行领取。
从我这六个月的经验来看，目前大型本土机型的特点仍然是“可玩性高”。
只要你的配置足够，你就可以完全连接大语言模型、AI语音、AI绘图和2D数字人，打造你自己的本地数字人。看着屏幕上栩栩如生的AI角色，一定会非常令人着迷。恍惚感如《serial experiments lain》。
但这类开源大模型的数据通常滞后，专业知识明显缺乏。根据实际测算，大部分知识库要到2022年中期才可用，而且无法调用外部网络资源协助。当你工作和审查信息时，你会遇到很大的限制。
在我看来，理想的大语言模型体验应该是端云交互。
也就是说，我可以在本地使用自己的大模型构建自己的知识库，但是当我需要使用时间敏感的信息时，我也可以利用互联网的力量来获取最新的信息。这样不仅可以保护个人数据的隐私，也算有效。解决开源大模型信息滞后的问题。
至于本地角色交流，如果你有兴趣的话……
我整理一下雷霆科技的人物卡怎么样？
2024年5月20日至6月30日，618年中特卖即将来临。淘宝、天猫、京东、拼多多、抖音、快手、小红书六大电商平台集体“听意见”，取消了预购。出售，价格疯狂！
用户评论
终于找到了！一直想了解一下怎么搭建本地模型，这篇文章太赞了，而且是“傻瓜式”部署，正好适合新手小白！
有15位网友表示赞同！
本地大模型确实挺酷的，不过一直找不到合适的教程。文章写的详细明了，关键步骤都标注很清楚了，希望能顺利完成部署后尝尝鲜~
有8位网友表示赞同！
这个标题让我以为是讲如何使用已经训练好的模型，结果原来是搭建整个模型！ 有点超出我的预期需求，我主要是想学习一下怎么用现成的模型做一些实验。
有9位网友表示赞同！
看了下这篇文章，感觉描述的太简单了吧？实际操作起来肯定复杂得多吧！希望后续文章可以讲解更深入的内容，比如模型选择、训练参数调优等。
有6位网友表示赞同！
哈哈，这个“跟着我做就对啦”说的真逗人 ， 感觉作者有点自信过头了，不过还是期待按照教程试一试！
有18位网友表示赞同！
'傻瓜式部署指南' 这种说法太夸张了吧？ 我接触过不少大模型的部署流程， 都说不上是简单易用的，这个本地模型估计难度也不小吧？
有18位网友表示赞同！
搭建本地模型真的需要强大的硬件配置吗？ 我的电脑配置一般般，能成功部署吗？ 文章有没有提到这些要求？
有17位网友表示赞同！
我一直想试试自己开发一个小型本地模型，这篇文章刚好提供了一个方向！ 但还是希望作者能够详细讲解一下模型的训练过程和评估指标。
有12位网友表示赞同！
看完了这篇文章，总感觉像是在看着个PPT一样， 缺少一些实践案例和代码示例，很难直接上手操作！
有20位网友表示赞同！
作为一名 AI 开发者， 这种 "傻瓜式" 的部署方式其实还是比较有帮助的， 可以方便初学者快速理解模型的搭建过程。但对于更深入的技术细节，还需要进一步学习和探索 。
有17位网友表示赞同！
期待看到更多关于本地大模型实战案例， 比如如何将它集成到实际应用程序中使用！
有7位网友表示赞同！
其实搭建本地大模型还有很多需要注意的问题，例如数据预处理、训练过程中的优化策略等等。 文章只是简单介绍了部署步骤， 缺少对这些关键问题的深入探讨。
有10位网友表示赞同！
本地部署模型的优势在于可控性高， 数据安全也比较好保障。 希望未来越来越多的人积极尝试本地大模型， 从而推动 AI 技术的更广泛应用。
有10位网友表示赞同！
我以前一直在用云平台上的大模型服务， 但最近开始考虑搭建本地模型， 可能是因为对数据安全更加重视吧！ 这篇文章刚好给了我一些方向和思路。
有15位网友表示赞同！
虽然作者说很 "傻瓜式"，但我还是需要花时间去消化这篇文章内容， 了解具体的步骤和工具。 期待能够顺利完成部署后感受一下本地大模型的强大功能！
有13位网友表示赞同！
搭建本地大模型确实是一个挑战， 希望本文能提供给一些学习这个领域的入门者一些指导方向， 也希望看到更多作者分享他们的经验和心得。
有12位网友表示赞同！
对于我来说， 最吸引的是“跟着我做就对啦”这种轻松幽默的语言风格， 让人更愿意去尝试和了解这篇文章的内容！
有9位网友表示赞同！
感謝作者提供这份教程， 希望能够帮助更多人入门本地大模型开发。 期待看到更多的精彩内容分享！
有5位网友表示赞同！