课程内容
我有话说
1/1 本地部署 ChatGLM3-6B 模型
手把手带读者在自己的 Windows 电脑上跑起一个开源对话大模型。文章先说明不同精度版本对内存和显存的硬件要求,再一步步准备环境、下载模型、按自身硬件选择加载方式,并最终实现可多轮对话的交互界面。适合想脱离云端、在本地体验乃至二次开发开源大模型的读者,照着文章一步步做即可在本机完成部署。
本课程通过环境配置与Gradio开发,讲解ChatGLM3-6B本地部署流程,解决开源大模型私有化运行,帮助学习者搭建对话应用。
手把手带读者在自己的 Windows 电脑上跑起一个开源对话大模型。文章先说明不同精度版本对内存和显存的硬件要求,再一步步准备环境、下载模型、按自身硬件选择加载方式,并最终实现可多轮对话的交互界面。适合想脱离云端、在本地体验乃至二次开发开源大模型的读者,照着文章一步步做即可在本机完成部署。
本课程通过 pickle 序列化与魔术方法,剖析反序列化漏洞成因,解决模型文件安全存储,帮助学习者识别风险并用 json 替代。
本课程通过TF/IDF推导与向量器拆解,讲解文本数值化与关键词权重,解决文档向量化与特征提取,帮助完成文本特征工程。
本课程经环境搭建到Gradio部署,讲解CosyVoice3音色复刻与情感方言,解决开源TTS本地落地,帮助完成语音合成demo。