4月26日，智能语言服务产业学院“2025 AI Agent”项目班顺利开展第十八周课程。本次课程由天津外国语大学网络安全和信息化办公室副主任、高级工程师韩嘉彬主讲，主题为《大语言模型本地部署和微调》。

课程首先聚焦平台开发与硬件环境。韩嘉彬对比了个人GPU配置与云端算力租赁的差异，梳理了不同显存规模对模型部署的影响，并介绍了Huggingface、魔搭社区等主流模型生态平台。在本地化部署环节，他分析了Ollama、vLLM、SGLang等推理框架的特性与适用场景，演示了通过vLLM搭建API服务实现模型在线推理的方法。在微调技术部分，韩嘉彬辨析了全量微调、局部微调与增量微调的概念边界，对比了提示词工程与模型微调的适用场景，重点讲解了LoRA高效微调技术的原理与优势。

实操训练环节，韩嘉彬带领学员使用Ollama工具完成本地大模型的完整部署流程，包括软件安装、安全与存储配置、模型下载、命令行调用及API服务启动。学员将本地模型集成至Cherry Studio等第三方工具，现场完成对话测试，实现了从环境搭建到应用集成的闭环操作。

随后，韩嘉彬带领学员走进学校数据中心机房，结合实体设备讲解高算力架构与底层网络通信布局。学员对照现场运行的硬件环境，就模型部署中的资源配置与性能优化问题进行提问。韩嘉彬结合设备运行状态逐一回应，将理论知识与实体设施进行对照讲解。

通过本次课程，学员掌握了大模型本地部署的运行机制与操作路径，能够独立完成从模型下载、环境配置到第三方工具集成的全流程操作。同时建立了对全量微调、局部微调、增量微调及LoRA技术的系统认知，为后续深入学习大模型微调奠定了基础。

智能语言服务产业学院将持续推进系列课程建设，强化前沿模型应用与工程化实践训练，为培养复合型语言服务人才提供支撑。

通讯员：田月茹