2025年5月6日 18：00-21：30，第193期方班研讨厅（辅导课）在广州大学黄埔校区B1栋109报告厅成功举办，由广州大学网络空间安全学院讲师团进行【公共基础知识】讲解。第一位进行辅导讲解的是韦南老师，辅导主题为：神经网络基础(CNN，RNN)；第二位进行辅导讲解的是张登辉老师，辅导主题为：深度学习基础(LSTM，transformer)；第三位进行辅导讲解的是张怡凯老师，辅导主题为：图计算基础(图模型，图搜索，图嵌入)；第四位进行辅导讲解的是颛孙晨露老师，辅导主题为：知识图谱相关(图谱构建，图谱嵌入，图谱预测)；第五位进行辅导讲解的是王志刚老师，辅导主题为：LLM相关(大语言模型架构，推理，语言生成)；第六位进行辅导讲解的是王军晓老师，辅导主题为：LLM相关(提示词工程，检索增强，建议加入DeepSeek相关)。六位老师围绕人工智能与机器学习领域的前沿技术展开深入讲解，为同学们带来了一场精彩的知识盛宴。

主题一：神经网络基础(CNN，RNN)

讲解老师：韦南老师

韦南老师首先回顾了神经网络的发展历程，从1957年弗兰克·罗森布拉特提出的感知器模型讲起，指出感知机虽在解决简单逻辑运算问题上有一定作用，但存在明显的局限性，例如单层感知机无法解决异或问题，多层感知机计算困难。随后，韦南老师介绍了人工神经网络的发展，特别是杰弗里·辛顿在该领域的突破性贡献，其成果获得了2019年图灵奖和2024年诺贝尔物理学奖。此外，韦南老师还通过实际案例展示了人工神经网络在网络安全领域的应用价值，例如2022年冬奥会网络攻击拦截和2023年亚运会网络安全监测等。

然而，人工神经网络也面临着诸多挑战，例如难以获取样本高维特征的关键信息以及无法学习上下文特征等。为应对这些挑战，卷积神经网络（CNN）和循环神经网络（RNN）应运而生。CNN通过引入卷积层和池化层，能够有效提取高维特征，解决了人工神经网络在处理图像等高维数据时的难题。而RNN则通过循环单元和链式链接，学习上下文特征，解决了人工神经网络无法处理序列数据中上下文信息的问题。此外，LSTM循环神经网络作为RNN的一种改进，有效解决了梯度消失问题，进一步提升了循环神经网络的性能。

主题二：深度学习基础(LSTM，transformer)

讲解老师：张登辉老师

张老师首先介绍了人工智能的发展历程，将其划分为多个阶段：从20世纪50年代至70年代的第一次繁荣，到随后的“寒冬”，再到80年代的重振旗鼓、90年代的稳健发展，直至2012年后走向新的繁荣。这一历程充分展现了人工智能领域的起伏与进步。他还提到了21世纪被引用次数最多的论文，强调了深度学习在当前学术研究中的重要地位。

在深度学习的核心技术方面，张老师详细讲解了深度学习通过构建多层模型，自动学习从底层到高层的特征表示，从而提升预测或识别的准确性。他介绍了人工神经元的简单线性模型，并指出激活函数的引入为神经网络带来了非线性因素，使其能够逼近任何非线性函数。在讲解卷积神经网络（CNN）时，张老师详细阐述了卷积层、激活层、池化层和全连接层的作用，以及卷积核如何提取图像特征。他还通过对比浅层学习和深度学习，展示了深度学习在处理复杂特征时的优势。

此外，张老师还探讨了深度学习面临的挑战，如全连接神经网络的瓶颈问题，以及隐藏层过多导致的网络退化问题。他介绍了深度残差网络如何解决这些问题，并简要介绍了Transformer架构及其多头注意力机制，强调了其在处理序列数据时的强大能力。

最后，张老师为同学们推荐了相关的课程和书籍，如吴恩达的CS230课程、李飞飞的CS231n课程等，并提供了学习过程可视化的资源链接，帮助同学们更好地理解和实践深度学习技术。

主题三：图计算基础(图模型，图搜索，图嵌入)

讲解老师：张怡凯

张老师首先从图的概念讲起，通过经典的哥尼斯堡七桥问题引入图的基本元素，如节点（vertex）和边（edge），并介绍了不同类型的图，包括无向图、有向图、有权图、有标签图、二部图和时序图等。他还详细解释了节点的度数（degree）及其在图论问题中的重要性，为后续的图算法讲解奠定了基础。

在图算法部分，张老师通过实际案例展示了图算法在多个领域的应用，如Web链接图、用户商品图和溯源图等。他指出，图算法的核心在于解决节点中心性（衡量节点重要性）、内聚子图（寻找关系紧密的节点组）和子图匹配（在数据图中寻找与模式图一致的子图）等问题。他还强调了高效图算法的重要性，指出低时间复杂度和空间复杂度是满足实际业务需求的关键。

在图表示学习部分，张老师介绍了图作为一种非结构化数据的特点，以及如何通过图表示学习将节点、边或子图转化为低维向量，同时保留图的结构和性质。他详细讲解了节点嵌入的概念，并以node2vec为例，展示了如何通过随机游走和Skip-Gram模型生成结构相似节点的嵌入向量。node2vec借鉴了word2vec的思想，将语义相似性扩展到图结构的相似性，为下游机器学习任务提供了有效的向量表示。

主题四：知识图谱相关(图谱构建，图谱嵌入，图谱预测)

讲解老师：颛孙晨露

颛孙晨露老师首先从知识图谱的基本概念讲起，详细解释了图论中的图、知识的定义以及知识图谱的本质。她指出，知识图谱是一种基于图的语义网络，以结构化的形式描述客观世界中的概念、实体及其关系，具有结构化、语义化、关联化和可视化等特点。她还通过示例展示了知识图谱的直观呈现方式。

在知识图谱的构建部分，颛孙晨露老师详细介绍了从知识获取、知识管理到知识建模的全过程。她强调，知识获取需要从结构化、半结构化和非结构化资源中提取信息，并通过有监督、半监督或无监督的方法进行学习。知识管理则需要设计良好的存储结构，以实现对大规模知识的高效查询和检索。知识建模则涉及建立知识图谱的模式层，包括本体层和动态本体层。

在知识图谱嵌入技术方面，颛孙晨露老师介绍了知识图谱的存储形式，以及如何通过嵌入技术将实体和关系映射到低维连续向量空间中。她详细讲解了嵌入技术的目标、优化过程以及如何通过训练集、验证集和测试集进行模型训练和验证。

在知识图谱预测部分，颛孙晨露老师介绍了图神经网络（GNN）的基本模型及其任务分类。她通过具体的聚合、更新和多层传播过程，展示了GNN如何提取图结构数据中的特征，并用于节点层面、边层面和全局层面的任务。

最后，在应用场景方面，颛孙晨露老师聚焦于网络安全领域，介绍了网络安全知识图谱（CKG）的核心框架及其在企业智能安全运营中的应用。她通过实际案例展示了如何通过构建安全属性图模型来评估攻击源的威胁度，为网络安全领域提供了新的解决方案。

主题五：LLM相关(大语言模型架构，推理，语言生成)

讲解老师：王志刚

王老师首先介绍了LLM的基本架构与训练流程。他通过一个简单的问答示例（如“中国的首都是什么？”），详细解释了LLM如何将用户输入的文本进行分词、词嵌入，并通过Transformer架构进行多轮计算，最终生成准确的回答。他强调了Transformer结构的重要性，指出其多头注意力机制能够有效捕捉文本中的长距离依赖关系，从而提升模型的性能。

在LLM的微调部分，王老师详细介绍了全参数微调和高效微调（PEFT）两种方法。全参数微调虽然效果显著，但计算资源消耗较大；而高效微调方法如Prefix-tuning、Adapter和LoRA则在保持接近全参数微调效果的同时，大幅降低了资源需求和推理延迟。他通过对比不同微调方法的优缺点，为同学们提供了在实际应用中选择合适微调策略的参考。

在LLM的推理优化部分，王老师探讨了直接压缩、知识蒸馏和KV-Cache等技术。他指出，这些优化方法能够在不显著降低模型性能的前提下，显著提升推理效率，降低计算成本。他还介绍了如何通过量化、剪枝和缓存机制来优化模型的存储和计算效率。

最后，王老师结合实际案例，展示了LLM在不同任务中的应用，如文本分类、问答系统等。他还介绍了LLM在不同硬件平台上的部署情况，包括腾讯云节点、Dell服务器和A6000服务器等，强调了硬件资源对LLM训练和推理的重要性。

主题六：LLM相关(提示词工程，检索增强，建议加入DeepSeek相关)

讲解老师：王军晓

王老师首先介绍了提示词的基本概念，从人机交互的角度解释了提示词的定义及其在LLM中的作用。他指出，提示词是激活LLM“涌现能力”的关键，这种能力指的是在小型模型中不存在但在大模型中“突然出现”的能力。通过精心设计的提示词，可以激发LLM的潜力，从而获得更高质量的输出结果。

在讲解为何使用提示词时，王老师强调了提示工程相对于传统参数微调的优势。提示工程允许将外部知识注入LLM推理中，而无需更改模型的参数，这使得知识与模型分离，提高了模块化程度，同时也降低了添加新知识的开销。他还提到，尽管提示工程在效率上可能不如参数微调，但其在模块化方面的优势使其在整合和控制知识方面更具灵活性。

王老师进一步探讨了提示词在实际应用中的方法。他通过多个示例展示了如何使用提示词来引导LLM完成复杂的任务，如多步骤推理、任务控制和知识检索。他还介绍了如何通过结构化推理提示（如planning、verification和explore）来优化LLM的输出，使其能够更好地适应复杂的任务需求。

最后，王老师总结了提示工程的重要性，指出对于LLM来说，提示词不仅独特而且至关重要。随着LLM技术的发展，一问一答式的提示词已难以满足模型深度推理和任务控制精度的需求，而结构化推理提示成为提升LLM性能的进阶路径。他还提到，提示词的优化将成为AIAgent内部过程的一部分，从而使用户在使用LLM时的操作更加简单。

至此，本期研讨厅（辅导课）圆满结束。

整理：任璐易 冯浩桓

校对：王乐老师 鲁辉老师

责任编辑：鲁辉老师