AI大模型全栈结构


AI大模型全栈结构


引言

从网上得到的一个参考。

https://www.processon.com/view/link/67dd6739a191f700f07130b5 内部的 iframe https://www.processon.com/view/link/68788fbdfde4f212dec4b4ee

V10.0版

AI大模型基础预习篇

学习目标

  • 掌握大模型的基础和大模型的原理
  • 掌握使用提示工程来加大和模型的交互能力,提高模型的工作效率

Python 语言编程

  • 第一章:Python 3 基础入门
    • 初识 Python
      • Python 简介
      • Python 历史
      • Python 优缺点
      • Python 应用领域
    • 数据类型
      • 整型
      • 浮点型
      • 复数
      • 数据类型转换
      • 常量
    • 变量与关键字
      • 变量
      • 变量名称
    • 语句
    • 表达式
    • 运算符和操作对象
      • 什么是操作符和操作对象
      • 算术运算符
      • 比较运算符
      • 赋值运算符
      • 位运算符
      • 逻辑运算符
      • 成员运算符
      • 身份运算符
      • 运算符优先级
    • 字符串操作
    • 注释
  • 第二章:列表与元组
    • 通用序列操作
      • 索引
      • 分片
      • 序列相加
      • 乘法
      • 成员资格
      • 长度、最小值和最大值
    • 列表
      • 更新列表
      • 元素赋值
      • 增加元素
      • 删除元素
      • 分片赋值
      • 嵌套列表
      • 列表方法
    • 元组
      • tuple 函数
      • 元组的基本操作
      • 访问元组
      • 修改元组
      • 删除元组
      • 元组索引、截取
      • 元组内置函数
    • 列表与元组的区别
    • 列表与元组的相互转化
  • 第三章:字符串
    • 字符串的基本操作
    • 字符串格式化
      • 字符串格式化符号
      • 字符串格式化元组
      • 转换操作符
    • 字符串方法
      • find()
      • join()
      • lower()
      • upper()
      • swapcase()
      • replace()
      • split()
      • strip()
      • translate()
  • 第四章:字典
    • 字典的使用
    • 创建和使用字典
      • dict 函数
    • 字典的基本操作
      • 修改字典
      • 删除字典元素
      • 字典键的特性
      • len() 函数
      • type() 函数
      • 字典的格式化字符串
      • 字典和列表的区别
    • 字典方法
      • clear()
      • copy()
      • fromkeys()
      • get()
      • key in dict
      • items()
      • keys()
      • setdefault()
      • update()
      • values()
  • 第五章:条件、循环和其他语句
    • 代码编辑器的选择
    • import 的使用
      • import 语句
      • 使用逗号导入
    • 别样的赋值
      • 序列解包
      • 链式赋值
      • 增量赋值
    • 语句块
    • 条件语句
      • 布尔变量的作用
      • if 语句
      • else 子句
      • elif 子句
      • 嵌套代码块
    • 更多操作
      • 同一性运算符
      • 比较字符串和序列
      • 布尔运算符
      • 断言
    • 循环
      • while 循环
      • for 循环
      • 循环遍历字典元素
      • 迭代工具
      • 跳出循环
      • 循环中的 else 子句
    • pass 语句
  • 第六章:函数
    • 调用函数
    • 定义函数
    • 函数的参数
      • 必须参数
      • 关键字参数
      • 默认参数
      • 可变参数
      • 组合参数
    • 执行流程
    • 形参和实参
    • 变量作用域
      • 局部变量
      • 全局变量
    • 又返回值和无返回值函数
    • 为什么要有函数
    • 返回函数
    • 递归函数
    • 匿名函数
  • 第七章:面向对象编程
    • 理解面相对象
      • 什么是面向对象编程
      • 面向对象术语简介
    • 类的定义与使用
      • 类定义
      • 类使用
    • 深入类
      • 类的构造方法
      • 类的访问权限
    • 继承
    • 多态
    • 封装
    • 多重继承
    • 获取对象信息
      • 使用 type 函数
      • 使用 isinstance 函数
      • 使用 dir 函数
    • 类的专有方法
      • str
      • iter
      • getitem
      • getattr
      • call
  • 第八章:异常与文件处理
    • 异常
      • 什么是异常
      • 异常处理
      • 抛出异常
      • 捕捉多个异常
      • 使用一个块捕捉多个异常
      • 捕捉对象
      • 全捕捉
      • 异常中的 else
      • 自定义异常
      • finally 子句
      • 异常与函数
    • 文件操作
      • 打开文件
        • 文件模式
        • 缓存
      • 基本文件方法
        • 读和写
        • 读写行
        • 关闭文件
        • 文件重命名
        • 删除文件
      • 对文件内容进行迭代
        • 按字节处理
        • 按行操作
        • 使用 fileinput 实现懒加载式迭代
        • 文件迭代器
      • StringIO 函数
      • 序列化与反序列化
        • 一般序列化与反序列化
        • JSON 序列化与反序列化

大模型的基础和原理

  • 基础认知
    • 人工智能和大模型的强势兴起
      • AI的发展历程
    • 大模型和通用人工智能
      • 大模型的认知和解析
      • 通用人工智能的特征
      • 大模型和通用人工智能的联系
    • 主流大模型和大模型应用产品
      • 主流大模型简单介绍
        • deepseek
        • Qwen2
        • GLM系列
        • LLama系列
        • GPT系列
        • Claude
        • Gemini
      • GPT模型的发展历程
        • ChatGPT
      • 国产大模型应用介绍
        • 深度求索
        • 通义千问
        • 文心一言
        • 智谱清言
    • 大模型的行业赋能
      • 医疗行业
      • 政务和法律行业
      • 重点行业预测
    • 大模型的趋势和挑战
  • 核心原理
    • 大模型和机器学习有什么不同
    • Transformer架构解析
      • 为什么使用Transformer架构
      • 什么是Transformer架构
    • 大模型运行原理探究
      • 大模型如何理解和表示单词
        • 大模型处理单元 — Token
        • 单元的远近亲疏关系
        • 大模型词义的载体和表现特征
      • 大模型如何理解并预测输入的内容
        • 注意力机制
        • 自注意力机制
        • 基于语义理解的内容生成
  • 预训练、SFT、RLHF
    • 预训练
    • SFT(Supervised Fine-Tuning)
    • RLHF(Reinforcement Learning from Human Feedback)

Prompt提示工程

  • 提示工程原理和进阶技巧
    • 什么是提示词和提示工程
    • Prompt Engineering构成要素和技巧
    • Prompt Engineering的调优和进阶技巧
      • 零样本提示(Zero-Shot)
      • 少样本提示(Few-Shot)
      • 链式思考(思维链COT)
      • 自我一致性(自洽性,Self-Consistency)
      • 思维树(Tree-of-thought, ToT)
    • Prompt Engineering攻击与防范
  • 提示工程实战
    • 会议纪要重点提取
    • 短剧脚本生成
    • 实战项目:网络爆款文案生成
    • 实战项目:数据库查询SQL语句生成
    • 实战项目:基于提示工程的学员辅导系统

AI大模型RAG应用开发实战篇

学习目标

  • 掌握使用RAG来增强模型的回复
  • 掌握如何使用工具去评估自己的RAG的效果
  • 掌握使用LangChain来构建基于大模型的应用
  • 掌握高级的RAG应用

RAG知识库开发

  • RAG分析
    • LLM的缺陷分析
    • RAG的概念
    • RAG系统工作流程解析
  • Naive RAG
    • 知识库搭建
      • 文档加载
      • 文档分块
        • 按照句子切片
        • 按照字符数切片
        • 按照固定字符数
        • 递归方法
    • Embedding
      • 向量定义与向量化的意义
      • 向量相似度算法
        • 余弦距离Cosine
        • 欧式距离L2
      • 向量化实践
        • 向量模型的API调用
        • 向量化模型本地部署
    • Indexing
      • “top-k”语义检索
    • 向量存储
      • 向量数据库的介绍
      • 主流向量数据库与功能对比
    • 提示词增强RAG设计
  • 实战项目:利用RAG知识库实现智能AI系统

RAG评估

  • RAG使用效果评估
    • 质量指标
      • 上下文相关性
      • 答案忠实度
      • 答案相关性
    • 能力指标
      • 对噪声的鲁棒性
      • 负面信息的排除能力
      • 信息整合能力
      • 面对假设情况的健壮性
  • 评估工具
    • RAGS评估
      • https://github.com/explodinggradients/ragas
    • TruLens评估
      • https://github.com/truera/trulens

RAG开源应用解析

  • RAGFlow应用分析
  • FastGPT应用分析
  • Dify应用分析
  • 实战:Dify实现数据库数据智能查询

Langchain框架开发实战

  • LangChain基础学习
    • LangChain介绍
    • langChain基础使用
  • LangChain核心学习
    • LangChain模板和输出解析器
      • LLMs and Chat models
      • Prompt templates 提示模板
        • 少样本示例
        • 格式化提示模板
        • 组合提示
      • Example selectors 示例选择器
      • Output parsers 输出解析器
    • Tools工具
      • 预制工具
      • 自定义工具
    • Memory记忆功能
      • 多种内置链的介绍与使用
      • Memory工具的使用
      • 为链增加Memory
      • 实践:多轮对话历史记录
    • 数据检索
      • 文档加载
      • 文档切片
      • Vector stores向量存储
      • Retrievers检索
    • Chain使用
      • LangChain表达式语言-LCEL
      • LCEL Runnable接口使用
      • LCEL进阶方法
      • LCEL添加记忆功能
  • 实战项目:RAG+LangChain实现智能问答系统

RAG进阶

  • RAG缺陷分析和优化
    • 文档加载准确性和效率
    • 文档切分的粒度
    • 错过排名靠前的文档
    • 提取上下文与答案无关
    • 格式错误
    • 答案不完整
    • 未提取到答案
    • 答案太具体或太笼统
    • 幻觉问题
  • Advanced-RAG
    • Pre-Retrieval预检索
      • 优化索引
        • 摘要索引
        • 父子索引
        • 假设性问题索引
        • 元数据索引
        • 混合检索
      • 查询优化
        • 查询扩展
    • Post-Retrieval后检索
      • RAG-Fusion
      • 上下文压缩

AI大模型Agent智能体开发实战篇

学习目标

  • 掌握自主搭建智能体应用
  • 掌握使用LlamaIndex构建强大的大规模索引和高效的查询工具
  • 掌握LangGragh来搭建智能体和复杂的工作流

LlamaIndex框架应用

  • LlamaIndex初识
    • Llamaindex介绍
    • Llamaindex快速入门
    • 什么是代理?
    • 工作流是什么?
  • LlamaIndex基本概念
    • 提示
    • 加载
      • 文档和节点
      • 目录读取器
      • 数据连接器
      • 节点解析器
      • 文本分割器
      • 摄取管道
    • 索引
      • 向量存储索引
      • 属性图表索引
      • 文件管理索引
      • 元数据提取
    • 存储
      • 向量存储
      • 文档存储
      • 索引存储
      • 键值存储
      • 自定义存储
    • 查询
      • 查询引擎
      • 聊天引擎
      • 检索
      • 节点后处理器
      • 响应合成器
  • 工作流
    • 核心组件
      • 定义工作流事件
      • 设置工作流程类
      • 工作流入口点
      • 工作流程退出
      • 绘制工作流程
      • 全局上下文/状态协同
      • 多事件等待
      • 手动事情触发
      • 人机协同
      • 逐步执行
      • 检查点工作流程
      • 部署工作流
    • Workflow管道
      • 基本工作流
      • 工作流分支与循环
      • 状态维护
      • 流媒体事件
      • 并发执行
      • 子类化工作流
      • 嵌套工作流
      • 可视化工作流

Agent应用开发

  • Agents技术解析
    • Agents介绍
    • 记忆功能
    • 思考和规划
    • Agent工具
    • Agent框架介绍
  • Funcation Calling
    • Function Calling介绍
    • Function Calling简单理解
    • Function Calling的原理解析
    • Function Calling支持的国产模型介绍
    • Function Calling调用外部API
    • Function Calling进行数据库操作
    • 多Function Calling的使用
  • Agent决策模型
    • ReAct框架
    • Plan-and-Execute框架
    • Self-Ask框架
    • 实践: Agent实现智能机器人
  • 多Agent系统
    • 什么是多Agent?
    • AutoGen框架
    • MetaGPT框架

LangGraph框架深度学习

  • LangGraph基础知识
    • 初识LangGraph
      • 什么是langGraph
      • 为什么用langGraph
      • langGraph本质
      • LangChain与langGraph的区别
      • LangGraph安装与使用
  • LangGraph基础知识与核心功能
    • 基础知识
      • 状态
      • 节点
    • 核心功能
      • Send发送
      • Command命令
        • Human-in-the-loop 人机交互
        • 持久性(Persistence)
        • 线程(Threads)
        • 存储(Storage)
        • 图迁移(Graph Migrations)
        • 配置(Configuration
      • interrupt 中断
        • 断点(Breakpoints)
      • Subgraphs 子图
      • LangGraph Studio可视化
      • Streaming 流式处理机制
  • LangGraph实践与延展
    • 图形 API
    • 细粒度控制
    • 持久性
    • 记忆
    • 人机交互
    • 时间旅行
    • 工具调用
    • 状态管理
    • 调用工具
    • 基于LangGraph基本聊天机器人
      • 搭建机器人
      • 使用工具增强聊天机器人
      • 为聊天机器人添加内存
      • 给机器人添加人机交互
      • 自定义状态
  • LangGraph Agent架构
    • Multi-agent
      • 如何实现Agent通讯
      • 如何构建多智能体网络
        • 定义工具
        • 创建图
          • 定义代理节点
          • 定义图
    • 多智能体监督器
      • 创建工具
        • Agent Supervisor
      • 构建图与调用Agent Teams
    • 层次化Agent Teams
  • Agent Supervisor
    • Plan-and-Execute
    • Reasoning without Observation
    • LLMCompiler
  • Hierarchical Agent Teams
    • Basic Reflection
    • Reflexion
    • Tree of Thoughts
    • Language Agent Tree Search
    • Self-Discover Agent
  • LangGraph平台
    • 平台介绍
    • 部署LangGragh项目

可视化AI开发框架

  • 扣子概述
    • 什么是扣子
    • 为什么使用扣子
    • 注册扣子
  • 扣子的功能
    • 工作流
      • 什么是工作流
      • 工作流和对话流的区别
      • 工作流的使用限制
      • 如何使用工作流
      • 工作流节点
    • 插件
      • 什么是插件
      • 创建自己的插件
    • 知识库
      • 知识库概述
      • 知识库分类和使用
        • 文本知识库
        • 表格知识库
        • 图片知识库
      • 知识库分段
      • Scraper
    • 提示词
      • 设置提示词
      • 编写提示词
      • 调试提示词
    • 数据库
      • 创建数据库
      • 使用数据库
      • 管理数据库
    • 音色

MCP模型上下文协议

  • 什么是MCP?
    • MCP原理
    • MCP组成元素
      • 主机Host
      • 客户端Client
      • 服务端Server
  • MCP和Function Call对比
  • MCP应用场景
  • MCP的技术优势和行业价值
  • MCP使用
    • MCP应用的方式
    • 常用的MCP工具
      • cursor
      • cherry studio
      • cline
    • FastAPI
  • MCP实战教学

AI大模型工具实战篇

学习目标

  • 掌握使用Dify本地部署实现可视化和私有化的智能体应用(低代码)

使用大模型生成简历并分析,写网络爆款文案

使用大模型去辅导学生学习

使用大模型去写短片脚本

AI大模型进行视频创作

大模型进行AI画图

通过图片生成文字描述

网络视频的分析描述

AI大模型私有化微调进阶篇

学习目标

  • 掌握大语言模型本地私有化部署
  • 掌握如何进行大模型微调
  • 掌握根据特定任务进行垂直领域的微调
  • 掌握多模态模型图像视频的识别

开源语言模型

  • 为什么要将大模型私有化
  • 国外开源模型介绍
    • LLaMA系列模型私有化部署
    • Hugging Face平台解析
    • vLLM加速原理解释
    • OpenLLM应用实践
    • Ollama架构解析
  • 国内开源模型介绍
    • ChatGLM模型解析
    • Qwen大模型解析
    • DeepSeek V3/R1生态
  • 开源模型的评估
    • 开源软件质量评估
    • 开源项目应用适配角度评估
    • 开源模型生态的评估
  • 开源模型应用场景与局限性
    • 医疗行业的大模型分析
    • 金融行业的大模型分析
    • 教育行业的大模型分析
    • 法律行业的大模型分析
    • 其他行业的大模型分析
  • 实战案例:ChatGLM大模型在Ollama上的本地部署

大模型微调

  • 模型微调的概念
    • 何为微调?为何微调
    • 微调和 RAG 的关系
    • 微调的技术要点与主流框架
  • 选择合适的基座模型
    • 任务需求
    • 模型性能
    • 计算资源
    • 数据规模与质量
    • 可解释性与透明度
    • 社区支持与生态
  • 数据收集和清洗
    • 数据清洗
    • 数据增强
    • 数据去重
    • 合成数据⽣成
  • 微调框架的选择
    • PyTorch框架
    • HuggingFace Transformers工具
    • unsloth 框架
  • unsloth 框架介绍
    • unsloth 的⽣态优势
    • unsloth 的开箱可⽤与⾼度可定制化
  • 实战案例:使⽤ unsloth 微调 Llama-3

PEFT参数高效微调

  • PEFT 主流技术介绍
    • Adapter Tuning
    • Prompt Tuning
    • Prefix Tuning
  • LoRA 低秩适配微调
    • 算法原理解析
    • 性能效果分析
  • LoRA 的改进与扩展
    • AdaLoRA ⾃适应权重矩阵微调算法解析
    • QLoRA 量化低秩适配微调算法解析
    • LongLoRA 微调算法解析
  • 微调大模型进行性能&能力评估
    • 大模型评估框架
    • 评估内容和标准
    • 评估的目标
    • 评估框架工具解析
  • 实战案例:使⽤ unsloth 实现 LoRA 微调

大模型量化实现

  • 模型显存占⽤与量化技术简介
    • 微调中GPU算力测算算法
    • GPU芯片性能分析
    • 模型运行算力要求
  • Transformers 原生支持的大模型量化算法
    • PTQ
    • QAT
  • AWQ:激活感知权重量化算法
  • GPTQ:转为GPT设计的模型量化算法
  • 模型量化对比实例
  • 实战案例:基于 unsloth 的量化演示
    • 内存优化效果演示
      • 加快推理速度效果演示
    • 降低计算资源效果演示
    • 保持模型性能效果演示

多模态模型

  • 多模态的最新进展
    • 为什么需要多模态?通往 AGI 的必经之路
    • 国内外多模态⼤模型进展概览
  • ⼤模型与计算机视觉
    • 计算机视觉中的图像表示
    • 常⽤视频处理⽅法
    • Transformers 在计算机视觉中的应⽤
  • 图像⽣成技术概述
    • GANs ⽣成对抗⽹络及其变种
    • 基于 Diffusion 扩散模型的多模态模型
    • 图像⽣成技术涉及的隐私和法律问题
  • 多模态模型的微调
    • 迁移学习
    • 零样本学习
  • 多模态模型的优化
    • 剪枝
    • 量化
    • 蒸馏
    • 压缩
  • 多模态模型的部署
    • 选择模型打包格式
    • 云侧或端侧部署的优劣
    • 硬件加速⽅案
    • 其它最佳实践
  • 实战案例1:基于 BLIP 的图⽣⽂
  • 实战案例2:基于 Stable Diffusion 的⽂⽣图

AI大模型项目实战篇

学习目标

  • 掌握大模型在特定场景下的微调实战
  • 掌握基于大模型的智能应用开发
  • 大部分项目都是企业数据脱敏之后的真实项目

大型制造企业知识库平台

  • 项目简介: 为某制造类企业构建企业产品制造知识库,帮助企业实现售前、售中、售后智能化。 让数据变成活的数据,助力企业增效。
  • 技术特点: 本地大模型、知识库、工作流、RAG

某零售企业销冠智能体Agent

  • 项目简介: 该项目基于大模型技术,帮助某酒类经销商实现酒水的品鉴、约酒、酒文化传播、营销推广和销售的一体化Agent。 实现从软件到服务的模式转换。
  • 技术特点: 本地大模型、微调、RAG、Agent

头部视频平台大模型智能监控和预警系统

  • 项目简介: 该项目利用大模型的能力,帮助某视频平台优化大数据作业流程,实现自动检测、诊断和修复数据管道中的问题,显著减少作业停机时间。 发挥 LLM 推理能力,通过理解日志数据、识别故障模式,从而给出建议或实施修复,提高运营效率和可靠性。
  • 技术特点: 本地大模型、微调、工作流

医疗健康行业AI私人家庭医生项目

  • 项目简介: 很多疾病受遗传和家庭饮食生活等习惯非常大的影响,AI私人家庭医生利用大模型技术为每个家庭成员打造每个成员的建康数据管理及私人陪伴医生。 永久记忆全部历史诊疗及医学检查报告等,实现专业解读、跟踪、风险评估、建议随访和答疑解惑等专业医疗服务。
  • 技术特点:行业模型微调、RAG、MCP

继续更新中….

服务特色

赠送专题

Java&AI专题【赠送】

  • langchain4j实战
    • langchain4j快速开始
    • Ollama+deepseek本地大模型接入
    • 对话隔离@MemoryId& @SystemMessage+Funcation-call
    • 整合springboot
    • MCP,langchain4j接入mcp server
    • Rag实战 向量检索读取解析
  • Spring-AI实战
    • 快速开始,SpringAI请求流程
    • ChatClient和ChatModel区别
    • 关于Function接口和Function-call
    • function-call原理&源码解析
    • Spring-AI项目实战
  • 智能航空助手项目实战专题
    • 项目介绍+演示+架构
    • 项目启动&智能对话&项目介绍&角色预设
    • function-call详解&机票退订&退订确认
    • 项目实战经验RAG检索增强
  • 扩充专题
    • Spring AlibabaAi快速上手
    • deepseek接入spring cloud alibaba 完成智能化实战
    • MCP是什么MCP+SpringAI快速实现
    • LlamaFactory微调模型部署ollama,SpringAI接入
    • 如何通过cline和springAI使用McpServer
  • 案例持续更新中

AI算法专题【赠送】

  • 机器学习系列课程
    • 人工智能概述
    • 线性回归算法1
    • 线性回归算法2
    • 线性回归算法3
    • K-MEANS算法
    • 特征降维
    • 朴素贝叶斯
    • 集成算法
    • 逻辑回归算法
    • 乳腺癌分类实战
    • 支持向量机
    • SVM手写数字识别
    • 随机森林
    • KNN算法
    • 纪录片摇放星预测
    • 数据降维
    • HOG+SVM行人检测
    • 决策树
    • 洛杉矶房价预测实战
    • 聚类算法
  • 深度学习系列课程
    • CNN卷积神经网络
    • PyTorch深度学习框架
    • NLP基础和算法模型
    • 深度学习
    • 线性回归
    • 二分类
    • 多分类
    • 迁移学习
    • 水果识别
    • 车辆分类
    • 多目标分类
    • 相似图像搜索
    • 目标检测






参考资料


返回