2025

• 2025-04-22» shfl_xor_sync原语

• 2025-04-01» MHA, GQA, MQA, MLA的代码

• 2025-03-05» Bank Conflicts简介

• 2025-03-01» FlashAttention解读

• 2025-02-25» cuda矩阵乘法优化

2024

• 2024-12-03» 理解VAE算法

• 2024-11-28» 理解EM算法

• 2024-09-28» MinerU核心代码阅读笔记

• 2024-08-27» paddleocr蒸馏模型的center导出

2023

• 2023-09-27» deepspeed快速上手教程

• 2023-01-10» gpt2 tokenizer源码解析

• 2023-01-05» bert tokenizer源码解析

2022

• 2022-12-31» pytorch进程间通信

• 2022-12-28» gpt2解码参数解析

• 2022-06-18» NLP模型训练时数据预处理的教训

• 2022-06-07» pytorch中的lr scheduler

• 2022-06-06» BLEU的计算

• 2022-05-10» pytorch有用的脚本片段和函数的积累

• 2022-05-10» 文本tokenize方法总结

• 2022-04-26» M1 mac 安装tensorflow

• 2022-04-23» torch中易混的tensor变形操作

• 2022-04-22» 苏剑林CoSENT损失函数源码解析

• 2022-04-18» 苏剑林多标签softmax分类loss源码解析

• 2022-04-06» bert推理优化之路

• 2022-04-02» onnxruntime使用gpu推理

• 2022-03-24» Transformer优秀文章汇总

• 2022-03-19» 对比学习训练技巧

• 2022-03-19» SimCSE核心源码解读

• 2022-03-17» 神经网络的反向传播实例

• 2022-03-12» CUDA中矩阵相乘的stride技巧

• 2022-03-10» tensorrt处理动态shape

• 2022-03-10» tensorrt基本使用

• 2022-03-10» 使用pip完成tensorrt安装

• 2022-03-07» pytorch实现transformer极简代码

• 2022-03-04» TensorRT中的int8量化

• 2022-03-02» CUDA多GPU编程要点

• 2022-03-02» CUDA中的流的相关要点

• 2022-03-01» AI经典资料收集

• 2022-02-27» 模型推理速度影响因素分析

• 2022-02-26» CUDA矩阵转置要点

• 2022-02-21» keras中Layer源码解读（下）

• 2022-02-21» keras中Layer源码解读（上）

• 2022-02-15» IRT模型中的项目信息函数解读

• 2022-02-07» 机器学习面试之AUC三问