一名AI算法工程师，热爱生成式模型和具身智能.
做序列标注时，label和token之间的对应关系至关重要。但是大多数tokenizer都会对原始的字符序列做一定的修改，这对保持token和label之间的对应关系造成了一定的影响。因此，有必要对tokenizer的细节行为有一个清楚的认识。本文以bert tokenzier为例说明里面的细节。
2023年，训练模型时，使用DDP成为标准的炼丹师技能。DDP本身呢是依赖torch.distributed提供的进程间通信能力。所以，理解torch.distributed提供的进程间通信的原理，对理解DDP的运行机制有很大的帮助。官方的tutorial中，实现了依靠torch.distributed实现DDP功能的demo代码，学习一下，很有裨益。本文将会分成两部分，首先介绍torch.distributed提供的基本功能。然后介绍用torch.distributed实现demo版的DDP。
使用gpt2进行文本生成时，有几个参数可调，本文简要总结了一下这些个参数的作用。
一个比较难debug的问题。
总结一下python中超级低级的错误。
总结一下pytorch中lr scheduler的核心逻辑。
介绍一下BLEU的计算原理。
积累日常工作中用到的pytorch脚本片段，以及一些强大但难以理解的函数的解释