一名AI算法工程师，热爱生成式模型和具身智能.
2023年，训练模型时，使用DDP成为标准的炼丹师技能。DDP本身呢是依赖torch.distributed提供的进程间通信能力。所以，理解torch.distributed提供的进程间通信的原理，对理解DDP的运行机制有很大的帮助。官方的tutorial中，实现了依靠torch.distributed实现DDP功能的demo代码，学习一下，很有裨益。本文将会分成两部分，首先介绍torch.distributed提供的基本功能。然后介绍用torch.distributed实现demo版的DDP。
使用gpt2进行文本生成时，有几个参数可调，本文简要总结了一下这些个参数的作用。
一个比较难debug的问题。
总结一下python中超级低级的错误。
总结一下pytorch中lr scheduler的核心逻辑。
介绍一下BLEU的计算原理。
积累日常工作中用到的pytorch脚本片段，以及一些强大但难以理解的函数的解释
如何将文本拆分成一个个的token，简要介绍几种主流的方法。 https://huggingface.co/docs/transformers/tokenizer_summary
对一个预训练模型来说，使用它时，只有用和训练时相同的tokenize方法时，模型的表现才能正常。