一名AI算法工程师,热爱生成式模型和具身智能.
总结一下pytorch中lr scheduler的核心逻辑。
介绍一下BLEU的计算原理。
积累日常工作中用到的pytorch脚本片段,以及一些强大但难以理解的函数的解释
如何将文本拆分成一个个的token,简要介绍几种主流的方法。 https://huggingface.co/docs/transformers/tokenizer_summary
对一个预训练模型来说,使用它时,只有用和训练时相同的tokenize方法时,模型的表现才能正常。
记录一下,后续可能还要使用。
四对相似又不完全一样的api的简要解析。
最近换工作,从开始各种面试,是公司在选择我,到最后拿到几个offer,开始我选择公司,记录一下我选择公司的一些思考。
文章地址: CoSENT(一):比Sentence-BERT更有效的句向量方案
loss公式:
\[log\bigg (1+ \displaystyle \sum_{sim(i,j)>sim(k,l)}\exp^{\lambda(cos(u_k,u_l)-cos(u_i,u_j))}\bigg)\]