Hi! 我是李文举.

一名AI算法工程师,热爱生成式模型和具身智能.

pytorch中的lr scheduler

总结一下pytorch中lr scheduler的核心逻辑。

阅读全文 »

BLEU的计算

介绍一下BLEU的计算原理。

阅读全文 »

pytorch有用的脚本片段和函数的积累

积累日常工作中用到的pytorch脚本片段,以及一些强大但难以理解的函数的解释

阅读全文 »

文本tokenize方法总结

如何将文本拆分成一个个的token,简要介绍几种主流的方法。 https://huggingface.co/docs/transformers/tokenizer_summary

对一个预训练模型来说,使用它时,只有用和训练时相同的tokenize方法时,模型的表现才能正常。

阅读全文 »

M1 mac 安装tensorflow

记录一下,后续可能还要使用。

阅读全文 »

torch中易混的tensor变形操作

四对相似又不完全一样的api的简要解析。

阅读全文 »

最近关于选择工作的思考

最近换工作,从开始各种面试,是公司在选择我,到最后拿到几个offer,开始我选择公司,记录一下我选择公司的一些思考。

阅读全文 »

苏剑林CoSENT损失函数源码解析

文章地址: CoSENT(一):比Sentence-BERT更有效的句向量方案

loss公式:

\[log\bigg (1+ \displaystyle \sum_{sim(i,j)>sim(k,l)}\exp^{\lambda(cos(u_k,u_l)-cos(u_i,u_j))}\bigg)\]

阅读全文 »