一名AI算法工程师,热爱生成式模型和具身智能.
使用tensorrt的基本知识
使用pip安装tensorrt教程
人类使用文本,计算机使用字节序列 by Esther Nam and Travis Fischer
记录一下argparser中的常用选项,作为备查表。
神经网络的int8计算是近来神经网络计算优化的方向之一。 本文介绍intel针对cnn的int8量化方案。该方案原理简单直观,并且集成在了tensorrt中,操作实验方便。
这些概念之所以容易令人迷惑,在于很多人对I/O就没有清晰准确的理解,后面的理解自然不可能正确。我想用一个具体的例子来说明一下I/O。 设想自己是一个进程,就叫小进吧。小进需要接收一个输入,我们不管这个输入是从网络套接字来,还是键盘,鼠标来,输入的来源可以千千万万。但是,都必须由内核来帮小进完成,为啥内核这么霸道?因为计算机上运行的可不只是咱小进一个进程,还有很多进程。这些进程兄弟也可能需要从这些输入设备接收输入,没有内核居中协调,岂不是乱套。 从小进的角度看,内核帮助它完成输入,其实包括三个步骤:
并行是说同一时刻做很多操作。多进程是实行并行的有效方法。因为它可以将许多任务分配到计算机的多个核心上。多进程很适合计算密集型的任务,因为它充分地利用了多个CPU。