Fari

Section

Posts

记录pytorch遇到的一些问题

Embedding层的 num_embeddings 设置过小 遇到了两个报错都是这个原因导致的： 报错一： RuntimeError: CUDA error: device-side assert triggered 报错二： RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR …

记一次模型训练时显存溢出的问题

出现的问题 写了一个Seq2Seq的中英翻译模型，使用Encoder-Decoder模式。训练时发现总是训练一段时间后就会报显存溢出的错误，训练终止。 根据报错信息可知，pytorch欲分配12.88G的显存，但我的显存只有4G，显然是不够的 寻找原因 从异常栈来看，报错问题出在我创建一个大小为 len(y) * batch_size * 30000 的 …

CSV/TSV中的双引号

csv vs tsv csv和tsv的不同在于，csv使用逗号 , 作为元素分隔符，tsv使用制表符 \t 作为分隔符 Q&A Q1：如果csv中某字符串中本身就包含逗号怎么办？ 可以使用双引号将该字符串包起来 Q2：如果csv中某字符串中本身就包含双引号怎么办？ 得分两种情况： 如果字符串没有被双引号包裹，则不需要任何处理 如果字符串被双引号包裹，则需要将 …

python del

引用计数法 python使用的是“按引用计数”的方法作为垃圾回收的依据 即：若堆中某内存块不再被其他地方引用，则会对该区域进行垃圾回收 del的作用就是删除引用（拿java做比较就是：仅删除栈中的变量，但其指向的堆中的对象依然存在。通过计算该对象当前被引用次数判断其内存是否要被回收） 注：del只是删除引用，和c++中的free 以及java中的手动置 …

深度学习GPU环境准备

CUDA和cuDNN 以前的显卡只能用作显示，后来nVidia为它的显卡开发了一套接口，叫CUDA，开发人员就能通过调用该接口实现使用GPU做计算 cuDNN是一个专门为深度学习开发的库。它里面包含了卷积计算、偏导计算等深度神经网络需要的计算库。它是以CUDA为基础的（注：为了更极致的优化，它可能使用更底层的接口） 可以这么理解：显卡就是一个计算器，CUDA …

学校里的流浪猫

学校有很多流浪猫，很多学校都有。刚才去吃饭的路上就遇到一只。 让我惊讶与心疼的是，它非常的瘦，张着个嘴巴看着我，一脸警觉与惶恐。 我很抱歉没有随身带一根火腿肠或者其他什么能吃的，它太瘦了。 暑假后绝大部分学生都回家了，这些个猫也没人喂了。 我也不知道是不是这个原因导致这只猫这么瘦弱，事实上它看起来还是挺好看的那种。我记得之前也看到过学校的流浪猫，倒也都算正常 …

OpenCV 中的 Graph API 介绍

快速认知 例如 OpenCV 中的 cv::Canny(…)，可以改用 G-API 写成 cv::gapi::Canny(…) 图 为了让图像处理过程更快，并且让代码有更好的可移植性，OpenCV引入了Graph API这个单独的模块。顾名思义，这是一种基于图的计算方式。这里图的概念类似于pytorch中图的概念。 例如，若一张图片的处理过程 …