模型训练一段时间后意外终止了
我在同一台电脑上同时使用cpu训练两个神经网络模型（模型并不复杂），在运行大概23个小时之后，两个同时报错了： # Program 1 error: ... RuntimeError: Caught RuntimeError in DataLoader worker process 0. ... RuntimeError: Couldn\'t open …
Section
Posts
对torch.cuda.stream的理解
cpu个gpu是两个独立的计算单元，也就是说他们可以做设备级别并行计算 而对cpu或gpu来说，他们可能有多个核，即他们本身也可以实现并行计算 一般来说，使用cpu将数据和计算方式传给gpu，由gpu做完计算再传回给cpu（因为gpu的计算能力更强） 不管是cpu还是gpu，其数据来源和计算结果都一定在自己的设备上（cpu是内存，gpu是显存） 所以在 …
Pytorch dataloader加载数据很慢
现象 写了个模型，训练速度很慢，发现大部分时间都花在了加载数据的过程中，训练时间反而不多 主机内存占用（已提交相当于总申请内存，其中包含交换分区的大小，其后面的数字为总可申请大小，其会根据申请情况动态扩容）： 解决 num_workers DataLoader中设置参数 num_workers=3 效果： 主机内存占用： 测试过程中貌似有一次内存申请越来越多 …
百度为什么不收录我的网站
我这个站已经建了好几个月了，文章也不少，且都是原创，为什么他就是不收录呢？ 注：就在刚刚，我发现他好像有收录，之前一直都没有 收录了，但又没有收录 总之，相比之下，谷歌几乎在我建站没两天后就可以看到我的全部文章了。 而且我还经常给百度提交url，并且创建了百度站长的账号。 我不知道是不是跟我以前屏蔽过一些IP有关。建站初期，有一些IP一天来很多次，频率很高， …
一种加快机器学习收敛速度的想法
机器学习的本质就是希望找到一个能基本拟合样本的函数 而这个函数的评判标准就是其loss要达到最小，那么问题就转换为了求 \( f_{loss}(w, b) \) 函数的最小值 如果数据量小的话，可以使用最小二乘法直接计算出最小值，但对于大样本数据就不是很好用了 传统的做法是使用梯度下降一点一点试，尝试寻找到函数的极值点，但这样很容易陷入局部极小值 我的想法是 …
无聊图220721
素材来源于网络：
《梦在竹溪》溯源
偶然间看到“梦在竹溪”这首歌的演唱者 张燕 是安徽省淮南市人，我原来一直以为是我们竹溪某地出来的一个歌手，并且一直以为是一个小歌手。我一度怀疑此张燕非彼张燕，但确实是同一个人。 关于这首歌能在网上找到的信息极少。但基于能找到的信息，我猜测，这首歌应该是2005年，北京太阳圣火广告公司给竹溪县政府做的官方宣传MV背景音乐，mv由战菁一主演，歌曲由云剑负责作词、 …
Pytorch使用tensorboard
基本使用 首先需要安装tensorboard # -U 表示如果存在则升级 pip3 install -U tensorboard 接着就可以直接在代码中使用 from torch.utils.tensorboard import SummaryWriter ... # 默认会在项目路径下创建 runs 文件夹 dashboard = …
QQ音乐修改了我上传的音源
刚听歌单里的歌，听到《可能否》——木小雅 这首歌的时候，前奏感觉没听过。遂看了看歌词，又把进度条向后拉了拉，发现歌还是那个歌，但是不同版本 后面那朵小云代表这是我上传到微云音乐云盘上的歌，于是我又去音乐云盘的界面，找到这首歌，发现确实已经不是我喜欢的那首了。 ps：这是我非常喜欢的一首歌，我经常听，而且听了好几年了，所以不会错怪QQ音乐。 我是QQ音乐年费会 …
nlp学习
本文基于github教程：https://github.com/bentrevett/pytorch-seq2seq 环境搭建 本实验使用的环境为：pytorch=1.8.2 torchtext=0.9.2 Spacy=3.4.0 # 创建conda环境 conda create --name nlp python=3.8 conda activate …