NLP

Transformer：Position Embedding解读

在RNN里，句子被分成一个个单词依次送入网络，这样自带句子的输入自带文本顺序。但是Transformer结构将所有位置的单词一起输入网络，这样就会丧失文本的顺序。所以需要Position Embedding 来解决这个问题。首先会想到的是给不同位置的单词赋予一个[0,1]之间的值。0代表开头的...
2023-04-20 09:06 阅读数 58

深度学习实战19(进阶版)-SpeakGPT的本地实现部署测试，基于ChatGPT在自己的平台实现SpeakGPT功能

ChatGPT是自然语言处理的天花板，它能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至可以完成论文、文案，代码的编写。ChatGPT（全称：Chat Generative Pre-trained Transformer），发展于GPT系列，...
2023-03-24 09:49 阅读数 40

基于TF-IDF与k-means的情感聚类

目前很多情感聚类都是细分到逐词分析，而对于逐句的情感分析可以通过将文本转化为数字矩阵从而采用传统的聚类方法来实现，这里以K均值为例进行演示：import pandas as pd import codecsimport matplotlib.pyplot as pltfrom skle...
2022-03-10 13:14 阅读数 79

使用Pytorch构建一个神经网络

关于torch.nn·使用Pytorch来构建神经网络，主要的工具都在torch.nn包中·nn依赖于autograd来定义模型，并对其自动求导构建神经网络的典型流程·定义一个拥有可学习参数的神经网络·遍历训练数据集·处理输入数据使其流经神经网络·计算损失值...
2021-10-24 00:56 阅读数 51

【深度学习】 loss不下降，准确率很低的原因

loss不下降，ACC很低（只有0.1，0.2这种）可能的原因有：数据集有问题（噪声过多或存在过多的标签错误或类别不平衡）梯度爆炸梯度消失笔者遇到的梯度爆炸情况下图的矩阵是pooler_output（从bert得到的句子向量）：若干个不同的文本，在训练两个batch后可见模型的输出几乎一样了，...
2021-09-29 14:41 阅读数 68

基于Pytorch的torch.nn.embedding()实现词嵌入层

 nn.embedding()其实是NLP中常用的词嵌入层，在实现词嵌入的过程中embedding层的权重用于随机初始化词的向量，该embedding层的权重参数在后续训练时会不断更新调整，并被优化。  nn.embedding:这是一个矩阵类，该开始时里面初始化了一个随机矩阵，矩阵的长是字典...
2021-07-28 15:21 阅读数 351

关于最小二乘法详解

最小二乘法的原理与要解决的问题最小二乘法的矩阵法解法最小二乘法的几何解释最小二乘法的局限性和适用场景　最小二乘法的python实战import numpy as npimport scipy as spfrom scipy.optimize import leastsqimport matpl...
2021-04-28 22:44 阅读数 33

nlp标注系统前端功能实现

nlp标注系统前端功能实现简介由于目前是在AI部门任职前端，需要给部门的标注人员做一个标注系统。做之前感觉挺简单，真正编码的时候发现有些细节的地方还挺复杂的。简单做一下需求分析，列举一下主要功能点：导入原始数据（json），例如： [ { "text": "【最终指导】20首...
2021-04-14 17:01 阅读数 134

结合源码的Transformer最全面、最深度的解析

mask
2020-04-22 13:47 阅读数 45

Tensorflow的安装与使用

自己其实是在学习传统机器学习算法关于数据挖掘方面的，一直想去了解一下自然语言处理方面，还有就是学习如何使用Tensorflow这个库，以后找工作可能都可以用来吹一下
2019-04-07 14:59 阅读数 77
技术
今日推荐
ioDraw Mac客户端安装教程
阅读数 16
下载桌面版
GitHub
百度网盘（提取码：draw）
Gitee
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱：[email protected]
QQ群：766591547
关注微信
©2020-2024 ioDraw All rights reserved, Privacy Policy