【nlp】3.2 Transformer论文复现：1. 输入部分（文本嵌入层和位置编码器）

news/2024/7/19 10:41:28 标签: 自然语言处理, transformer, 深度学习, embedding

Transformer论文复现：输入部分（文本嵌入层和位置编码器）

1 输入复现
- 1.1 文本嵌入层
- - 1.1.1 文本嵌入层的作用
  - 1.1.2 文本嵌入层的代码实现
  - 1.1.3 文本嵌入层中的注意事项
- 1.2 位置编码器
- - 1.2.1 位置编码器的作用
  - 1.2.2 位置编码器的代码实现
  - 1.2.3 位置编码器中的注意事项

1 输入复现

输入部分包含:

源文本嵌入层及其位置编码器
目标文本嵌入层及其位置编码器

在这里插入图片描述

1.1 文本嵌入层

1.1.1 文本嵌入层的作用

其中两个输入都涉及到文本嵌入层，关于此层的作用总结如下：

无论是源文本嵌入还是目标文本嵌入，都是为了将文本中词汇的数字表示转变为向量表示,

http://www.niftyadmin.cn/n/5222244.html

python环境的搭建+pytharm安装教程

一、Anaconda安装 1、去官网下载anaconda >百度搜索anaconda按回车键 >找到官网地址进去（注意看网址） >下载位置 2、安装anaconda 具体就安装步骤就不演示了（写文章时已经安装好了） 二、pycharm安装 1、去官网下载py…

[学习笔记]IK分词器的学习

IK分词器有几种模式 # 测试分词器 POST /_analyze {"text":"黑马程序员学习java太棒了","analyzer": "standard" }# 测试分词器 POST /_analyze {"text":"黑马程序员学习java太棒了","analyzer": &quo…

HTML中input标签的23种type类型

一、概述随着html5的出现，input标签新增了多种类型，用以接收各种类型的用户输入。其中传统输入控件有10种，新增输入控件有13种。二、传统类型传统输入控件有10种，如下所示 text 定义单行文本输入框 password 定义…

机器学习常用距离度量方法

机器学习常用距离度量方法前言一、前期准备二、距离度量方法1. 欧氏距离2.曼哈顿距离3.切比雪夫距离4. 闵可夫斯基距离总结前言机器学习中往往通过度量来研究不同样本或数据集之间的差异性，合适的度量方式可以显著提高算法的准确率，因此在接下来的内…

java后端信息的分页查询

java后端信息的分页查询需求分析在一个页面展示大量的用户信息不便于观看，因此采用分页展示的方法。用户可以通过分页条自己选择查看的数量。可以用条件过滤一些信息，在查询的同时还需要分页展示代码开发流程： 页面发送ajax请求&#…

持续集成交付CICD：GitLab Webhook触发Jenkins流水线

目录一、实验 1.Jenkins远程下载GiaLab仓库代码 2.curl远程触发Jenkins流水线 3.GitLab Webhook触发Jenkins流水线二、问题 1.GitLab配置Webhook时报错一、实验 1.Jenkins远程下载GiaLab仓库代码 (1) Jenkins添加选项参数 (2)添加字符参数 (3)查看构建参数情况 (4)添…

参考： BV1Ps4y1J7Ve ---------------------------------------------------------------------------------------------------------- 一、RESTful框架常见的有SpringMVC，jersey，play 二、API测试工具 Postman，Insomnia 三、RESTful接口设计练习 3.1 项目准备构…

【数据结构/C++】线性表_双链表基本操作

#include <iostream> using namespace std; typedef int ElemType; // 3. 双链表 typedef struct DNode {ElemType data;struct DNode *prior, *next; } DNode, *DLinkList; // 初始化带头结点 bool InitDNodeList(DLinkList &L) {L (DNode *)malloc(sizeof(DNode))…