17 Transformer 的解码器(Decoders)——我要生成一个又一个单词

news/2024/7/19 10:08:56 标签: transformer, 深度学习, 人工智能

Transformer 编码器

编码器在干吗:词向量、图片向量,总而言之,编码器就是让计算机能够更合理地(不确定性的)认识人类世界客观存在的一些东西

Transformer 解码器

解码器会接收编码器生成的词向量,然后通过这个词向量去生成翻译的结果。

img

解码器的 Self-Attention 在编码已经生成的单词

假如目标词“我是一个学生”—》masked Self-Attention

训练阶段:目标词“我是一个学生”是已知的,然后 Self-Attention 是对“我是一个学生” 做计算

如果不做 masked,每次训练阶段,都会获得全部的信息

如果做 masked,Self-Attention 第一次对“我”做计算

Self-Attention 第二次对“我是”做计算

……

测试阶段:

  1. 目标词未知,假设目标词是“我是一个学生”(未知),Self-Attention 第一次对“我”做计算
  2. 第二次对“我是”做计算
  3. ……

而测试阶段,没生成一点,获得一点

生成词

img

Linear 层转换成词表的维度

softmax 得到最大词的概率

softmax 细话

img

单词表

img

http://www.niftyadmin.cn/n/5111625.html

相关文章

并发包下的 Unsafe 类

在 Java 并发包下,有一个 sun.misc.Unsafe 类,它是 JDK 内部使用的,提供了一些底层的、不安全的操作,不建议直接使用它,因为它可以绕过 Java 的内置安全性机制,可能导致不稳定和不安全的代码。 Unsafe 类的…

Windows 下载编译chromium源码

前言 本文介绍如何下载并编译chromium源码。相关前置条件可参考官方文档。 环境 : Windows 11VS 2022 环境设置 打开cmd,设置代理 set http_proxyhttp://127.0.0.1:7890 & set https_proxyhttp://127.0.0.1:7890注意:使用cmd命令行…

npm 无法将“npm”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写,如果包括路径,请确保路径正确,然后再试一次。

一、报错: npm : 无法将“npm”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写,如果包括路径,请确保路径正确, 然后再试一次。 所在位置 行:1 字符: 1npm init -y~~~ CategoryInfo : ObjectNotFo…

Casbin实战经验大揭秘:教育培训领域的创新实践和高效优化策略

策略描述语言(论文) 摘要: 为了保护云资源的安全,防止数据泄露和非授权访问,必须对云平台的资源访问实施访问控制。然而,目前主流云平台通常采用自己的安全策略语言和访问控制机制,从而造成两个问题&#x…

怎么去别人的github工程下载

1、网络 确保网络能够顺利访问github,有的地方的公共网络不能访问github,我之前开过科学上网的会员,发现没必要特意开去访问它。可以直接开手机热点,一般是可以顺利访问的。 2、下载 以我的github开源笔记qq-hh/C_review (gith…

42915-2023 铜精矿及主要含铜物料鉴别规范

1 范围 本文件规定了铜精矿及主要含铜物料的鉴别特征、鉴别流程、鉴别实施及鉴别报告编写。 本文件适用于进口铜精矿与主要含铜物料的鉴别,主要含铜物料包括冰铜、铜火法冶炼渣、铜火法 冶炼烟尘、铜阳极泥、铜渣精矿等铜火法冶炼工艺产生的物料。 2 规范性引用…

Kubernetes 学习总结(39)—— Kubernetes 之 Pause 容器详解

一、概念和作用 在 Kubernetes 中,Pause 容器是一种特殊类型的容器,它的主要作用是充当依赖其他容器的容器,为其他容器提供一个可靠的、隔离的运行环境。 Pause 容器是一种轻量级的容器,它本身不包含任何业务逻辑,只是…

我单方面宣布:腾讯云服务器优惠价格(双11特价)

2023腾讯云双十一服务器优惠价格表多少钱一年?轻量服务器2核2G3M、2核2G4M、2核4G5M、4核8G12M、8核16G18M、16核32G28M和云服务器CVM标准型S5实例优惠价格,腾讯云百科今年双11服务器价格会在当前的价格基础上享受个9折优惠,可领券 https://c…