transformer的理解思路

news/2024/7/19 9:56:51 标签: transformer, 深度学习, 人工智能

整理transformer容易理解(可能质量不会太好,但肯定容易理解)的一些文章
1.embeding
https://chriszou.com/2019/06/29/embedding-explained/
通俗的方式解释了,embeding是什么东西

2.位置编码
英文https://www.youtube.com/watch?v=dichIcUZfOw
英文https://www.cnblogs.com/emanlee/p/17137698.html
英文https://www.inovex.de/de/blog/positional-encoding-everything-you-need-to-know/#:~:text=The%20simplest%20example%20of%20positional,and%20added%20to%20that%20input
英文https://machinelearningmastery.com/a-gentle-introduction-to-positional-encoding-in-transformer-models-part-1/
英文https://kazemnejad.com/blog/transformer_architecture_positional_encoding/

2.transformer图解计算过程
中文http://fancyerii.github.io/2019/03/09/transformer-illustrated/
中文https://zhuanlan.zhihu.com/p/219714713
英文http://jalammar.github.io/illustrated-transformer/

3.transformer的代码实现
http://fancyerii.github.io/2019/03/09/transformer-codes/#the-annotated-transformer_14_0


http://www.niftyadmin.cn/n/179132.html

相关文章

Boost搜索引擎的实现

目录Boost搜索引擎项目1.项目的相关背景2.搜索引擎的相关宏观原理3.搜索引擎技术栈和项目环境4.正排索引vs倒排索引 -搜索引擎具体原理正排索引:就是从文档ID找到文档内容(文档内的关键字)倒排索引:根据文档内容,分词,整理不重复的…

0207生命周期v17.x-组件-React

1 新版生命周期 React17.x生命周期如下图1-1所示: React组件的生命周期可以分为三个主要阶段:挂载阶段,更新阶段和卸载阶段。每个阶段都有不同的生命周期方法可供使用。 挂载阶段(Mounting) 在挂载阶段,…

复习Java基础知识-数据类型

基本数据类型 整数型 btye 1字节 short 2字节 int 4字节 long 8字节 浮点型 float 4字节 double 8字节 布尔型 boolean 字符型 char 引用类型 字符串String 字符串的不可变性 String a "abc"; a "bcd"; a赋值改变的这个过程不是将字符串“abc”的内…

C++ 直接初始化和拷贝初始化

首先我们介绍直接初始化&#xff1a;编译器使用普通的函数匹配来选择与我们提供的参数最匹配的构造函数。文字描述可能会让你们云里雾里&#xff0c;那我们直接看代码&#xff1a; //先设计这样的一个类 class A{ public:A(){ cout << "A()" << endl; }A…

Js:Blob、ArrayBuffer、FileReader、URL、Image、关于文件下载的方法案例

目录概括1. 基本概念1.1 Blob&#xff1a;存储二进制文件的“容器”。不可变。1.2 File&#xff1a;File接口基于Blob1.3 ArrayBuffer &#xff1a;表示原始的二进制数据缓冲区1.4 FileReader&#xff1a;异步文件读取&#xff0c;可进行文件类型转换1.5 URL.createObjectURL()…

MySQL实战45讲——06|全局锁和表锁:给表加个字段怎么有这么多阻碍

06|全局锁和表锁&#xff1a;给表加个字段怎么有这么多阻碍 请支持正版&#xff1a;MySQL实战45讲 根据锁的范围&#xff0c;MySQL里的锁大致可以分为全局锁、表级锁和行锁三类 全局锁 全局锁就是对整个数据库实例加锁&#xff0c;MySQL提供了一个加全局读锁的方法&#xf…

测试了Copilot辅助编程后,就离不开这个AI工具了

微软用chatGPT 4 对github copilot X 升级后&#xff0c;也跟风测试了一下其功能。copilot 与vscode结合&#xff0c;智能化程度之高&#xff0c;令我吃惊。 下面简单介绍一下其使用过程&#xff0c;以及对如何使用好这个工具. 1. 安装与注册 IDE开发环境我使用的是 VSCode与…

深入学习hashCode 和equals()方法的关系

在java中&#xff0c;每个对象都可以调用hashCode()方法得到自己的哈希值(一串数值)&#xff0c;就像人的指纹一样。但是在java中对象并不能做到像人一样&#xff0c;指纹都是唯一的。 在判断两个对象之间是否想等时&#xff0c;我们通常使用hashCode()方法和equals()方法。 …