人工智能
多线程
CTF
Hash
图相似度预测
支持向量机
重定位
PMP项目管理
C/C++面试
总体设计
六旋翼无人机
EDI
AMQP
改进粒子群优化算法
虚拟化
LIME
绘图
Spark sql
锁
mfc
机器翻译
2024/4/12 1:01:34LSTM已死，Transformer当立（LSTM is dead. Long Live Transformers! ）：上
回想一下在Seq2seq模型中，如何使用Attention。这里简要回顾一下【1】介绍的方法2（并以此为基础展开对Transformer的讨论）。
下图中包含一个encoder（左）和一个decoder（右）。对于decoder来说，给定一个输入，得到输出，如何进一步得到context vector 呢？
我们需要根据和…
在Trados 2017,2019中的使用Google NMT
在Trados 2017,2019中的使用Google NMTSDL Trados2017 和SDL Trados2019 中可以直接使用Google 机器翻译首先 获取Google API KEY之后就可以在 Trados Studio中使用 Google API keySDL Trados2017 和SDL Trados2019 中可以直接使用Google 机器翻译
首先 获取Google API KEY
访…
机器翻译：跨越语言边界的智能大使
导言 机器翻译作为人工智能领域的瑰宝，正在以前所未有的速度和精度，为全球沟通拓展新的可能性。本文将深入研究机器翻译的技术原理、应用场景以及对语言交流未来的影响。
1. 简介 机器翻译是一项致力于通过计算机自动将一种语言的文本翻译成另一种语言的…
人工智能-机器翻译：技术发展与代码实战
在本文中，我们深入探讨了机器翻译的历史、核心技术、特别是神经机器翻译（NMT）的发展，分析了模型的优化、挑战及其在不同领域的应用案例。同时，我们还提出了对未来机器翻译技术发展的展望和潜在的社会影响。 关注TechLe…
Huawei 华为云 机器翻译调用 详解
#在完成了阿里百度腾讯有道搜狗讯飞字节火山等等的对接挑战之后，今天来处理华为的机器翻译对接
还是先申请华为的接口https://support.huaweicloud.com/nlp/index.html 注册申请后，去控制台>我的凭证 建立项目并下载凭证（AK/SK࿰…
SDL Trados 2021 最新版本的下载地址 (2021年12月更新)
Cumulative Update 9 for Trados Studio 2021 SR2 (Build 16.2.9.9198, released on 15 December 2021)
下载地址: https://downloadcentercdn.sdl.com/TP/Trados/T2021/CUs/SR2_CU9/TradosStudio2021_SR2_CU9_9198.zip
Cumulative Update 9 for Trados Studio 2021 SR2 这个…
AI：73-结合语法知识的神经机器翻译研究
🚀 本文选自专栏：AI领域专栏 从基础到实践，深入了解算法、案例和最新趋势。无论你是初学者还是经验丰富的数据科学家，通过案例和项目实践，掌握核心概念和实用技能。每篇案例都包含代码实例，详细讲解供大家学习。 📌📌📌在这个漫长的过程，中途遇到了不少问题，但是…
如何使用Python + 百度翻译API 自动大批量免费翻译Excel文件中的外语内容
手里有一个Excel文件，包括了大量的亚马逊德语搜索词（关键词），每个单元格1个，需要翻译为中文。但是文件大小超过了10M，不能使用百度或Google免费的文档功能，如果手工一个个的翻译然后粘贴又太麻烦，于是想到用Python加免费翻译API完成。
一、openpyxl库
用Python编辑处…
SDL Trados 2021 安装和体验 (安装)
最近 SDL Trados 2021 版本已经发布，我来简单体验一下：
首先安装.NET Framework
推荐最新版4.8，这个版本也是支持Win7的 https://dotnet.microsoft.com/download/dotnet-framework/net48
直接链接 https://download.visualstudio.microsof…
用Bat文件调用小牛翻译api快速翻译
为了帮助大家更加轻松地调用机器翻译api，本人探索实现了一种可以通过BAT文件来调用机器翻译api，对粘贴板中的文本进行翻译，并将翻译结果保存为txt文件。下面把实现步骤简要说明如下：
第一步：获取小牛机器翻译api
进入…
保 姆 级 NLP 学 习 路 线
之后的更新都会定期发文并汇总在Github上，欢迎催更：https://github.com/leerumor/nlp_tutorial下面开始学！习！（敲黑板）如何系统地学习机器学习是一门既重理论又重实践的学科，想一口吃下这个老虎…
Sentence Concatenation Approach to Data Augmentation for Neural Machine Translation阅读笔记
Abstract
NMT中的长句翻译表现较差，这是低资源语言的一个主要问题。我们假设这个问题是由于训练数据中长句数量不足造成的。因此，本研究提出一种简单的数据扩充方法来处理长句。在该方法中，我们只使用给定的平行语料库作为训练数据ÿ…
Data Augmentation by Concatenation for Low-Resource Translation: A Mystery and a Solution阅读笔记
Abstract
在本文中，我们研究了连接的驱动因素，连接是一种简单但有效的数据增强方法，用于低资源的神经机器翻译。相反，我们证明了改进来自于其他三个与话语无关的因素:语境多样性、长度多样性和(在较小程度上)位置转移。
1 Intro…
机器学习深度学习——机器翻译（序列生成策略）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——seq2seq实现机器翻译（详细实现与原理推导） 📚订阅专栏：机…
NMT - fast-align
文章目录关于 fast-align安装编译 fast-align使用准备数据执行 fast_align 命令关于 fast-align
GitHub: https://github.com/clab/fast_align fast_align is a simple, fast, unsupervised word aligner. fast-align 是一个简介快速的无监督词对齐工具。 安装编译 fast-align…
SDL Trados 2019 和 SDL Trados 2021 二零二一五月更新
SDL Trados 2019 和 SDL Trados 2021 二零二一五月更新 好久没检查更新了
检查地址 https://update.sdl.com/updates/update1/studio15/live/updates.xml https://update.sdl.com/updates/update1/multiterm15/live/updates.xml
CU 8 fix GS and Language Cloud 相关网络问题…
![[论文笔记]Glancing Transformer for Non-Autoregressive Neural Machine Translation](https://img-blog.csdnimg.cn/995ccaae14124f42815d92b9eb6676c7.png)
[论文笔记]Glancing Transformer for Non-Autoregressive Neural Machine Translation
引言
这是论文Glancing Transformer for Non-Autoregressive Neural Machine Translation的笔记。
传统的非自回归文本生成速度较慢，因为需要给定之前的token来预测下一个token。但自回归模型虽然效率高，但性能没那么好。 这篇论文提出了Glancing Transformer，可以只需要一…
Word表格文件类型支持 FileTypeSupport.Filters.WordTable
SDL Trados Studio中有一个我非常喜欢的类型支持功能 双语Excel格式支持 它可以按照设置的列将Excel直接转换为双语xliff格式 可以设置保留已存在的译文 最早这个类似的功能是在SDLX中就存在的Excel或者TXT转成ITD
除了Excel，Word文件有的时候也会被用来处理表格&a…
机器翻译的一些个人研究记录
机器翻译的发展 基于规则的机器翻译（70年代）
基于统计的机器翻译（1990年）
基于神经网络的机器翻译（2014年）
Google NMT 机器翻译框架
transformer机器翻译框架 lstmattention的机制实现 分词技术--自然…
五种需求类科研工具推荐
当今，研究生生活充满了挑战和机遇，而合适的工具可以帮助研究生更好地应对学术压力和生活需求。在这篇文章中，我们将推荐一些研究生常用的好用工具，帮助他们提高学习效率、管理时间和提升工作质量。
一、学术和论文撰写科研工具
…
C++跨DLL内存所有权问题探幽（二）CRT中MT和MD混用导致的所有权问题
0xC0000374: 堆已损坏。 (参数: 0x00007FFA1E9787F0)。 _Mem 是 nullptr
我在开发的过程中有遇到上面两个东西的bug，百思不得其解，最后才发现这个和两个DLL中的MT和 MD选项有关系。
具体情境时：我在一个MT编译的DLL A中引用了一个MD编译的D…
视频，多媒体本地化总结
概念历史
提到多媒体不得不说到广播和无线电技术也叫做模拟信号，现代的是数字视频，没有以前的模拟视频就没有现代的数字视频，现在的数字视频技术是在模拟视频技术上不断发展起来的，并且很多地方仍然保留着模拟时代的烙印。 电视的…
SDL Trados 2021 安装和体验 (体验)
SDL Trados 2021 安装和体验 (体验)
安装请转至 https://blog.csdn.net/dark_2001/article/details/108069222
总体来说这次的改动还是非常多的
Sdl.ApiClientSdk丰富了很多 启动 全新基于订阅的激活方式 内置的APPStore管理器 SDL接管了很多APP https://github.com/sdl/Sdl…
字节跳动 火山引擎 机器翻译调用 C#详解
字节跳动最近发布了火山引擎，支持机器翻译
官方的文档给出了Python，Go的示例 https://www.volcengine.com/docs/4640/65067 同时在github开源了java版的sdk https://github.com/volcengine/volc-sdk-java
既然没有.NET版本的实现，我用C#来做…
【动手学深度学习】--机器翻译与数据集
文章目录 机器翻译与数据集1.下载和预处理数据集2.词元化3.词表4.加载数据集5.训练模型 机器翻译与数据集
学习视频：机器翻译数据集【动手学深度学习v2】
官方笔记：机器翻译与数据集
机器翻译（machine translation）指的是 将序…
人工智能Java SDK：中文翻译为英文
中文翻译为英文SDK
机器翻译，又称为自动翻译，是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。 它是计算语言学的一个分支，是人工智能的终极目标之一，具有重要的科学研究价值。 同时，机器翻…
【Python】translate包报错RuntimeError: generator raised StopIteration
根据网上有些教程，使用translate包翻译稍微复杂语句的时候，会报错RuntimeError: generator raised StopIteration 实际测试之后发现，主要是from_lang、to_lang两个参数的设置有问题，比如有人说中文写"Chinese"、"Z…
U7 源程序的中间形式
文章目录 一、中间表示IR1、概念2、拓展3、表示形式 二、波兰表示1、概念2、生成波兰表示3、if语句的波兰表示 三、N元表示1、概念2、三元式3、间接三元式4、四元式（三地址表示/TAC）5、SSA 四、抽象语法树（AST）1、概念 一、中间表…
外文文献阅读方法八个步骤
外文文献阅读方法主要包括以下几个步骤：
1、确定研究目的和问题：在阅读前，需要明确自己的研究目的和问题，以便更好地理解文献内容。
2、选择合适的资源：根据研究目的和问题，选择合适的外文文献资源&#…
探索人工智能中的语言模型：原理、应用与未来发展
导言 语言模型在人工智能领域中扮演着重要的角色，它不仅是自然语言处理的基础，也是许多智能系统的核心。本文将深入研究语言模型的原理、广泛应用以及未来发展趋势。
1. 语言模型的原理
统计语言模型： 基于概率统计的传统语言模型&…
【Python】简单的翻译软件
用translate包和tkinter写一个简单的桌面翻译软件。
1、窗口设置&引入包：
from tkinter import *
from tkinter.ttk import *
from tkinter.messagebox import *
import translatewinTk()
win.title(翻译)
win.geometry("600x400")win.mainloop()
…
一分钟学会“沉浸式翻译”插件的安装与使用
一、安装
安装地址：https://immersivetranslate.com/
选择对应的浏览器进入安装即可 二、简单的翻译使用方法 第一次安装需要先刷新界面才可以达到翻译效果 核心需要修改的地方在以下三个： 第一处：设置翻译服务，免费版的可以直接…
U4_3 语法分析-自底向上分析-LR0/LR1/SLR分析
文章目录 一、LR分析法1、概念2、流程3、LR分析器结构及分析表构造1）结构2）一些概念 二、LR(0)分析法1、流程2、分析动作1）移近2）归约(reduce) 3、总结1）LR分析器2）构造DFA3）构造LR(0)的方法(三…
文献工具汇总：论文查找、文献管理、文献翻译
科研人员论文哪里找？文献如何管理？本文给推荐一些提高论文阅读写作效率的一些资料，包括查找论文、文献管理、文献翻译等方面。
一、查找文献
PMC（Pubmed Cenral)
Pubmed官方系统中，将免费的全文集中在此，…
【文末送书】语义解析：连接自然语言与机器智能的桥梁
欢迎关注博主 Mindtechnist 或加入【智能科技社区】一起学习和分享Linux、C、C、Python、Matlab，机器人运动控制、多机器人协作，智能优化算法，滤波估计、多传感器信息融合，机器学习，人工智能等相关领域的知识和技术。关…
CycleGAN 是如何工作的？
一、说明 CycleGAN即循环对抗网络，是图像翻译成图像的模型；是Pix2Pix模型的扩展，区别在于，Pix2Pix模型需要输入图像和目标图像成对给出训练，CycleGAN则不需要，例如：从 SAR 生成 RGB 图像、从 RG…
Markdown *.MD 文件 技术文档 在SDL Trados Studio中翻译
Markdown *.MD 文件 技术文档 在SDL Trados Studio中翻译
Markdown 是一种最新主流的技术文档写作格式，广泛用于API编写，在技术领域十分流行，本篇文档也是在CSDN的Markdown编辑器中撰写的。
SDL Trados 2019 SR2中新添加了Markdown解析器&a…
机器翻译目前广泛应用于文档翻译以及硬件翻译
机器翻译（Machine Translation，MT）是一种自动化技术，用于将一种语言的文本转换为另一种语言的文本。它通常被用于跨语言交流和全球化的需求。
机器翻译目前可分为软件和硬件，软件常用的则是文档翻译、文字翻译、图片翻…
CAD文件翻译和本地化
CAD和CAT这个概念很类似，CAT是Computer Aid Translate 计算机复制翻译，CAD是Computer Aid Design 计算机辅助设计，指利用计算机及其图形设备帮助设计人员进行设计工作。 CAD(Computer Aided Design，计算机辅助设计）诞生…
Vocabulary Learning via Optimal Transport for Neural Machine Translation论文解读
abstract
token vocabulary的选择对机器翻译结果的影响比较大 本文研究什么样才是好的词表，并且能不能不通过训练直接找到最优的词表 首先提供一种从信息理论的角度来分析词表的作用 通过optimal transport的思路来找到最佳token词典，并且有一个合适的词…
mixSeq: A Simple Data Augmentation Method for Neural Machine Translation阅读笔记
Abstract
数据增强是指通过操纵输入(如添加随机噪声、屏蔽特定部分)来扩大数据集。大多数数据增强技术都是在单一的输入上操作的，这限制了训练语料库的多样性。在本文中，我们提出了一种简单而有效的神经机器翻译数据增强技术，mixSeq…
【报错解决】ValueError: batch length of `text`: xx does not match batch length of `text_pair`: xx.
错误样例输入和输出
样例代码如下：
from transformers import GPT2Tokenizer,GPT2Model
tokenizer GPT2Tokenizer.from_pretrained(gpt2)
model GPT2Model.from_pretrained(gpt2)
special_tokens_dict {cls_token: <CLS>}
num_added_toks tokenizer.add…
使用golang对接微软Azure AI翻译
文章目录 一、官方地址二、准备工作三、代码示例 一、官方地址
https://learn.microsoft.com/zh-CN/azure/ai-services/translator/translator-text-apis?tabsgo
二、准备工作 创建服务 创建服务连接地址：https://portal.azure.com/#create/Microsoft.CognitiveS…
NLP系列项目三：Seq2Seq+Attention完成机器翻译
本项目尽可能复现Luong的attention模型，数据集小，只有一万多个句子的训练数据，所以训练出来的模型效果并不好。如果想训练一个好一点的模型，可以参考下面的资料。
课件
cs224d
论文
Learning Phrase Representations using RN…
Transformer原理及代码实现解读
前言
2017横空出世的Transformer可谓是惊艳了所有人，再到2018年谷歌推出的BERT更是将其威力发挥到了极致，在NLP的11项下游任务中夺得SOTA结果，轰动了整个NLP领域。当然BERT取得的出色成绩并不是一蹴而就的，而是ELMO和GPT等预训练…
基于LSTM encoder-decoder模型实现英文转中文的翻译机器
前言
神经网络机器翻译(NMT, neuro machine tranlation)是AIGC发展道路上的一个重要应用。正是对这个应用的研究，发展出了注意力机制，在此基础上产生了AIGC领域的霸主transformer。我们今天先把注意力机制这些东西放一边，介绍一个对机器翻译…
机器学习深度学习——transformer（机器翻译的再实现）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——自注意力和位置编码（数学推导代码实现） 📚订阅专栏：机器…
漫画翻译、嵌字 AI，东京大学论文被 AAAI’21 收录
内容概要：一项关于漫画文字自动翻译的研究，引发了热议，由两位东京大学博士组成的 Mantra 团队发布了一篇论文，目前已被 AAAI 2021 收录，该 Mantra 项目旨在为日本漫画提供自动化的机器翻译工具。 原创：Hype…
机器学习 --- 线性回归（第一关-第四关）
线性回归是属于机器学习里面的监督学习，与分类问题不同的是，在回归问题中，其目标是通过对训练样本的学习，得到从样本特征到样本标签直接的映射，其中，在回归问题中，样本的标签是连续值。线性回归…
现代循环神经网络实战：机器翻译
专栏：神经网络复现目录
机器翻译
机器翻译是一种利用计算机技术将一种语言的文本自动翻译成另一种语言的过程。机器翻译技术旨在解决语言障碍问题，使不同语言之间的交流更加便捷。机器翻译使用的算法包括统计机器翻译、神经机器翻译等。机器翻译技术已…
动手学深度学习之机器翻译和数据集
参考伯禹学习平台《动手学深度学习》课程内容内容撰写的学习笔记 原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/video/MZn2AdNyGzumTprVPwV3y 感谢伯禹平台，Datawhale，和鲸，AWS给我们提供的免费学习机会&…
机器翻译，文本生成评估指标BELU，BERTSCORE
一:BLEU 1.1 BLEU 的全称是 Bilingual evaluation understudy，BLEU 的分数取值范围是 0～1，分数越接近1，说明翻译的质量越高。BLEU 主要是基于精确率(Precision)的，下面是 BLEU 的整体公式。 BLEU 需要计算译文 1…
《自然语言处理》第二次实验：机器翻译（Seq2Seq中英文翻译实验）
文章目录 任务一：按照实验手册进行Seq2Seq中英文翻译实验步骤 1 进入ModelArts开发环境步骤 2 下载自然语言处理包步骤 3 上传实验数据步骤 4 进入Notebook实验环境步骤 1 导入实验所需的第三方模块步骤 2 设置运行环境步骤 3 查看数据内容步骤 4 定义数据预处理函数步骤 5 获…
![[UIM]论文解读：subword Regularization: Multiple Subword Candidates](https://img-blog.csdnimg.cn/direct/0e2ab2a617e14b84b8ba38c9eab54d0a.png)
[UIM]论文解读：subword Regularization: Multiple Subword Candidates
文章目录 一、完整代码二、论文解读2.1 介绍2.2 NMT2.3 Unigram language model2.4 subword 抽样2.5 效果 三、整体总结 论文：Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates 作者：Taku Kudo 时…
Survey of Low-Resource Machine Translation阅读笔记
文章目录1 Introduction2 Data Sources2.1 Searching Existing Data Sources2.2 Web-crawling for Parallel Data2.3 Low-resource Languages and Web-crawling2.4 Other Data Sources3 Use of monolingual data3.1 Integration of external language models3.2 Synthesising P…
什么是MTTF、MTTR、MTBF和MTRF？
MTTF MTTF（Mean Time To Failure，平均失效前时间）对于不可修复系统， 系统的平均寿命指系统发生失效前的平均工作（或存储） 时间或工作次数， 也称为系统在失效前的平均时间， 记为MTTF …
Qt例子学习笔记 - Examples/Qt-6.2.0/corelib/threads/queuedcustomtype
//在自定义类型示例中，我们展示了如何将自定义类型与元对象系统集成 //使它们能够存储在 QVariant 对象中，写入调试信息并用于信号槽通信 //在这个例子中，我们创建了一个新的值类 Block //并将它注册到元对象系统 //使我们能够使用排队的信号…
【libxml2】v162 x64 MT 构建，包括依赖库libiconv
需要构建一个有静态运行时库的MT版本、X64的xml2库。发现依赖于iconv下载libmxl2，地址libiconv-win-build 1.17 github上大神的工程，比官方 的方便多了，可以直接构建官方的需要我们搞nmakecmake构建 libiconv-static.lib Found Iconv: G:/DEV/live-player/RTCPLAYER/CicadaP…
推荐一些跨平台的比较优秀的翻译服务（软件或平台）
因为编程及查阅资料需要频繁的查阅英文，推荐一些跨平台的比较优秀的翻译服务（软件或平台）
1、DeepL Translate (https://www.deepl.com/translator) 这是一款基于机器翻译的在线翻译软件。win、安卓、Linux、IOS上都有可用的版本也可以基于w…
Transformer(四)--实现验证：transformer 机器翻译实践
转载请注明出处：https://blog.csdn.net/nocml/article/details/125711025
本系列传送门： Transformer(一)–论文翻译：Attention Is All You Need 中文版 Transformer(二)–论文理解：transformer 结构详解 Transformer(三)–论文实…
机器学习深度学习——seq2seq实现机器翻译（数据集处理）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——从编码器-解码器架构到seq2seq（机器翻译） 📚订阅专栏：机…
用变压器实现德-英语言翻译【01/8】:嵌入层
一、说明 本文是“用变压器实现德-英语言翻译”系列的第一篇文章。它引入了小规模的嵌入来建立感知系统。接下来是嵌入层的变压器使用。下面简要概述了每种方法，然后是德语到英语的翻译。 二、技术背景 嵌入层的目标是使模型能够详细了解单词、标记或其他输入之间的…
U4_2 语法分析-自底向上分析-算符优先分析
文章目录 一、回顾1、推导 vs 规约2、句型、短语、简单短语、句柄 二、自底向上（移进-规约）分析方法1、基本思想2、分析过程3、移进—归约分析（Shift-Reduce Parsing) 三、算符优先分析1、概念2、分析流程1）先确定终结符之间的优先…
再谈Linux PO资源文件的翻译
什么是PO文件？
PO 是 Portable Object (可移植对象)的缩写形式；MO 是 Machine Object (机器对象) 的缩写形式。 是Linux系统中软件本地化常用文件格式，也是WordPress的本地化文件格式，用途比较广泛。 PO是文本格式的文件…
注意力机制论文笔记：Neural Machine Translation by Jointly Learning to Align and Translate
论文原文镇四方，大神护我科研顺利，顶会约稿~~ 这是注意力机制落地到自然语言处理的一篇论文，好像是第一篇，没有考究。
论文中心思想：在传统的机器翻译模型（encoder-decoder）中的decoder中加入注…
几个nlp的小任务（机器翻译）
几个nlp的小任务（机器翻译） 安装依赖库数据集介绍与模型介绍加载数据集看一看数据集的样子评测测试数据预处理测试tokenizer处理目标特殊的token预处理函数对数据集的所有数据进行预处理微调预训练模型设置训练参数需要一个数据收集器，把处理好数据喂给模型设置评估方法参数…
人工智能绘画的时代下到底是谁在主导,是人类的想象力,还是AI的创造力?
#ai作画
目录
一.AI绘画的概念
1. 数据集准备：
2. 模型训练：
3. 生成绘画：
二.AI绘画的应用领域
三.AI绘画的发展
四.AI绘画背后的技术剖析
1.AI绘画的底层原理
2.主流模型的发展趋势
2.1VAE — 伊始之门
2.2GAN
2.2.1GAN相较于…
成都瀚网科技：抖音上线地方方言自动翻译功能
为了让很多方言的地域历史、文化、习俗能够以短视频的形式生产、传播和保存，解决方言难以被更多用户阅读和理解的问题，平台正式上线推出当地方言自动翻译功能。创作者可以利用该功能，将多个方言视频“一键”转换为普通话字幕供大众观看。 具体…
九个研究生学术工具推荐
对于研究生来说，大概每天除了论文就是论文，这里推荐一些好用的工具
1、Zotero：一个免费的文献管理工具，可帮助您组织、引用和分享您的文献。
2、Mendeley：类似于Zotero，也是一个免费的文献管理工具&#…
Encoder-Decoder框架与Attention机制
Attention机制 – 潘登同学的深度学习笔记 文章目录Attention机制 -- 潘登同学的深度学习笔记Encoder-Decode框架Encoder-Decode应用于聊天机器人数据预处理训练模型模型应用Attention机制计算相似度矩阵的方式论文提出的方法更常用的方法Self-Attention机制Multi headAttentio…
机器学习：从理论到实践
机器学习：从理论到实践
摘要
机器学习是人工智能的一个核心领域，它使计算机能够通过经验来改进性能。本文将介绍机器学习的基本概念、主要算法以及如何在实际项目中应用这些算法。我们将通过Python代码示例来演示如何使用机器学习库scikit-learn进行数…
编译原理-语法分析-自上而下分析
文章目录 语法分析器的功能自上而下分析面临的问题LL（1）分析法左递归的消除直接左递归非直接左递归 消除左递归的算法消除回溯、提左因子FIRST提左因子FOLLOW集 LL(1)的分析条件LL(1)文法构造FIRST和FOLLOW集合构造每个文法符号的FIRST集合构造FOLLOW集合…
〔012〕Stable Diffusion 之 中文提示词自动翻译插件 篇
✨ 目录 🎈 翻译插件🎈 下载谷歌翻译🎈 谷歌翻译使用方法🎈 谷歌翻译使用效果🎈 翻译插件 在插件列表中搜索 Prompt Translator可以看到有2个插件选项：一个是基于谷歌翻译 〔推荐〕、一个基于百度和deepl翻译推荐使用谷歌翻译，因为是离线翻译，所以使用时不用在乎是…
语音识别与人机交互：发展历程、挑战与未来前景
导言 语音识别技术作为人机交互领域的重要组成部分，近年来取得了巨大的发展。本文将深入研究语音识别与人机交互的发展历程、遇到的问题、解决过程、未来的可用范围，以及在各国的应用和未来的研究趋势。我们将探讨在这个领域，哪一方能取得竞争…
《动手学深度学习 Pytorch版》 9.5 机器翻译与数据集
机器翻译（machine translation）指的是将序列从一种语言自动翻译成另一种语言，基于神经网络的方法通常被称为神经机器翻译（neural machine translation）。
import os
import torch
from d2l import torch as d2l9.5.1 …
基于GPTs个性化定制SCI论文专业翻译器
1. 什么是GPTs
GPTs是OpenAI在2023年11月6日开发者大会上发布的重要功能更新，允许用户根据特定需求定制自己的ChatGPT模型。
Introducing GPTs 官方介绍页面https://openai.com/blog/introducing-gpts
在原有自定义ChatGPT的流程中，首先需要自己编制p…
C++跨DLL内存所有权问题探幽（二）CRT中MT和MD混用导致的堆损坏
0xC0000374: 堆已损坏。 (参数: 0x00007FFA1E9787F0)。 _Mem 是 nullptr
我在开发的过程中有遇到上面两个东西的bug，百思不得其解，最后才发现这个和两个DLL中的MT和 MD选项有关系。
具体情境时：我在一个MT编译的DLL A中引用了一个MD编译的D…
HDLBits：在线学习 Verilog （二十 · Problem 95 - 99）
本系列内容来自于知乎专栏，链接如下：https://zhuanlan.zhihu.com/c_1131528588117385216本系列文章将和读者一起巡礼数字逻辑在线学习网站 HDLBits 的教程与习题，并附上解答和一些作者个人的理解，相信无论是想 7 分钟精通 Verilog…
从规则到神经网络：机器翻译技术的演化之路
文章目录 从规则到神经网络：机器翻译技术的演化之路一、概述1. 机器翻译的历史与发展2. 神经机器翻译的兴起3. 技术对现代社会的影响 二、机器翻译的核心技术1. 规则基础的机器翻译（Rule-Based Machine Translation, RBMT）2. 统计机器翻译&am…
Transformer英语-法语机器翻译实例
依照Transformer结构来实例化编码器－解码器模型。在这里，指定Transformer编码器和解码器都是2层，都使用4头注意力。为了进行序列到序列的学习，我们在英语-法语机器翻译数据集上训练Transformer模型，如图11.2所示。
da…
SDLX的一些记录和相关开发
SDLX是SDL公司早期的一款本地化翻译工具，在2006年至2011年左右比较流行，SDL将SDLX和Trados合并打包在一起作为Translation Suite整体发布，同时SDLX还多年作为SDL 企业级系统TMS（Translation Manage System）的默认编辑器…
使用RNN联合注意力机制实现机器翻译
https://zhuanlan.zhihu.com/p/28834212
具体来自这一篇文章的指导
一、相关使用的查漏补缺：
1.其中的两种神奇的处理字符的操作： 2.关于nn.GRU()的参数解释和用法：
http://t.csdn.cn/30PZL
这篇文章讲得很清楚，需要用来预测…
探索自然语言处理在改善搜索引擎、语音助手和机器翻译中的应用
文章目录 每日一句正能量前言文本分析语音识别机器翻译语义分析自然语言生成情感分析后记 每日一句正能量 努力学习，勤奋工作，让青春更加光彩。 前言
自然语言处理（NLP）是人工智能领域中与人类语言相关的重要研究方向，…
最新高自定义化的AI翻译(沉浸式翻译)，可翻译网页和PDF等文件或者文献(附翻译API总结，Deeplx的api,Deepl的api)
前序 常见问题： 1.有时候想翻译网页，又翻译文献怎么办？下两个软件？ 2.什么软件可以翻译视频字幕？ 3.什么软件可以翻译PDF文件？ 沉浸式翻译介绍
可以翻译文献可以翻译视频字幕可以翻译PDF文件支持OpenAI翻译…
Buzz语音转文字安装使用(含Whisper模型下载)
简介：
Transcribe and translate audio offline on your personal computer. Powered by OpenAI’s Whisper. 转录和翻译音频离线在您的个人计算机。由OpenAI的Whisper提供动力。 可以简单理解为QT的前端界面，python语言构建服务端，使用Whis…
机器翻译——Seq2Seq模型到attention机制到Transformer
文章目录1 理论部分2 Seq2Seq （15-16年比较流行）2 基于attention的Seq2Seq3 Transformer1 理论部分
Seq2Seq模型Attention Seq2SeqTransformer
2 Seq2Seq （15-16年比较流行）
如下图所示，Encoder和Decoder部分&…
评价指标BLUE了解
BLEU (Bilingual Evaluation Understudy，双语评估基准）是一组度量机器翻译和自然语言生成模型性能的评估指标。BLEU指标是由IBM公司提出的一种模型评估方法,以便在机器翻译领域中开发更好的翻译模型。BLEU指标根据生成的句子与人工参考句子之间的词、短语…
java_免费文本翻译API_小牛翻译
目录 前言 开始集成API
纯文本翻译接口
双语对照翻译接口
指定术语翻译接口
总结 前言 网络上对百度，有道等的文本翻译API集成的文章比较多，所以集成的第一篇选择了小牛翻译的文本翻译API。 小牛翻译文本翻译API，支持388个语种࿰…
深入理解注意力机制（上）-起源
一、介绍 近几年自然语言处理有很大的进展，从 2018 年 Google 推出的 BERT，到后来的 GPT、ChatGPT 等，这些模型当时能取得这样的成果，除了庞大的数据量及损害资源外，最重要的是的就是背后的Transformer模型，…
阿里通义千问开源 320 亿参数模型；文字和音频自动翻译成手语Hand Talk拉近人与人的距离
✨ 1: Qwen1.5-32B
Qwen1.5-32B是Qwen1.5系列中性能与效率兼顾的最新语言模型，内存占用低，运行速度快。 Qwen1.5-32B是Qwen1.5语言模型系列的最新成员，这个模型是基于先进的技术研发的，旨在提供一种既高效又经济的AI语言理解和生…
Uncertainty-Aware Mean Teacher（UA-MT）
Uncertainty-Aware Mean Teacher 0 FQA:1 UA-MT1.1 Introduction:1.2 semi-supervised segmentation1.3 Uncertainty-Aware Mean Teacher Framework 参考： 0 FQA:
Q1: 不确定感知是什么意思？不确定信息是啥？Q2：这篇文章的精妙的点…
一文带你了解机器翻译的前世今生
引言
我们都知道谷歌翻译，这个网站可以像变魔术一样在100 种不同的人类语言之间进行翻译。它甚至可以在我们的手机和智能手表上使用： 谷歌翻译背后的技术被称为机器翻译。它的出现改变了世界交流方式。 事实证明，在过去几年中，深…
Visual Studio中MD与MT的区别及运行库类型选择
MT与MD的区别
/MT：是multithread-static version，是多线程静态版本的意思，项目会使用运行时库的多线程静态版本，编译器会将LIBCMT.lib放入.obj文件中，以便链接器使用LIBCMT.lib解析外部符号；/MTdÿ…
Vue项目引入translate.js 国际化自动翻译组件
建议 translate.js 配合 i18 使用 本文只介绍 translate.js 的引入和使用方式 无论什么库 在翻译上 都不会做到 （ 100%翻译 && 100%准确 ） 所以不要吹毛求疵 官方文档：translate.js 前端翻译 该组件优点：
自动翻译 自动…
IPv6路由协议---IS-ISv6多拓扑（IS-IS MT）
IS-IS多拓扑
从IPv4网络向IPv6网络过渡的过程中，IPv4和IPv6两种拓扑必然有一段较长的共存时间。双协议栈是一项广泛应用于IPv4和IPv6网络互通的技术。其实现的功能是：一台同时支持IPv4和IPv6两种协议的路由器可以只支持IPv4或IPv6的路由器通信。
IS-IS 多拓扑产生的背景
I…
引领AI变革：边缘计算与自然语言处理结合的无尽可能
引言 讲到Ai，你第一时间会想到什么？是Chagpt和文心一言这样与人类交流自然的Ai生成式对话服务？还是根据关键字快速制图的Ai绘图？这些都是近年来人们所常知的Ai用途，我们今天来讲讲以自然语言处理为辅，在Ai赋…
Transformer机器翻译模型（代码实现案例）
目标
了解有关机器翻译的知识了解seq2seq架构使用Transformer构建机器翻译模型的实现过程
1 Transformer架构
Transformer模型架构分析
Transformer模型架构, 大范围内包括两部分分别是encoder(编码器)和decoder(解码器), 编码器和解码器的内部实现都使用了注意力机制实现,…
PyTorch实战：基于Seq2seq模型处理机器翻译任务(模型预测)
文章目录 引言数据预处理加载字典对象en2id和zh2id文本分词 加载训练好的Seq2Seq模型模型预测完整代码结束语 引言
随着全球化的深入，翻译需求日益增长。传统的人工翻译方式虽然质量高，但效率低，成本高。机器翻译的出现，为解决这…
推荐很nice英文文献翻译软件
英文文献翻译软件Copytranslator
平时在使用语句翻译时，如果同百度翻译常常因为句子换行而无法正确翻译： 这里就给大家推荐Copytranslator，在阅读文献的时候直接复制一段文字，就会出现完整翻译，无需粘贴过去。 放大效…
【手把手带你学习神经机器翻译--模型篇】
文章目录1、深度神经网络1.1、全连接神经网络1.2、循环神经网络1.2.1、RNN模型代码1.3、卷积神经网络1.4、基于循环神经网络的深度神经序列模型1.4.1 Lstm模型实现代码1.5、基于卷积神经网络的深度神经网络模型1.5.1、CNN（fconv）模型代码1、深度神经网络…
【手把手带你学习神经机器翻译--代码篇】
中英机器翻译1.数据预处理1.1 相关工具下载1.2 数据集下载WMT系列数据集AI challenger 中英数据集1.3 中文分词处理1.4 标点符号标准化1.5 Tokenize1.6 BPE1.7 处理空白行1.8 生成训练测试验证集1.9 生成词表及二进制文件2 训练中英翻译模型3 测试中英翻译模型结果3.1 解码3.2 …
【百度翻译api】中文自动翻译为英文
欸，最近想做一些nlp的项目，做完了中文的想做做英文的，但是呢，国内爬虫爬取的肯定都是中文 ，爬取外网的技术我没有尝试过，没有把握。所以我决定启用翻译，在这期间chatGPT给了我非常多的方法&…
机器学习深度学习——从编码器-解码器架构到seq2seq（机器翻译）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——注意力提示、注意力池化（核回归） 📚订阅专栏：机器学习&a…
BLEU: a Method for Automatic Evaluation of Machine Translation
文章目录 BLEU: a Method for Automatic Evaluation of Machine Translation背景和意义技术原理考虑 n n n - gram中 n 1 n1 n1 的情况考虑 n n n - gram中 n > 1 n\gt 1 n>1 的情况考虑在文本中的评估初步实验评估和结论统一不同 n n n 值下的评估数值考虑句子长度…
【自然语言处理】seq2seq模型—机器翻译
清华大学驭风计划课程链接
学堂在线 - 精品在线课程学习平台 (xuetangx.com)
代码和报告均为本人自己实现（实验满分），只展示主要任务实验结果，如果需要详细的实验报告或者代码可以私聊博主
有任何疑问或者问题，也欢…
微调大型语言模型（LLM）：应用案例示例
微调大型语言模型（LLM）：应用案例示例
摘要： 本文讨论了大型语言模型（LLM）的微调，这是一种通过少量数据训练已经预训练好的模型以执行特定任务的过程。微调可以让LLM在翻译、文本分类、文本生成…
【AI视野·今日NLP 自然语言处理论文速览 第六十期】Mon, 23 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Mon, 23 Oct 2023 (showing first 100 of 108 entries) Totally 100 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Exploring Linguistic Probes for Morphological Generalization Autho…
手把手教你用Python调用彩云机器翻译API
一、引言
彩云这个小而美的机器翻译一直很低调，它让人眼前一亮的是之前我们分享的网页翻译插件，可以把外文网站翻译成英中对照的样式，便于我们学习。之前我们也写过文章介绍过：
PythonFan：如何用Google翻译英文网页成…
2024年最强人工智能AI软件，AI画画，AI写小说，一招帮你搞定
2024年也涌现出了非常多好用又强大的人工智能AI软件，AI画画，AI写小说，AI做翻译等等，分享自己今年最常用的几个AI工具，都是精品，欢迎点赞收藏~ 1、GitMind AI
网站直达：GitMind 思乎 - AI思维导…
NLP机器翻译全景：从基本原理到技术实战全解析
目录 一、机器翻译简介1. 什么是机器翻译 (MT)?2. 源语言和目标语言3. 翻译模型4. 上下文的重要性 二、基于规则的机器翻译 (RBMT)1. 规则的制定2. 词典和词汇选择3. 限制与挑战4. PyTorch实现 三、基于统计的机器翻译 (SMT)1. 数据驱动2. 短语对齐3. 评分和选择4. PyTorch实现…
9个好用的生命科学研究工具分享
应该有不少生命科学相关专业的科研人员苦恼究竟有没有专业的研究工具可以使用，这里就分享9个专业研究工具，全部来自于浙大生命科学院官网，收好了。
一、Addgene
Addgene是一个非盈利性全球质粒共享信息库。它负责保存和提供质粒。 科学家发…
![[BPE]论文实现：Neural Machine Translation of Rare Words with Subword Units](https://img-blog.csdnimg.cn/direct/47454a3e05e34e47877d84186e257db6.png)
[BPE]论文实现：Neural Machine Translation of Rare Words with Subword Units
文章目录 一、完整代码二、论文解读2.1 模型架构2.2 BPE 三、过程实现四、整体总结 论文：Neural Machine Translation of Rare Words with Subword Units 作者：Rico Sennrich, Barry Haddow, Alexandra Birch 时间：2016 一、完整代码
这里我…
【GPT概念-03】：人工智能中的注意力机制
说明 注意力机制生成分数（通常使用输入函数），确定对每个数据部分的关注程度。这些分数用于创建输入的加权总和，该总和馈送到下一个网络层。这允许模型捕获数据中的上下文和关系，而传统的固定序列处理方法可能会遗漏这…
python批量翻译excel表格中的英文
python批量翻译excel表格中的英文需求背景主要设计分析具体实现表格操作请求百度翻译api多线程控制台显示进度完整源码需求背景
女朋友的论文需要爬取YouTube视频热评，但爬下来的都是外文。
主要设计 读取一个表格文件，获取需要翻译的文本 使用百度翻译…
大语言模型Prompt提示词
大语言模型Prompt提示词 文章目录 大语言模型Prompt提示词Prompt基础常见的多轮对话里的PromptPrompt的结构说明Prompt基础策略复杂Prompt策略AdvertiseGen数据集中的提示词 Prompt基础
当体验完大语言模型LLM的新鲜感之后，写Prompt需要个人练习和思考才能快速掌握…
基于transformer的Seq2Seq机器翻译模型训练、预测教程
前言
机器翻译（Machine Translation, MT）是一类将某种语言（源语言，source language）的句子 x x x翻译成另一种语言（目标语言，target language）的句子 y y y 的任务。机器翻译的相关…
【NLP】多头注意力（Multi-Head Attention）的概念解析
一. 多头注意力
多头注意力（Multi-Head Attention）是一种在Transformer模型中被广泛采用的注意力机制扩展形式，它通过并行地运行多个独立的注意力机制来获取输入序列的不同子空间的注意力分布，从而更全面地捕获序列中潜在的多种语…
什么是自然语言处理的机器翻译？
机器翻译（Machine Translation，MT）是一种自然语言处理技术，旨在将一种语言的文本自动翻译成另一种语言。机器翻译是自然语言处理领域的重要应用之一，它可以帮助人们在跨语言交流、文档翻译和信息检索等方面更加便捷和高…
Go语言实现大模型分词器tokenizer
文章目录 前言核心结构体定义构造函数文本初始处理组词构建词组索引训练数据编码解码打印状态信息运行效果总结 前言
大模型的tokenizer用于将原始文本输入转化为模型可处理的输入形式。tokenizer将文本分割成单词、子词或字符，并将其编码为数字表示。大模型的toke…
Transformer原理解析及机器翻译的应用
基于Seq2Seq模型的机器翻译
引入Attention的Seq2Seq模型-机器翻译
Transformer
首先，可以思考为什么会需要Transformer？ 大部分的机器翻译等序列生成任务都是基于Encoder-Decoder的模式，而Encoder和Decoder一般是由RNN、LSTM、GRU其中一种…
引入Attention的Seq2Seq模型-机器翻译
在上一篇博客中，我们介绍了 基于Seq2Seq模型的机器翻译。今天，在此基础上，对模型加入注意力机制Attention。
模型结构
首先，我们先了解一下模型的结构，基本与Seq2Seq模型大体一致：
首先，第一…
基于Seq2Seq模型的机器翻译
如标题所见，这篇博客的主题就是基于Seq2Seq模型的机器翻译，它的主要任务就是将一种语言翻译为另一种语言，在这里我们以英语翻译成法语为例子，如Im a student.---->>>Je suis tudiant.
这份数据是公开，可以直…
言传身留：NLP技术引领机器翻译革新
NLP技术引领机器翻译革新 一. 引言1.1 背景介绍1.2 目的和重要性1.2.1 NLP技术在机器翻译中的关键作用1.2.2 如何改善搜索引擎、语音助手等领域的应用 二. NLP技术在机器翻译中的应用2.1 文本理解2.1.1 情感分析2.1.2 上下文理解 2.2 语言生成2.2.1 自动生成翻译2.2.2 提高翻译…
12万条中法常见词语对照ACCESS数据库
法文是全球通用的语言之一，要拥有国际视野，学懂全球通用语言是您的必然选择。走向成功之门，尽快学会法文吧。《12万条中法常见词语对照ACCESS数据库》收集了汉语常用词语的法文对照翻译。 本数据库是由 Microsoft Access 2000 创建的 MDB 数据…
seq2seq：中英文翻译
文章目录 一、完整代码二、论文解读2.1 RNN模型2.2 Attention-based ModelsGlobal attentional modelLocal attentional model 2.3 Input-feeding Approach2.4 模型效果 三、过程实现3.1 导包3.2 数据准备3.3 构建相关类3.4 模型配置3.5 模型推理 四、整体总结 论文：…
![[wordpiece]论文分析：Google’s Neural Machine Translation System](https://img-blog.csdnimg.cn/direct/2308b76a075047bf9150125761a11ea1.png)
[wordpiece]论文分析：Google’s Neural Machine Translation System
文章目录 一、论文解读1.1 模型介绍1.2 模型架构1.3 wordpiece 二、整体总结 论文：Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation 作者：Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le,…
机器学习深度学习——seq2seq实现机器翻译（详细实现与原理推导）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——seq2seq实现机器翻译（数据集处理） 📚订阅专栏：机器学习&…
推荐一款开源的跨平台划词翻译和OCR翻译软件：Pot
Pot简介
一款开源的跨平台划词翻译和OCR翻译软件 下载安装指南 根据你的机器型号下载对应版本，下载完成后双击安装即可。 使用教程
Pot具体功能如下：
划词翻译输入翻译外部调用鼠标选中需要翻译的文本，按下设置的划词翻译快捷键即可按下输…
从零实现深度学习框架——Seq2Seq机器翻译实战
引言 本着“凡我不能创造的，我就不能理解”的思想，本系列文章会基于纯Python以及NumPy从零创建自己的深度学习框架，该框架类似PyTorch能实现自动求导。 💡系列文章完整目录： 👉点此👈 要深入理解…