人工智能并行计算,很大程度提升了语言模型的训练速度

news/2024/7/19 12:14:23 标签: 自然语言处理, 人工智能, transformer

  循环智能最早的三位创始人陈麒聪、杨植麟与张宇韬相识于清华大学的知识工程实验室,都有一股「用AI创造社会价值」的热血。三人都是技术出身,后来因为业务发展,循环智能在2018年又引入了另一位擅长技术产品运营的「第四把手」揭发。
  自成立以来,杨植麟就是团队的核心技术骨干。2016年与2017年,他与陈麒聪、张宇韬开始摸索技术的应用方向。
  对新一代AI创业者来说,2017年是一个重要的时间节点。
  那一年,谷歌团队在“Attention is All You Need”一文中提出Transformer模型,该模型没有采用卷机网络与以往RNN的时序结构,采用编码机制,编码端同时包含语义信息(Multi-Head Attention)和位置信息(Positional Encoding),能够并行计算,大大提升了语言模型的训练速度。
  对于专注技术落地的创业者来说,这无疑是一项利好消息,能够减少预训练的时间,节约研发成本,加速技术与场景的匹配速度。Transformer的出现,打破了计算机视觉凭借深度学习在AI创业圈一统天下的垄断局面,使一大批基于NLP技术的创业公司开始崭露头角,循环智能便是其中之一。
  循环智能的主要业务是运用NLP、语音、多模态、大模型等人工智能技术打造「销售科技」方案,帮助企业的销售团队提升销售业绩。
  杨植麟谈道:「我们认为,AI产生价值的过程可以分为几个阶段,而其中一个阶段就是帮助每个人变得更好,提升人的能力,从而提升整个社会的运行效率。这个Vision(愿景)是我们公司成立之初就有的想法。」
  据他介绍,循环智能选择将AI用于「提升人的沟通能力」,也是经过了很长时间的探索,与客户交流、不断迭代才确定。最终,他们抉择的原动力是客户的诉求,以及对整体市场的判断。比如,根据CB Insights的数据统计,2016年销售科技初创企业的投资额就超过了50亿美元,此后逐渐递增。这也表明了市场对这个赛道的信心。
  杨植麟:选择创业,是为了从「组织架构」上解决AI落地难题
  图注:Gartner的销售科技(SalesTech)技术成熟度曲线2021显示,销售赋能一支已经渡过「技术萌芽期」(Innovation Trigger),进入「期望膨胀区」(Peak of Inflated Expectations)
  如前所述,杨植麟认为,AI系统的组织架构会影响产品的能力,而组织架构的灵活设置可以帮助他们以一个更好的模式去推进产品落地。在创业的过程中,杨植麟实现了学术研究与工业落地的双轮驱动模式。比方说,他被 ACL 2019 接收 Transformer-XL 一文,早在发表之前就已应用在了循环智能的 ASR 产品中。
  对于这项基础技术的快速转化,杨植麟引以为豪:
  「在预训练的过程中,我们将技术部署在产品系统上,让它能以实际数据集的运行效果为最终目标,驱动中间的研发过程。在将挖掘系统落地时,系统也是以最终的业务结果为目标进行学习与优化。同时,中间过程又可以迭代出很多AI问题与基础技术,使得之后的产品可以进一步改善。」


http://www.niftyadmin.cn/n/858939.html

相关文章

是无穷大还是无穷小_为什么说一片雪花的周长是无穷大?事实真的是这样吗?...

雪花是生活中最常见的一种物质,如果你仔细观察天然的雪花你会发现它具有规则的几何形状,非常漂亮,类似于雪花这种类型的几何形状,我们将它称为分形几何,分形几何就是几何图形的某一个部分总是会与整体的形状相似&#…

未经解码的语音数据犹如黑盒,同时是非结构化的

这时,他们需要通过分析手中已有的数据,来找到拯救萎靡业绩的方案。而回顾已有数据,企业的唯一法宝,是保存了大量的沟通语音或文本数据。   对于计算机来说,未经解码的语音数据犹如黑盒,同时是非结构化的。…

作为其底层支撑之一的“人工智能技术”是支撑元宇宙的主要力量

今年“元宇宙”概念的横空出世,其火爆程度一点也不亚于当初的“区块链”,从万物皆可区块链,到万物皆可元宇宙。如果说一众互联网大厂围绕“元宇宙”概念不断布局还能理解的话,服装、食品甚至房地产都在搞元宇宙就有点摸不着头脑了…

变速更顺滑_CVT顺滑,DCT顿挫?哪个变速箱好?我来告诉你!

发动机、变速箱、底盘被称为汽车三大件,但你们一定不会想到,1886年最早诞生的汽车其实是没有变速箱的。世界上第一台变速箱是由法国标致研发,从1889年第一台变速箱诞生到今年刚好有130年的历史,现如今变速箱种类繁多,我…

人工智能普世化进展迅速 让人工智能真正有用武之地

2017年1月4日,李飞飞入职谷歌,担任谷歌云首席科学家。这是这位全球人工智能研究领域执牛耳者第一次进入工业界。   彼时,她充满了兴奋,她希望能从工业界得到启发,了解实际应用中希望利用人工智能解决什么问题&#x…

php数组批量赋值_php 对于数组值重新赋值的问题

这个问题博主比较尴尬&#xff0c;作为有几年工作经验的程序员居然遇到对数组重新赋值而束手无策&#xff0c;话不多说。问题&#xff1a;<?php foreach($memberlist as &$v) {if($v[tagid_list] ){$v[tagid_list] "无标签";}}print_r($memberlist);打印的…

人工智能在产业化进程中,应同时关注基础科学的研究

李飞飞希望人工智能在产业化进程中&#xff0c;能够同时也足够关注人工智能基础科学的研究。   她指出&#xff0c;因为人工智能还是一个很新的领域&#xff0c;它有一些非常让人振奋的可能的应用场景&#xff0c;但是它才刚刚开始&#xff0c;如果是所有的资源和注意力都在产…

wdcp mysql 升级_Linux CentOS 6.x 下 WDCP升级MySql和MYSQL的简单操作

升级MYSQL至5.5目前我们安装WDCP管理面板默认PHP版本是5.2.17&#xff0c;MYSQL版本是5.1&#xff0c;版本较低&#xff0c;升级MYSQL至5.5只需以下几步&#xff0c;wget http://soft.itbulu.com/wdcp/mysql_up55.shsh mysql_up55.sh运行上面的命令&#xff0c;然后升级完毕。这…