大语言模型对提升组织效能的设想
写在最前面,任何技术都不可能从根本上改变与人有关的生产活动效率,大语言模型和人类的关系类似于人类和维生素的关系,人类无法合成维生素,必须依赖外部获取,大语言模型就是一种人类必须从外部获取的维生素
预备知识
- 人类的大脑皮质包含大约140-160亿神经元,小脑中包含大约550-700亿神经元。
- 神经网络(ANN)模拟生物神经网络进行信息处理的一种数学模型,不同的神经元属于不同的层,由输⼊层-隐藏层-输出层构成,信号从输⼊层往输出层单向传递,中间无反馈,其目的是为了拟合某个函数,由⼀个有向无环图表示,包括三个部分即输入输出、权重阈值以及多层感知器结构,依靠样本数据不断调整找到“正确的”权重阈值
- 循环神经网络(RNN)是一种基于循环层的特征提取网络结构,主要用于处理序列数据,例如自然语言文本和时间序列数据等。循环层可以将前一个时间步的隐藏状态传递到下一个时间步,从而实现对序列数据的建模
- 马尔科夫假设(Markov Assumption)是指下一个词出现的概率只依赖于它前面 n-1 个词。N 元文法,也称为 N-1 阶马尔科夫链。
技术特征
- Transformer 架构(算法)
- 非串行的神经网络架构,不再需要循环神经网络,提高并行度
- 采用了带有Query-Key-Value(QKV)的自注意力(Self-Attention)模块。其中,Q指的是查询向量,K指的是关键字向量,而V指的是内容向量,输出的向量就是根据Query和Key计算得到的权重作用于Value上的权重和
- 多头注意力将多组(论文中使用 8)注意力模块进行加权,用来解决对当前位置的信息进行编码时,会过度的将注意力集中于自身的位置
- GIGO(Garbage In,Garbage Out)(数据)
- 基于马尔科夫假设,使用文本训练
- 涌现现象(算力)
- 模型参数是指模型中各个神经元的连接权重和偏置,是在训练过程中通过优化算法(如梯度下降法)从训练数据中学习得到的,大规模模型一般超过 100B即千亿参数,当模型参数达到一定阈值时,模型性能突然大幅度跃升(突然获得顿悟,原因暂时只有猜想,没有证明)
- 有些任务只需要很小规模即可实现涌现,而有些则不是,例如 3 位数加法只需要 13B 就可以出现涌现能力,如果模型达到 100B 大多数任务具备涌现能力
优势
- 通用性强,出色的文本编写能力,适合生成各类文本物料,例如代码、用户故事等
- 扩展能力好,便于使用外部工具,例如langchain框架在内提供编写插件的能力
- 性能改善空间大
局限
- 不理解语义,无法创造新的范式
- 参数量非常大,模型可解释性较差
- 文本长度有限,不足以应对大批量输入
组织效能的痛点
- 组织协作中存在量大、重复性强且创新要求低的事,但是又必须有人做
- 专业化技能和知识沉淀复用成本高
落地设想与评估
- 产研 CoPoilt
- 在现有流程中将员工的任务进行分类,把其中重复性强的任务使用大语言模型来辅助完成,甚至全部完成,例如
- 研发团队编写单元测试代码
- 产品团队将需求文档转化为用户故事
- 测试团队编写用例
- 管理团队执行项目管理与复盘
- 评估
- 过程指标:
- 任务覆盖率
- 项目质量
- 结果指标:
- 项目交付平均时长
- 过程指标:
- 在现有流程中将员工的任务进行分类,把其中重复性强的任务使用大语言模型来辅助完成,甚至全部完成,例如
- 员工助手
- 使用大模型技术,将组织的私有数据作为训练集,通过模型的形式沉淀
- 评估
- 过程指标:
- 员工渗透率
- 结果指标:
- 流程审批一次通过率
- 流程平均审批时长
- 业务数据汇总平均时长
- 过程指标:
参考资料
- 人工智能 LLM 革命前夜:一文读懂横扫自然语言处理的 Transformer 模型
- Transformer: A Novel Neural Network Architecture for Language Understanding
- The Illustrated Transformer
- arxiv.org/abs/1706.03…
- 大语言模型进化之谜:涌现现象的挑战与争议
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhgahicj
系列文章
更多
同类精品
更多
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
怎样阻止微信小程序自动打开
PHP中文网 06-13 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01