[ML 筆記] Transformer（下） | 大學教師學術專長資料庫

2022年10月2日 — Transformer 的架構可以簡單分成Encoder 和Decoder 兩部分，Encoder 會輸入一排向量，輸出另一排同樣長度的向量（RNN, CNN 也都能做到），而Transformer ...

Transformer. 李宏毅. Hung-yi Lee. 1. Page 2. Speech. Recognition. N. T. Input a sequence, output a sequence. The output length is determined by model. Machine.

2019年12月22日 — 方法 · 拿每個query q去對每個key k做attention（吃兩個向量， 輸出一個分數），其實就是計算q.k的相似度Similarity。 · 再做Softmax normalization(歸一 ...

本篇為台大電機系李宏毅老師Machine Learning (2021) 課程筆記. 上課影片：https://youtu.be/N6aRv06iv2g. 延續上一篇：[ML 筆記] Transformer (上).

2022年8月27日 — Self-attention 是有名的Transformer 裡面很重要的架構，影片會先從為什麼需要self-attention 切入，介紹不同的任務類型，再帶到它的概念、架構與實際的 ...

Transformer · input為前一個time step所產生的output · 經過output embedding，output為vector(sequence) · vector(sequence)加上Positional Encoding ...

2022年10月20日 — 总结 · 台大-李宏毅-B站机器学习视频-课件.zip · 【注意力机制】Self-attention注意力机制理论知识 · 一文读懂自注意力机制：8大步骤图解+代码 · 深度学习 ...