Transformer・LLM基盤とは（全体像）
Transformerとは、「自己注意（Self-Attention）」というしくみを使って、文章の中で「どの言葉が、どの言葉と関係が深いか」をうまくとらえる、深層学習のモデルのことだ。
大きな特徴は、並列処理ができること。順番に処理するRNNと違い、まとめて処理できるので、学習が速い。また、規模を大きくするほど性能が上がりやすい。
ここで一番のポイント。Transformerは、GPTやBERTなどLLMの基盤（土台）だ。「TransformerとGPTは、まったく同じものだ」と思い込むと誤りで、GPTは、Transformerを応用して作られたものの一つだ。
詳しく：事前学習とファインチューニング
ここが心臓部。ポイントを表で押さえよう。
Transformer・LLMのポイント
| 項目 | やさしい意味 |
|---|---|
| Transformer | 自己注意を使う深層学習モデル |
| 特徴 | 並列処理ができ、学習が速い |
| 基盤 | GPT・BERTなどLLMの土台 |
| 作り方 | 事前学習＋ファインチューニング |
LLMは、二段階で作られることが多い。まず、大量のデータで広く学ぶ「事前学習（Pre-training）」を行い、そのあと、目的に合わせて微調整する「ファインチューニング（Fine-tuning）」をする。
ここで一番のポイント。いまの主流は、RNNではなくTransformerだ。「文章を扱うAIは、いまもRNNが主流だ」と思い込むと誤りで、並列処理ができるTransformerが、現在の中心になっている。
わかりやすく言い換えると
身近なたとえで整理しよう。
Transformerは、「文章の中の言葉どうしの関係を、まとめて見るのが得意なしくみ」のイメージ。要するに、自己注意で関係をとらえる。
GPTとの違いは、「Transformerが土台で、GPTはそれを応用したもの」こと。つまり、同じではない。
事前学習とファインチューニングは、「まず広く学んで（事前学習）、あとで目的に合わせて仕上げる（ファインチューニング）」こと。
試験のツボ
🔴 一番出る：Transformerの正体
①自己注意（Self-Attention）を使う深層学習モデル
②並列処理ができ、学習が速い
🔴 次に出る：LLMの基盤
①GPTやBERTなど、LLMの土台になっている
②TransformerとGPTは同じではない（GPTは応用）
🟡 押さえると安定：作り方
①事前学習（広く学ぶ）＋ファインチューニング（微調整）
②いまの主流は、RNNではなくTransformer
よくある間違い
①「TransformerとGPTは、まったく同じものだ」→ ✗ Transformerは土台で、GPTはそれを応用したものの一つ。
②「文章を扱うAIは、いまもRNNが主流だ」→ ✗ いまの主流は、並列処理ができるTransformer。
③「Transformerは、深層学習とは関係ない別物だ」→ ✗ Transformerは、深層学習のモデルの一つ。
試験での出題パターン
実際の問題でたしかめてみよう。
オリジナル問題1（Transformerの正体）
Transformerに関する次の記述のうち、最も適切なものはどれか。
- 社員の出退勤を記録して、毎月の給与を計算するためのしくみだ
- 取引先へ毎月の請求書を郵送する、決まった事務作業のことを指す
- 自己注意というしくみを用いる、深層学習のモデルのことである
- 完成したシステムを宣伝して、より多く売るための広告活動である
解答は 3 である。
Transformerは、自己注意（Self-Attention）を使う深層学習のモデルじゃ。並列処理ができ学習が速いと心得るがよい。
選択肢1は給与計算、選択肢2は請求書の事務、選択肢4は広告ゆえ、どれも違うのじゃ。
| 選択肢 | 判定 | 理由 |
|---|---|---|
| 1 | ✗ | 給与計算のしくみではない |
| 2 | ✗ | 請求書の事務の話 |
| 3 | ✓ | 自己注意を使う深層学習モデルで正しい |
| 4 | ✗ | 広告活動ではない |
オリジナル問題2（LLMの基盤）
TransformerとLLMの関係に関する次の記述のうち、最も適切なものはどれか。
- 社員の給与を計算するときだけ、使われるとされているものだ
- 取引先への請求書の枚数しだいで、決まるとされているのである
- システムの動きが、少しだけ速くなるとされているものである
- GPTやBERTなど、LLMの基盤になっているものである
解答は 4 である。
Transformerは、GPTやBERTなど、LLMの基盤（土台）になっておるのじゃ。GPTはその応用と心得るがよい。
選択肢1の給与、選択肢2の請求書、選択肢3の「速くなる」は、いずれも違うのじゃ。
| 選択肢 | 判定 | 理由 |
|---|---|---|
| 1 | ✗ | 給与計算のときだけではない |
| 2 | ✗ | 請求書の枚数で決まるのではない |
| 3 | ✗ | 速くなるだけのものではない |
| 4 | ✓ | LLMの基盤になっているで正しい |
オリジナル問題3（作り方）
LLMの作り方に関する次の記述のうち、最も適切なものはどれか。
- 事前学習で広く学び、ファインチューニングで微調整するのだ
- 社員の給与を計算するときだけ、行われるとされているものだ
- 取引先への請求書を郵送するときだけ、行われるとされている
- システムの動きが、少しだけ速くなるとされているものである
解答は 1 である。
LLMは、事前学習で広く学び、ファインチューニングで目的に合わせて微調整するのじゃ。二段階で作ると心得るがよい。
選択肢2の給与、選択肢3の請求書、選択肢4の「速くなる」は、いずれも違うのじゃ。
| 選択肢 | 判定 | 理由 |
|---|---|---|
| 1 | ✓ | 事前学習＋ファインチューニングで正しい |
| 2 | ✗ | 給与計算のときだけではない |
| 3 | ✗ | 請求書のときだけではない |
| 4 | ✗ | 速くなるものではない |
まとめ
押さえどころ
- 🔴 正体 ＝ 自己注意（Self-Attention）を使う深層学習モデル。並列処理ができ、学習が速い。
- 🔴 LLMの基盤 ＝ GPTやBERTなど、LLMの土台になっている。TransformerとGPTは同じではない（GPTは応用）。
- 🟡 作り方 ＝ 事前学習（広く学ぶ）＋ファインチューニング（微調整）。いまの主流は、RNNではなくTransformer。
次に学ぶ
- 生成AI（LLM・ChatGPT） ── 文章を作るAI。TransformerがそのLLMの基盤になっている。
- 深層学習（ディープラーニング） ── 層を深く重ねた学習。Transformerは、その代表的なモデル。
執筆: SikakuQuest編集部