【概要】
■OpenAI
| モデル名 |
リリース |
パラメータ数 |
学習データ |
備考 |
|---|---|---|---|---|
| GPT-1 | 2018/06 | 1憶1700万 | BooksCorpus（7,000本の書籍） | 12層のTransformer |
| GPT-2 | 2019/02 | 約15億 | 約40GBのテキスト | |
| GPT-3 | 2020/05 | 約1750億 | 約570GBのテキスト | |
| GPT-4 | 2023/03 | 推定: 1兆～10兆 | - | |
| GPT-4o | 2024/05 | |||
| GPT-4o mini | 2024/07 | |||
| OpenAI o1 | 2024/12 | |||
| GPT-4.1 | 2025/04 | |||
| OpenAI o3-mini | 2025/01 | |||
| GPT-4.5 | 2025/02 | |||
| OpenAI o3 | 2025/04 | |||
| OpenAI o4-mini | 2025/04 | |||
| OpenAI o4-mini-high | 2025/04 | |||
| OpenAI o3-pro | 2025/06 |
■Google
| モデル名 |
リリース |
パラメータ数 |
学習データ |
備考 |
|---|---|---|---|---|
| BERT Base | 2018/10 | 1,1億 | 層数: 12, 隠れサイズ: 768, ヘッド数:12 | |
| BERT Large | 2018/10 | 3.4億 | 層数: 24, 隠れサイズ: 1024, ヘッド数:16 | |
| LaMDA 1 | 2021/05 | 推定: 数百億〜数千億 | ||
| PaLM 8B | 2022/04 | 80億 | ||
| PaLM 62B | 2022/04 | 620億 | ||
| PaLM 540B | 2022/04 | 5400億 | ||
| LaMDA 2 | 2022/05 | 推定: 数百億〜数千億 | ||
| PaLM 2 | 2023/05 | 推定: 100億～1000億 | 約3.6兆トークン以上 | |
| Bard | 2023/02 | 1370億 | 約1.56兆単語 | |
| Gemini 1.0 Nano | 2023/12 | - | ||
| Gemini 1.0 Pro | 2023/12 | - | ||
| Gemini 1.0 Ultra | 2023/12 | - | ||
| Gemini 1.5 | 2024/02 | |||
| Gemini 2.0 | 2024/11 | 推定: 約1400億 | ||
| Gemini 2.5 | 2024/06 | 推定: 約1400億 | ||
| Gemini Ultra | 推定: 約 1.5兆 |
■Anthropic
| モデル名 |
リリース |
パラメータ数 |
学習データ |
備考 |
|---|---|---|---|---|
| Cloude-1 | 2023/03 | |||
| Cloude-2 | 2023/07 | コンテキスト長: 100k トークン | ||
| Cloude-2.1 | コンテキスト長: 200k トークン | |||
| Cloude-3 | 2024/03 | |||
| Cloude-3.5 | 2024/06 | |||
| Cloude-3.7 | 2025/02 | 推定: 1500億〜2500億 | ||
| Cloude sonnet 4 | 2025/5 | |||
| Cloude opus 4 | 2025/5 |
■xAI
| モデル名 |
リリース |
パラメータ数 |
学習データ |
備考 |
|---|---|---|---|---|
| Grok-0 | 2023/08 | 約330 億 | ||
| Grok-1 | 2024/03 | 3140億 | ||
| Grok-1.5 | 未公開 | |||
| Grok-2 | 2024/08 | 未公開 | ||
| Grok-3 | 2025/02 | 未公開 (推定 約2.7兆) | ||
| Grok-4 | 2025/07 | 未公開 (推定 約1.7兆) |
■META
| モデル名 |
リリース |
パラメータ数 |
学習データ |
備考 |
|---|---|---|---|---|
| LLaMA 1 | 2023/02 | 70億～650億 | コンテキスト長: 2,048トークン | |
| LLaMA 2 | 2023/07 | 70億～700億 | コンテキスト長: 4,096トークン | |
| LLaMA 3 | 2024/04 | 80億～700億 | コンテキスト長: 8,192トークン | |
| LLaMA 3.1 | 2024/07 | 80億～4050億 | コンテキスト長: 128k トークン | |
| LLaMA 3.2 | 2024/09 | 10億～900億 | コンテキスト長: 128k トークン | |
| LLaMA 3.3 | 2024/12 | 70億 | コンテキスト長: 128k トークン |
【関連まとめ記事】
◆全体まとめ
◆生成AI / ジェネレーティブAI (まとめ)
◆LLM / 大規模言語モデル (まとめ)
https://tt-ai.hatenablog.com/entry/Large-scale_language_model
