ChatGPTなどのチャットAIがどんな風に文章をトークンとして認識しているのかが一目で分かる「Tokenizer」

【図表】

出典: https://gigazine.net/news/20230407-tokenizer-open-ai/

【ニュース】

◆ChatGPTなどのチャットAIがどんな風に文章をトークンとして認識しているのかが一目で分かる「Tokenizer」 (Gigazine, 2023/04/07 08:00)
https://gigazine.net/news/20230407-tokenizer-open-ai/

【関連サイト】

◆Tokenizer (OpenAI API)
https://platform.openai.com/tokenizer

【関連まとめ記事】

◆全体まとめ
　◆生成AI / ジェネレーティブAI (まとめ)
　　◆大規模言語モデル (まとめ)

◆ChatGPT (まとめ)
https://tt-ai.hatenablog.com/entry/ChatGPT