はじめに
最近、AIや言語モデルという言葉を耳にすることが増えてきました。例えば、ChatGPTのようなAIは、私たちの質問に答えたり、文章を生成したりする能力があります。しかし、これらのAIがどのようにしてテキストを理解し、生成しているのかご存じですか？その鍵となるのが「トークン」です。
本記事では、トークンが何であり、どのようにカウントされるのか、そして日本語と英語での違いについて解説します。
トークンって何？
トークンを理解するために、簡単な例え話をしましょう。テキストを「レゴの城」に例えると、トークンはその城を構成する一つ一つの「レゴブロック」です。レゴの城を組み立てるには、たくさんのブロックが必要ですよね。同じように、AIがテキストを理解するためには、そのテキストを小さな単位（トークン）に分解する必要があります。
例えば、次の英語の文を考えてみましょう。
- “This is my pen.”
この文をトークンに分解すると、次のようになります。
- “This”, “is”, “my”, “pen”, “.”
5トークン
トークンのカウント方法
トークンのカウント方法はそれぞれのAIモデル（GPTやClaude、Geminiなど）によって異なりますが、この記事ではChatGPTでのカウント方法を中心に解説します。
英語の場合
英語では、単語がスペースで区切られているため、トークン化は比較的簡単です。トークンは単語やその一部、場合によっては句読点として認識されます。そのため、英語の文は少ないトークン数で表現できます。
日本語の場合
日本語にはスペースが存在しないため、トークン化はもう少し複雑です。日本語の文をトークンに分解するためには、形態素解析というプロセスを通じて単語や文節に分割する必要があります。結果として、日本語のテキストは同じ内容でも英語より多くのトークンを必要とします。
例えば、次の日本語の文を考えます。
- 「これは私のペンです。」
この文をトークンに分解すると、次のようになります。
- “これ”, “は”, “私”, “の”, “ぺ”, “ン”, “です”, “。”
8トークン
トークンはこちらのOpenAIのページ（https://platform.openai.com/tokenizer）で簡単に調べることができます。
ここでは、GPT-3.5&GPT-4とGPT-3のトークンしか測ることはできないので、ClaudeやGeminiなどでのトークン数を測る場合は、こちら（https://token-counter.app/）など他のサイトを活用しましょう。
日本語と英語のトークンカウントの違い
ここで、英語と日本語のトークンカウントの違いについて詳しく見てみましょう。日本語の文章は、単語が明確に区切られていないため、より多くのトークンが生成される傾向があります。
先ほどの例えで見てみると
- “This”, “is”, “my”, “pen”, “.”
5トークン - “これ”, “は”, “私”, “の”, “ぺ”, “ン”, “です”, “。”
8トークン
と同じ意味の文章でも3トークンの差があります。
短い文章なので3トークンだけですが、もっと長い文章だったり、複雑な文章だとその差はより大きくなってしまいます。
例え話を使うと、英語の文章が「大きなレゴブロック」を使って構築された城だとすれば、日本語の文章は「小さなレゴブロック」をたくさん使って構築された城です。結果として、同じ情報量を表現するために、日本語の方が多くのブロック（トークン）が必要になります。
トークン数が多いことの不利さ
コストの増加
トークン数に基づいて料金が設定されるAIサービスを利用する場合、トークン数が多いとコストが増加します。例えば、ChatGPTのようなサービスは、入力テキストのトークン数に応じて料金が設定されているため、日本語の利用者は同じ情報を処理するのに英語の利用者よりも高い料金を支払う可能性があります。
コンテキストの制約
トークン数が多いと、一度に処理できる情報量が少なくなります。これは特に長い文章や文脈を考慮する必要があるタスクにおいて、日本語が不利になる要因です。例えば、長い文章を要約する場合、日本語では必要な情報をすべて含めることが難しくなるかもしれません。
まとめ
本記事では、トークンとは何か、どのようにカウントされるのか、そして日本語と英語での違いとその影響について説明しました。トークンはテキストを理解し、生成する上で非常に重要な役割を果たしています。日本語のビジネスマンがこれらの違いを理解し、言語モデルを効果的に活用するためには、トークンの概念をしっかりと把握することが重要です。
おわりに
トークンについてもっと詳しく知りたい場合は、具体的なツールやリソース（例：OpenAIのドキュメント）を参照してください。これを通じて、さらに深い理解を得ることができます。言語モデルの活用は、ビジネスにおいて大きな可能性を秘めています。その基本を理解することで、より効果的に利用できるようになるでしょう。
