トークン
AIが文章を読む・書くときの処理単位で、長文入力やAPI料金の目安になります。
意味
トークンは、AIがテキストを処理するための単位です。入力、出力、検索、要約の量を測る目安として使われ、API料金や処理上限に関わることがあります。
中小企業で気にする理由
中小企業では、AIツールの月額料金だけを見て導入しがちですが、自動化やAPI連携では処理量による費用が発生する場合があります。トークンの考え方を知ると、資料の分け方や要約範囲を設計しやすくなります。
業務での影響
長い議事録、契約書、マニュアル、問い合わせ履歴を扱うほど、トークン量は増えます。必要な部分だけを渡すと、費用と誤読を抑えやすくなります。
回避手順
資料を章ごとに分け、目的外の添付や古い履歴を外します。AIには「この範囲だけで答える」と指定し、出力も箇条書きなど短い形式にします。
関連例
OpenAIのTokenizer、各APIの料金ページ、長文処理に関する公式ドキュメントを確認すると、入力量と費用の関係を見積もりやすくなります。
関連用語
コンテキストウィンドウ
AIが一度の会話や処理で覚えて参照できる情報量の枠です。
エンベディング
文書や質問の意味を数値に変え、似た情報を探しやすくする仕組みです。
ベクトル検索
キーワード一致だけでなく、意味が近い情報を探す検索方法です。