トークン（AI）とは？
とーくん
AIが文章を読むときの 小さなかたまりのことだよ。
「AIが 文章を読むときに 分けた 小さなかたまりのこと」だよ。
つかいかた・れいぶん
AIはトークンに分けて文章を読むから 長い文は たくさんのトークンが必要だよ。
このことばを シェア
さいごの こうしん: