标签: Tokenizer

该标签下的全部文章 "Tokenizer".

• 文字怎样变成模型的输入：Token、Tokenizer 与向量表示

  更新于:9 Sep, 2026

  |LLM 基础

  沿一句售后问题，手推子词切分，观察聊天模板、Token ID、掩码和 Embedding 如何组成模型输入。