# 字节潜在 Transformer (BLT)

## 概述

BLT 模型由 Artidoro Pagnoni、Ram Pasunuru、Pedro Rodriguez、John Nguyen、Benjamin Muller、Margaret Li1、Chunting Zhou、Lili Yu、Jason Weston、Luke Zettlemoyer、Gargi Ghosh、Mike Lewis、Ari Holtzman† 和 Srinivasan Iyer 在 [Byte Latent Transformer: Patches Scale Better Than Tokens](https://huggingface.co/papers/2412.09871) 中提出。BLT 是一种字节级 LLM，通过基于熵的动态 patching 实现了 tokenization 级别的性能。

该论文的摘要如下：

*我们提出了字节潜在 Transformer（Byte Latent Transformer，BLT），这是一种全新的字节级 LLM 架构。它首次在大规模场景下达到了与基于分词（tokenization）的 LLM 相当的性能，同时在推理效率和鲁棒性方面取得了显著提升。BLT 将字节编码为动态大小的补丁（patch），这些补丁作为主要的计算单元。补丁的划分基于下一个字节的熵，在数据复杂度更高的地方分配更多的计算资源和模型容量。我们展示了首个针对字节级模型的浮点运算（flop）受控扩展研究，模型规模最高达 8B 参数，训练数据量达 4T 字节。我们的结果证明了在不使用固定词汇表的情况下，对原始字节进行训练并扩展模型的可行性。由于在数据可预测时动态选择较长的补丁，训练和推理效率均得到提升，同时在推理能力和长尾泛化方面也有定性上的改进。总体而言，在固定的推理成本下，BLT 通过同时扩大补丁和模型规模，展现出比基于分词的模型显著更优的扩展性。*

## 使用技巧

- **双模型架构**：BLT 由两个独立训练的模型组成：
  - **Patcher（熵模型）**：一个较小的 Transformer 模型，用于预测字节级熵，以确定补丁边界并对输入进行分段。
  - **主 Transformer 模型**：通过局部编码器、全局 Transformer 和局部解码器处理图像块的主要模型。

- **动态修补**：该模型采用基于熵的动态修补，具体方式如下：
  - 高熵区域（复杂数据）会获得更短的补丁，从而分配更多的计算注意力
  - 低熵区域（可预测的数据）会获得更长的补丁以提升效率
  - 这使得模型能够将计算资源分配到最需要的地方

- **本地编码器**：使用交叉注意力处理字节序列与补丁嵌入
- **全局 Transformer**：使用跨 patch 的全注意力机制处理 patch 级别的表示
- **本地解码器**：通过交叉注意力机制回指原始字节序列来生成输出

- **字节级分词器**：与使用学习词表的传统分词器不同，BLT 的分词器仅将文本转换为 UTF-8 字节，并将每个字节映射到一个 token ID。无需词表。

该模型可通过以下方式加载：

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("itazap/blt-1b-hf")
model = AutoModelForCausalLM.from_pretrained(
    "itazap/blt-1b-hf",
    device_map="auto",
)

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

prompt = "my name is"
generated_ids = model.generate(
    **inputs, max_new_tokens=NUM_TOKENS_TO_GENERATE, do_sample=False, use_cache=False
)

print(tokenizer.decode(generated_ids[0]))
```

该模型由 [itazap](https://huggingface.co/) 贡献。原始代码可在[此处]()找到。

## BltConfig[[transformers.BltConfig]]

#### transformers.BltConfig[[transformers.BltConfig]]

```python
transformers.BltConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 260, max_position_embeddings: int = 4096, patch_in_forward: bool | None = True, patch_size: int | None = 4, patching_mode: str | None = 'entropy', patching_threshold: float | None = 1.335442066192627, patching_batch_size: int | None = 1, max_patch_length: int | None = None, local_attention_window_len: int | None = 512, cross_attn_k: int | None = 2, encoder_hash_byte_group_size: list[int] | None = None, encoder_hash_byte_group_vocab: int | None = 500002, encoder_hash_byte_group_nb_functions: int | None = 1, patcher_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, encoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, decoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, global_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, tie_word_embeddings: bool = False, use_cache: bool = True, pad_token_id: int | None = None, bos_token_id: int | None = None, eos_token_id: int | list[int] | None = None, initializer_range: float = 0.02, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None)
```

[来源](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/blt/configuration_blt.py#L167)

**参数：**

vocab_size (`int`，*可选*，默认为 `260`)：模型的词汇表大小。定义了 `input_ids` 可以表示的不同 token 数量。

max_position_embeddings (`int`，*可选*，默认值为 `4096`)：该模型可能使用的最大序列长度。

patch_in_forward (`bool`, *可选*, 默认为 `True`) : 是否在前向传播过程中执行修补。

patch_size (`int`，*可选*，默认为 4)：分块机制中使用的分块大小。

patching_mode (`str`, *可选*, 默认为 `"entropy"`) : 用于修补的模式，例如基于熵的修补。

patching_threshold (`float`, *可选*，默认为 1.34)：用于确定何时应用补丁的阈值。

patching_batch_size (`int`，*可选*，默认为 1)：在修补过程中使用的批大小。

max_patch_length (`int`, *可选*) : 可生成的补丁的最大长度。

local_attention_window_len (`int`，*可选*，默认值为 512)：本地编码器和本地解码器所使用的局部注意力窗口大小，与已发布的检查点中的 `local_attention_window_len` 相匹配。将其设置为 `None` 可改为在整个因果上下文上进行注意力计算。

cross_attn_k (`int`，*可选*，默认为 2)：模型中使用的交叉注意力头数。

encoder_hash_byte_group_size (`list`, *可选*) : 编码器哈希函数中使用的字节组大小列表。

encoder_hash_byte_group_vocab (`int`，*可选*，默认值为 500002)：编码器哈希字节组的词汇表大小。

encoder_hash_byte_group_nb_functions (`int`，*可选*，默认为 1)：编码器字节分组中使用的哈希函数数量。

patcher_config (`BltPatcherConfig`，*可选*)：模型中 patcher 组件的配置。

encoder_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`，*可选*)：编码器骨干网络的配置对象或字典。

decoder_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`，*可选*)：解码器骨干网络的配置对象或字典。

global_config (`BltGlobalTransformerConfig`，*可选*)：模型全局 transformer 组件的配置。

tie_word_embeddings (`bool`，*可选*，默认为 `False`)：是否根据模型的 `tied_weights_keys` 映射来绑定权重嵌入。

use_cache (`bool`，*可选*，默认为 `True`)：模型是否应返回最后的键/值注意力（并非所有模型都使用）。仅当 `config.is_decoder=True` 或模型为仅解码器生成模型时相关。

pad_token_id (`int`, *可选*) : 词表中用于填充的 Token id。

bos_token_id (`int`, *可选*) : 词表中用于表示流开始的 Token id。

eos_token_id (`Union[int, list[int]]`，*可选*)：词汇表中用于表示流结束（end-of-stream）的 Token ID。

initializer_range (`float`，*可选*，默认值为 `0.02`)：用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。

rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *可选*) : 包含 RoPE 嵌入配置参数的字典。该字典应包含 `rope_theta` 的值，并且如果希望使用更长的 `max_position_embeddings` 配合 RoPE，则可选地包含用于缩放的参数。

这是用于存储 BltModel 配置的类。它根据指定的参数实例化 Blt 模型，并定义模型架构。使用默认值实例化配置将生成与 [itazap/blt-1b-hf](https://huggingface.co/itazap/blt-1b-hf) 类似的配置。

配置对象继承自 [PreTrainedConfig](/docs/transformers/v5.23.0/zh/main_classes/configuration#transformers.PreTrainedConfig)，可用于控制模型输出。有关更多信息，请参阅 [PreTrainedConfig](/docs/transformers/v5.23.0/zh/main_classes/configuration#transformers.PreTrainedConfig) 的文档。

示例：
```python
>>> from transformers import BltModel, BltConfig

>>> # Initializing a Blt configuration
>>> configuration = BltConfig()

>>> # Initializing a model from the configuration
>>> model = BltModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

#### transformers.BltModel[[transformers.BltModel]]

```python
transformers.BltModel(config: BltConfig)
```

[来源](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/blt/modeling_blt.py#L1144)

#### forward[[transformers.BltModel.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, patch_lengths: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[来源](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/blt/modeling_blt.py#L1165)

## BltForCausalLM[[transformers.BltForCausalLM]]

#### transformers.BltForCausalLM[[transformers.BltForCausalLM]]

```python
transformers.BltForCausalLM(config: BltConfig)
```

[来源](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/blt/modeling_blt.py#L1327)

**参数：**

config ([BltConfig](/docs/transformers/v5.23.0/zh/model_doc/blt#transformers.BltConfig))：模型配置类，包含模型的所有参数。使用配置文件进行初始化时，不会加载与模型关联的权重，仅加载配置。请查看 [from_pretrained()](/docs/transformers/v5.23.0/zh/main_classes/model#transformers.PreTrainedModel.from_pretrained) 方法以加载模型权重。

顶部带有语言建模头的 Blt 文本模型。

该模型继承自 [PreTrainedModel](/docs/transformers/v5.23.0/zh/main_classes/model#transformers.PreTrainedModel)。请查阅父类文档，了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头等）。

该模型也是 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) 的子类。请将其作为常规的 PyTorch Module 使用，有关通用用法和行为的所有事项，请参阅 PyTorch 文档。

#### forward[[transformers.BltForCausalLM.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, cross_attention_states: typing.Optional[torch.LongTensor] = None, cross_attention_mask: typing.Optional[torch.LongTensor] = None, full_text_row_masked_out_mask: tuple[torch.Tensor, torch.Tensor] | None = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, logits_to_keep: typing.Union[int, torch.Tensor] = 0, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[来源](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/blt/modeling_blt.py#L1342)

**参数：**

input_ids (`torch.LongTensor`，形状为 `(batch_size, sequence_length)`，*可选*)：输入序列中 token 在词汇表中的索引。默认情况下，填充（padding）将被忽略。可以使用 [AutoTokenizer](/docs/transformers/v5.23.0/zh/model_doc/auto#transformers.AutoTokenizer) 获取索引。有关详细信息，请参阅 [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/zh/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 和 [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/zh/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)。[什么是输入 ID？](../glossary#input-ids)

attention_mask (`torch.Tensor`，形状为 `(batch_size, sequence_length)`，*可选*)：用于避免对填充（padding）标记索引执行注意力机制的掩码。掩码值取自 `[0, 1]`： - 1 表示**未掩码**的标记， - 0 表示**已掩码**的标记。 [什么是注意力掩码？](../glossary#attention-mask)

position_ids (`torch.LongTensor`，形状为 `(batch_size, sequence_length)`，*可选*)：输入序列中每个 token 在位置嵌入中的位置索引。取值范围为 `[0, config.n_positions - 1]`。[什么是位置 ID？](../glossary#position-ids)

cross_attention_states (`torch.Tensor`, *可选*) : 视觉模型的输出，用于交叉注意力。该张量包含经过处理的图像特征，语言模型将对其执行注意力操作。

cross_attention_mask (`torch.Tensor`，形状为 `(batch_size, seq_length, max_num_images, max_num_tiles)`，*可选*)：用于控制文本 token 与图像 tile 之间交互的交叉注意力掩码。此 4D 张量定义了每个文本 token 应关注哪些图像 tile。对于每个文本 token（在 seq_length 中）：- 1 表示该 token **应关注**对应的图像 tile - 0 表示该 token **不应关注**对应的图像 tile

full_text_row_masked_out_mask (`tuple[torch.Tensor, torch.Tensor]`, *可选*) : 一个包含两个张量的元组，用于在交叉注意力机制中屏蔽行： - 第一个张量的形状为 `(batch_size, 1, seq_length, 1)`，包含 0 或 1 的值。值为 0 表示应屏蔽对应文本标记在交叉注意力矩阵中的整行（忽略所有图像标记）。 - 第二个张量具有相同的形状，用于在交叉注意力层的前向传播过程中内部应用掩码。此掩码由 cross_attention_mask 派生而来，用于处理文本标记不应关注任何图像标记的情况。

past_key_values (`~cache_utils.Cache`，*可选*)：预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常由模型在解码的先前阶段返回的 `past_key_values` 组成，前提是 `use_cache=True` 或 `config.use_cache=True`。 仅允许 [Cache](/docs/transformers/v5.23.0/zh/internal/generation_utils#transformers.Cache) 实例作为输入，请参阅我们的 [kv cache guide](https://huggingface.co/docs/transformers/en/kv_cache)。如果未传入 `past_key_values`，则默认初始化 [DynamicCache](/docs/transformers/v5.23.0/zh/internal/generation_utils#transformers.DynamicCache)。 模型将输出与输入相同的缓存格式。 如果使用 `past_key_values`，则用户预期仅输入未处理的 `input_ids`（即未向此模型提供其过去键值状态的那些），其形状为 `(batch_size, unprocessed_length)`，而不是形状为 `(batch_size, sequence_length)` 的所有 `input_ids`。

inputs_embeds (`torch.Tensor`，形状为 `(batch_size, sequence_length, hidden_size)`，*可选*)：可选地，你可以选择直接传入嵌入表示，而不是传入 `input_ids`。如果你希望比模型内部的嵌入查找矩阵更精细地控制如何将 `input_ids` 索引转换为对应的向量，这将非常有用。

labels (`torch.LongTensor`，形状为 `(batch_size, sequence_length)`，*可选*) : 用于计算因果语言建模损失的标签。索引应在 `[-100, 0, ..., config.vocab_size]` 范围内（参见 `input_ids` 的文档字符串）。索引设置为 `-100` 的 token 将被忽略（被掩码），损失仅针对标签在 `[0, ..., config.vocab_size]` 范围内的 token 进行计算。 标签会在**内部进行移位**，因此使用 `labels[..., 1:]` 来预测 `logits[..., :-1, :]`。请传入与 `input_ids` 匹配的未移位标签（即 `labels = input_ids`）。在传入之前，请**不要**自行对标签进行移位。 如果标签已经移位（例如在使用序列并行时），请将其作为 `shift_labels` 关键字参数传入，系统将按原样使用它们。 为了计算损失，仍然必须传入 `labels`。

use_cache (`bool`，*可选*)：如果设置为 `True`，则会返回 `past_key_values` 键值状态，可用于加速解码（参见 `past_key_values`）。

logits_to_keep (`Union[int, torch.Tensor]`，*可选*，默认为 `0`)：如果为 `int`，则计算最后 `logits_to_keep` 个 token 的 logits。如果为 `0`，则计算所有 `input_ids` 的 logits（特殊情况）。生成过程只需要最后一个 token 的 logits，仅针对该 token 进行计算可以节省内存，对于长序列或大词汇量而言，这种节省相当可观。如果为 `torch.Tensor`，则必须是一维张量，对应于序列长度维度中需要保留的索引。这在使用打包张量格式（将批次和序列长度合并为单一维度）时非常有用。

**返回：** [CausalLMOutputWithPast](/docs/transformers/v5.23.0/zh/main_classes/output#transformers.modeling_outputs.CausalLMOutputWithPast) 或 `tuple(torch.Tensor)`

一个 [CausalLMOutputWithPast](/docs/transformers/v5.23.0/zh/main_classes/output#transformers.modeling_outputs.CausalLMOutputWithPast) 或 `torch.Tensor` 元组（如果传入了 `return_dict=False` 或 `config.return_dict=False`），其包含的元素取决于配置（[BltConfig](/docs/transformers/v5.23.0/zh/model_doc/blt#transformers.BltConfig)）和输入。

[BltForCausalLM](/docs/transformers/v5.23.0/zh/model_doc/blt#transformers.BltForCausalLM) 的 forward 方法重写了 `__call__` 特殊方法。

尽管前向传播的实现需要在此函数中定义，但之后应调用 `Module` 实例，而不是直接调用此函数，因为前者会负责执行预处理和后处理步骤，而后者会静默地忽略这些步骤。

- **loss** (`torch.Tensor`，形状为 `(1,)`，*可选*，当提供 `labels` 时返回) -- 语言建模损失（用于下一个 token 预测）。
- **logits**（形状为 `(batch_size, sequence_length, config.vocab_size)` 的 `torch.Tensor`）-- 语言建模头的预测分数（SoftMax 之前每个词汇表 token 的分数）。
- **past_key_values**（`Cache`，*可选*，在传入 `use_cache=True` 或 `config.use_cache=True` 时返回）—— 它是一个 [Cache](/docs/transformers/v5.23.0/zh/internal/generation_utils#transformers.Cache) 实例。更多详情，请参阅我们的 [kv cache 指南](https://huggingface.co/docs/transformers/en/kv_cache)。

  包含预计算的隐藏状态（自注意力块中的键和值），可用于（参见 `past_key_values` 输入）加速顺序解码。
- **hidden_states** (`tuple(torch.Tensor)`，*可选*，在传入 `output_hidden_states=True` 或 `config.output_hidden_states=True` 时返回) -- 一个 `torch.Tensor` 元组（如果模型具有嵌入层，则包含嵌入层的输出，以及每一层的输出），形状为 `(batch_size, sequence_length, hidden_size)`。

  模型在每一层输出处的隐藏状态，以及可选的初始嵌入输出。
- **attentions** (`tuple(torch.Tensor)`，*可选*，当传入 `output_attentions=True` 或 `config.output_attentions=True` 时返回) -- 一个 `torch.Tensor` 元组（每层一个），形状为 `(batch_size, num_heads, sequence_length, sequence_length)`。

  经过注意力 softmax 后的注意力权重，用于在自注意力头中计算加权平均值。

示例：

```python
>>> from transformers import AutoTokenizer, BltForCausalLM

>>> model = BltForCausalLM.from_pretrained("itazap/blt-1b-hf")
>>> tokenizer = AutoTokenizer.from_pretrained("itazap/blt-1b-hf")

>>> prompt = "If I had to write a haiku, it would be:"
>>> inputs = tokenizer(prompt, return_tensors="pt")

>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=40, do_sample=True, temperature=0.6)
>>> result = tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
>>> print(result)
If I had to write a haiku, it would be: "Snowflakes gently fall" - simple, yet peaceful.
I love the idea of snowflakes gently falling, each one
```