Hugging Face's logo

Transformers documentation

字节潜在 Transformer (BLT)

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

该模型于 2024-12-13 在 HF papers 上发布，并于 2025-09-19 贡献至 Hugging Face Transformers。

FlashAttention SDPA

字节潜在 Transformer (BLT)

概述

BLT 模型由 Artidoro Pagnoni、Ram Pasunuru、Pedro Rodriguez、John Nguyen、Benjamin Muller、Margaret Li1、Chunting Zhou、Lili Yu、Jason Weston、Luke Zettlemoyer、Gargi Ghosh、Mike Lewis、Ari Holtzman† 和 Srinivasan Iyer 在 Byte Latent Transformer: Patches Scale Better Than Tokens 中提出。 BLT 是一种字节级 LLM，通过基于熵的动态分块（patching）实现了与分词（tokenization）级别相当的性能。

该论文的摘要如下：

我们提出了字节潜在 Transformer（Byte Latent Transformer，BLT），这是一种全新的字节级 LLM 架构。该架构首次在大规模场景下达到了与基于分词（tokenization）的 LLM 相当的性能，同时在推理效率和鲁棒性方面取得了显著提升。BLT 将字节编码为动态大小的 patch，这些 patch 作为主要的计算单元。Patch 的划分基于下一个字节的熵，在数据复杂度较高的区域分配更多的计算资源和模型容量。我们首次对字节级模型进行了受浮点运算次数（flop）控制的扩展性研究，规模涵盖 8B 参数和 4T 训练字节。我们的结果证明了在不使用固定词表的情况下，对原始字节进行训练并扩展模型的可行性。由于在数据可预测时动态选择较长的 patch，训练和推理效率均得到提升，同时在推理能力和长尾泛化方面也有定性上的改善。总体而言，在固定推理成本下，BLT 通过同时扩展 patch 大小和模型规模，展现出比基于分词的模型显著更优的扩展性。

使用技巧

  • 双模型架构：BLT 由两个独立训练的模型组成：

    • Patcher（熵模型）：一个较小的 Transformer 模型，用于预测字节级熵，以确定补丁边界并对输入进行分段。
    • 主 Transformer 模型：通过局部编码器、全局 Transformer 和局部解码器处理图像块的主要模型。

  • 动态修补：该模型采用基于熵的动态修补，具体方式如下：

    • 高熵区域（复杂数据）会获得更短的补丁，从而分配更多的计算注意力
    • 低熵区域（可预测的数据）会获得更长的补丁以提升效率
    • 这使得模型能够将计算资源分配到最需要的地方

  • 本地编码器：使用交叉注意力处理字节序列与补丁嵌入

  • 全局 Transformer：使用跨 patch 的全注意力机制处理 patch 级别的表示

  • 本地解码器：通过交叉注意力机制回指原始字节序列来生成输出

  • 字节级分词器：与使用学习得到的词表的传统分词器不同，BLT 的分词器仅将文本转换为 UTF-8 字节，并将每个字节映射到一个 token ID。无需词表。

该模型可通过以下方式加载：

<hfoption id="AutoModel"> 
from transformers import AutoModelForCausalLM, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained("itazap/blt-1b-hf")
model = AutoModelForCausalLM.from_pretrained(
    "itazap/blt-1b-hf",
    device_map="auto",
)

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

prompt = "my name is"
generated_ids = model.generate(
    **inputs, max_new_tokens=NUM_TOKENS_TO_GENERATE, do_sample=False, use_cache=False
)

print(tokenizer.decode(generated_ids[0]))
</hfoption>

该模型由 itazap 贡献。 原始代码可在此处找到。

BltConfig

class transformers.BltConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 260max_position_embeddings: int = 4096patch_in_forward: bool | None = Truepatch_size: int | None = 4patching_mode: str | None = 'entropy'patching_threshold: float | None = 1.335442066192627patching_batch_size: int | None = 1max_patch_length: int | None = Nonelocal_attention_window_len: int | None = 512cross_attn_k: int | None = 2encoder_hash_byte_group_size: list[int] | None = Noneencoder_hash_byte_group_vocab: int | None = 500002encoder_hash_byte_group_nb_functions: int | None = 1patcher_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneencoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonedecoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneglobal_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonetie_word_embeddings: bool = Falseuse_cache: bool = Truepad_token_id: int | None = Nonebos_token_id: int | None = Noneeos_token_id: int | list[int] | None = Noneinitializer_range: float = 0.02rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None )

参数

  • vocab_size (int，可选，默认为 260) — 模型的词汇表大小。定义了 input_ids 可以表示的不同 token 的数量。
  • max_position_embeddings (int，可选，默认为 4096) — 该模型可能使用的最大序列长度。
  • patch_in_forward (bool，可选，默认为 True) — 是否在前向传播过程中执行 patching。
  • patch_size (int，可选，默认为 4) — 分块机制中使用的分块大小。
  • patching_mode (str，可选，默认为 "entropy") — 用于修补的模式，例如基于熵的修补。
  • patching_threshold (float，可选，默认值为 1.34) — 用于确定何时应用补丁的阈值。
  • patching_batch_size (int，可选，默认为 1) — 在修补过程中使用的批大小。
  • max_patch_length (int, 可选) — 可生成的补丁的最大长度。
  • local_attention_window_len (int，可选，默认值为 512) — 本地编码器和本地解码器所使用的局部注意力窗口大小，与已发布的检查点中的 local_attention_window_len 保持一致。将其设置为 None 可改为在整个因果上下文中进行注意力计算。
  • cross_attn_k (int，可选，默认为 2) — 模型中使用的交叉注意力头数。
  • encoder_hash_byte_group_size（list，可选）— 编码器哈希函数中使用的字节组大小列表。
  • encoder_hash_byte_group_vocab (int，可选，默认值为 500002) — 编码器哈希字节组的词表大小。
  • encoder_hash_byte_group_nb_functions (int，可选，默认值为 1) — 编码器字节分组中使用的哈希函数数量。
  • patcher_config (BltPatcherConfig，可选) — 模型中 patcher 组件的配置。
  • encoder_config (Union[dict, ~configuration_utils.PreTrainedConfig]，可选) — 编码器骨干网络的配置对象或字典。
  • decoder_config (Union[dict, ~configuration_utils.PreTrainedConfig]，可选) — 解码器骨干网络的配置对象或字典。
  • global_config (BltGlobalTransformerConfig，可选) — 模型全局 transformer 组件的配置。
  • tie_word_embeddings (bool，可选，默认为 False) — 是否根据模型的 tied_weights_keys 映射来绑定权重嵌入。
  • use_cache (bool，可选，默认为 True) — 模型是否应返回最后一次键/值注意力（并非所有模型都使用）。仅当 config.is_decoder=True 或模型为仅解码器生成式模型时相关。
  • pad_token_id (int, 可选) — 词表中用于填充的 token id。
  • bos_token_id (int, 可选) — 词汇表中用于表示流起始的 Token id。
  • eos_token_id (Union[int, list[int]], 可选) — 词汇表中用于表示流结束（end-of-stream）的 token id。
  • initializer_range (float，可选，默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], 可选) — 包含 RoPE 嵌入配置参数的字典。该字典应包含 rope_theta 的值，并且如果希望使用 RoPE 处理更长的 max_position_embeddings，则可选地包含用于缩放的参数。

这是用于存储 BltModel 配置的类。它根据指定的参数实例化 Blt 模型，并定义模型架构。使用默认值实例化配置将生成与 itazap/blt-1b-hf 类似的配置。

配置对象继承自 PreTrainedConfig，可用于控制模型输出。有关更多信息，请参阅 PreTrainedConfig 的文档。

示例：

>>> from transformers import BltModel, BltConfig

>>> # Initializing a Blt configuration
>>> configuration = BltConfig()

>>> # Initializing a model from the configuration
>>> model = BltModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

class transformers.BltModel

< >

( config: BltConfig )

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Nonepatch_lengths: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> )

BltForCausalLM

class transformers.BltForCausalLM

< >

( config: BltConfig )

参数

  • config (BltConfig) — 模型配置类，包含模型的所有参数。使用配置文件进行初始化时，不会加载与模型关联的权重，仅加载配置。请查看 from_pretrained() 方法以加载模型权重。

顶部带有语言建模头的 Blt 文本模型。

该模型继承自 PreTrainedModel。请查阅父类文档，了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头等）。

该模型也是 PyTorch torch.nn.Module 的子类。 请将其作为常规的 PyTorch Module 使用，有关通用用法和行为的所有事项，请参阅 PyTorch 文档。

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonecross_attention_states: typing.Optional[torch.LongTensor] = Nonecross_attention_mask: typing.Optional[torch.LongTensor] = Nonefull_text_row_masked_out_mask: tuple[torch.Tensor, torch.Tensor] | None = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → CausalLMOutputWithPast or tuple(torch.Tensor)

参数

  • input_ids (torch.LongTensor 形状为 (batch_size, sequence_length), ，可选) — 输入序列中各 token 在词汇表中的索引。默认情况下，填充（padding）将被忽略。

    可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什么是输入 ID？

  • attention_mask (torch.Tensor 形状为 (batch_size, sequence_length), ，可选) — 用于避免对填充 token 索引执行注意力机制的掩码。掩码值取自 [0, 1]:
    • 1 表示未被屏蔽的 token，
    • 对于被掩码的 token，值为 0。

    什么是注意力掩码？

  • position_ids (torch.LongTensor 形状为 (batch_size, sequence_length), 可选) — 输入序列中每个 token 在位置嵌入中的位置索引。取值范围为 [0, config.n_positions - 1].

    什么是位置 ID？

  • cross_attention_states (torch.Tensor, 可选) — 视觉模型的输出，用于交叉注意力。该张量包含经过处理的图像特征，语言模型将对其执行注意力操作。
  • cross_attention_mask (torch.Tensor 形状为 (batch_size, seq_length, max_num_images, max_num_tiles), 可选) — 用于控制文本 token 与图像 tile 之间交互的交叉注意力掩码。 此 4D 张量定义了每个文本 token 应关注哪些图像 tile。

    对于每个文本 token（在 seq_length 中）：

    • 1 表示该 token 应当关注对应的图像块
    • 0 表示该 token 不应关注对应的图像块
  • full_text_row_masked_out_mask (tuple[torch.Tensor, torch.Tensor], 可选) — 一个包含两个张量的元组，用于在交叉注意力机制中屏蔽行：
    • 第一个张量的形状为 (batch_size, 1, seq_length, 1)，其值为 0 或 1。 值为 0 表示交叉注意力矩阵中对应文本 token 的整行应被屏蔽（即忽略所有图像 token）。
    • 第二个张量具有相同的形状，在交叉注意力层的前向传播过程中内部用于应用掩码。 该掩码由 cross_attention_mask 派生而来，用于处理文本令牌不应关注任何图像令牌的情况。
  • past_key_values (~cache_utils.Cache, 可选) — 预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常由 past_key_values 在解码的先前阶段返回，当 use_cache=True 或 config.use_cache=True.

    仅允许将 Cache 实例作为输入，请参阅我们的 kv cache 指南。 如果未传入 past_key_values，则默认会初始化 DynamicCache。

    模型将输出与输入相同的缓存格式。

    如果使用了 past_key_values，用户应仅输入未处理的 input_ids（即未向该模型提供其过去键值状态的那些），其形状为 (batch_size, unprocessed_length)，而不是形状为 (batch_size, sequence_length) 的全部 input_ids。

  • inputs_embeds（形状为 (batch_size, sequence_length, hidden_size) 的 torch.Tensor，可选） — 可选地，您可以选择直接传入嵌入表示，而不是传入 input_ids。如果您希望对 input_ids 索引如何转换为相应向量拥有比模型内部嵌入查找矩阵更多的控制权，这将非常有用。
  • labels (torch.LongTensor 形状为 (batch_size, sequence_length), 可选) — 用于计算因果语言建模损失的标签。索引应在 [-100, 0, ..., config.vocab_size] (参见 input_ids 文档字符串）。索引设置为 -100 的 token 将被忽略（掩码），损失仅针对标签在 [0, ..., config.vocab_size].

    标签在内部会进行移位，因此使用labels[..., 1:]来预测logits[..., :-1, :]。 请传入与input_ids匹配的未移位标签（即labels = input_ids）。在传入之前，请勿自行对标签进行移位。

    如果标签已经移位（例如在使用序列并行时），请将其作为 shift_labels 关键字参数传入，系统将直接使用该值。为了计算损失，仍然必须传入 labels。

  • use_cache (bool，可选) — 如果设置为 True，则会返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。
  • logits_to_keep (Union[int, torch.Tensor], 可选，默认为 0) — 如果为 int，则计算最后 logits_to_keep 个 token 的 logits。如果为 0，则计算所有 input_ids 的 logits（特殊情况）。生成过程只需要最后一个 token 的 logits，仅针对该 token 进行计算可以节省内存，对于长序列或大词汇量而言，这种节省相当显著。 如果为 torch.Tensor，则必须是一维张量，对应于序列长度维度中需要保留的索引。 这在使用打包张量格式（将批次和序列长度合并为单一维度）时非常有用。

返回值

CausalLMOutputWithPast 或 tuple(torch.Tensor)

一个 CausalLMOutputWithPast 或 torch.Tensor 元组（如果传入了 return_dict=False 或 config.return_dict=False），其包含的元素取决于配置（BltConfig）和输入。

BltForCausalLM 的 forward 方法重写了 __call__ 特殊方法。

尽管前向传播的实现需要在此函数中定义，但之后应调用 Module 实例，而不是直接调用此函数，因为前者会负责执行预处理和后处理步骤，而后者则会静默地忽略这些步骤。

  • loss (torch.Tensor，形状为 (1,)，可选，当提供 labels 时返回) — 语言建模损失（用于下一个 token 预测）。

  • logits（形状为 (batch_size, sequence_length, config.vocab_size) 的 torch.Tensor）— 语言建模头的预测分数（SoftMax 之前每个词汇表 token 的分数）。

  • past_key_values（Cache，可选，在传入 use_cache=True 或 config.use_cache=True 时返回）—— 它是一个 Cache 实例。更多详情，请参阅我们的 kv cache 指南。

    包含预计算的隐藏状态（自注意力块中的键和值），可用于（参见 past_key_values 输入）加速顺序解码。

  • hidden_states (tuple(torch.Tensor)，可选，当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 一个 torch.Tensor 元组（如果模型具有嵌入层，则包含嵌入层的输出，以及每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。

    模型在每一层输出处的隐藏状态，以及可选的初始嵌入输出。

  • attentions (tuple(torch.Tensor)，可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回) — 一个 torch.Tensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    注意力权重，即经过注意力 softmax 之后的权重，用于在自注意力头中计算加权平均值。

示例：

>>> from transformers import AutoTokenizer, BltForCausalLM

>>> model = BltForCausalLM.from_pretrained("itazap/blt-1b-hf")
>>> tokenizer = AutoTokenizer.from_pretrained("itazap/blt-1b-hf")

>>> prompt = "If I had to write a haiku, it would be:"
>>> inputs = tokenizer(prompt, return_tensors="pt")

>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=40, do_sample=True, temperature=0.6)
>>> result = tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
>>> print(result)
If I had to write a haiku, it would be: "Snowflakes gently fall" - simple, yet peaceful.
I love the idea of snowflakes gently falling, each one
Update on GitHub

←BLOOM ByT5→