Transformers documentation

Qwen4-Exp

Transformers

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

このモデルは2026年8月26日にHugging Face Transformersに貢献されました。

Qwen4-Exp

Qwen4-Expは、Qwen3.5のハイブリッドなテキストおよびマルチモーダルアーキテクチャを基盤としており、GatedResidual (GR)、Qwen Sparse Attention (QSA)、Per-Layer Embedding (PLE)という3つの主要なコンポーネントで構成されています。

GRはQwenが開発した残差アーキテクチャで、Hyper-ConnectionとGatedNormを組み合わせたものです。各attentionブロックとMixture-of-Experts (MoE)ブロックの前に、複数の残差ストリームを細粒度の要素ごとのゲーティングで混合し、その後、ブロックの出力を各ストリームにどの程度注入するかを制御します。

QSA は複数のクエリヘッドを使用して圧縮されたキーブロックをスコアリングし、最も関連性の高い連続トークンブロックを選択します。また、不完全な末尾ブロックは非圧縮のまま保持します。このブロックレベルの選択により、インデックス付けのオーバーヘッドが削減され、長いシーケンスにおけるメモリローカリティが向上します。Gated DeltaNet と組み合わせることで、QSA は Qwen4-Exp を、線形アテンションとスパースアテンションを統合した最初のハイブリッドアーキテクチャにします。これにより、長文脈ワークロードにおける推論の効率が大幅に向上します。

PLEは、ハッシュ化されたトークンn-gramと空洞化ディプワイズ畳み込みから導出される層固有の語彙特徴量を用いて、選択されたデコーダー層を強化します。

使用のコツ

ple_layer_ids は 1 始まりのデコーダー層インデックスを使用します。PLE が有効で、モデルが inputs_embeds を受け取る場合、元のトークン ID を ple_input_ids として渡してください。input_ids が提供されている場合、モデルは PLE 用にそれらを自動的に使用します。
キャッシュ付き生成中、PLE は n-gram コンテキストと dilated-convolution の状態の両方を保持します。DynamicCache が推奨されるデフォルトであり、StaticCache もサポートされています。PLE または QSA が有効な場合、キャッシュのクロッピングはサポートされていません。キャッシュのオフローディングを使用する場合、GatedDeltaNet、PLE、および QSA インデクサーの状態はデバイス上に保持され、アテンションのキー/バリュー状態のみがオフロードされます。
split_ngram_parts は、各大型 PLE n-gram 埋め込みテーブルの論理チェックポイントシャードを制御します。Transformers はこれらのシャードを語彙次元に沿って連結し、1 つのランタイム重みとして扱います。デフォルトの save_pretrained(save_original_format=True) は、設定された元のシャード化レイアウトを書き出します。
hc_count は残差ストリームの数を設定し、hc_lowrank は学習された GR 入力ミキサーのランクを設定します。
QSAインデクサーのフィールドをすべて指定することで、フルアテンションレイヤーでのスパーストークン選択を有効にできます。EagerおよびSDPAアテンションがサポートされており、それ以外のバックエンドが要求された場合はEagerにフォールバックします。トークン選択がデータ依存であるため、自動生成コンパイルは無効化されています。
tp_plan="auto" は、attention、MoE、GatedDeltaNet、QSA、GR、および PLE テーブルの語彙行シャーディングをサポートしています。カスタム設定では、シャーディングされた attention head、QSA と GatedDeltaNet の射影次元、GR ストリーム幅、エキスパート次元、およびパディングされた PLE 語彙が、TP サイズで割り切れる必要があります。レプリケートされた低ランク GR 出力には、割り切れるという制約は追加されません。
FSDP2 はトークン埋め込みとデコーダー層をシャード化しますが、最終的な GR ミキサーは集約したままにします。現在、TP と FSDP を組み合わせることはできず、パイプライン並列化の計画も提供されていません。
テキストのみの生成には、Qwen4ExpForCausalLM と Qwen4ExpTextConfig を使用します。マルチモーダル入力には、Qwen4ExpForConditionalGeneration と Qwen4ExpConfig を使用します。
バッチ生成には左パディングを使用します。Padding sideを参照してください。

Qwen4ExpConfig

クラス transformers.Qwen4ExpConfig

< source >

パラメータ

text_config (Union[dict, ~configuration_utils.PreTrainedConfig]、省略可) — テキストバックボーンの設定オブジェクトまたは辞書。
vision_config (Union[dict, ~configuration_utils.PreTrainedConfig]、任意) — ビジョンバックボーンの config オブジェクトまたは辞書です。
image_token_id (int、任意、デフォルトは 248056) — 入力画像のプレースホルダーとして使用される画像トークンのインデックスです。
video_token_id (int、任意、デフォルトは 248057) — 入力動画のプレースホルダーとして使用される動画トークンのインデックスです。
vision_start_token_id (int、任意、デフォルトは 248053) — マルチモーダル入力シーケンスにおける視覚セグメントの開始を示すトークン ID。
vision_end_token_id (int、任意、デフォルトは 248054) — マルチモーダル入力シーケンスにおける視覚セグメントの終了を示すトークン ID。
tie_word_embeddings (bool、任意、デフォルトは False) — モデルの tied_weights_keys マッピングに従って重み埋め込みを共有するかどうかを指定します。

これは、Qwen4ExpModel の設定を保存するための設定クラスです。指定された引数に基づいて Qwen4 Exp モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、Qwen/Qwen4-Exp と同様の設定が得られます。

設定オブジェクトはPreTrainedConfigを継承し、モデルの出力を制御するために使用できます。詳細については、PreTrainedConfigのドキュメントを参照してください。

例:

>>> from transformers import Qwen4ExpConfig, Qwen4ExpForConditionalGeneration

>>> configuration = Qwen4ExpConfig()
>>> model = Qwen4ExpForConditionalGeneration(configuration)
>>> configuration = model.config

Qwen4ExpTextConfig

class transformers.Qwen4ExpTextConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 248320hidden_size: int = 2048num_hidden_layers: int = 40num_attention_heads: int = 16num_key_value_heads: int = 2hidden_act: str = 'silu'max_position_embeddings: int = 32768initializer_range: float = 0.02rms_norm_eps: float = 1e-06use_cache: bool = Truetie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: float | int = 0.0head_dim: int = 256linear_conv_kernel_dim: int = 4linear_key_head_dim: int = 128linear_value_head_dim: int = 128linear_num_key_heads: int = 16linear_num_value_heads: int = 32moe_intermediate_size: int = 512shared_expert_intermediate_size: int = 512num_experts_per_tok: int = 10num_experts: int = 512output_router_logits: bool = Falserouter_aux_loss_coef: float = 0.001layer_types: list[str] | None = Nonepad_token_id: int | None = Nonebos_token_id: int | None = Noneeos_token_id: int | list[int] | None = Nonehc_count: int = 4hc_lowrank: int = 320ple_layer_ids: list[int] | None = Noneple_embed_dim: int | None = Noneple_conv_kernel_size: int = 4ngram_size: int = 3heads_per_ngram: int = 8ngram_vocab_size_base: int = 20000000make_ngram_vocab_size_divisible_by: int = 128seed: int = 1234split_ngram_parts: int = 512indexer_n_heads: int | None = Noneindexer_kv_heads: int | None = Noneindexer_head_dim: int | None = Noneindexer_budget: int | None = Noneindexer_compress_ratio: int | None = Nonenorm_topk_prob: bool = Trueoutput_gate_type: str | None = None )

パラメータ

vocab_size (int、任意、デフォルトは 248320) — モデルの語彙サイズです。input_ids で表現できるトークンの種類数を定義します。
hidden_size (int、任意、デフォルトは 2048) — 隠れ表現の次元数。
num_hidden_layers (int、任意、デフォルトは 40) — Transformer デコーダーにおける隠れ層の数。
num_attention_heads (int、任意、デフォルトは 16) — Transformer デコーダーの各アテンション層におけるアテンションヘッドの数。
num_key_value_heads (int、任意、デフォルトは 2) — Grouped Query Attention の実装に使用する key_value ヘッドの数を指定します。 num_key_value_heads=num_attention_heads の場合、モデルは Multi Head Attention (MHA) を使用し、 num_key_value_heads=1 の場合は Multi Query Attention (MQA) を使用し、それ以外の場合は GQA が使用されます。マルチヘッドのチェックポイントを GQA チェックポイントに変換する際は、各グループの key ヘッドと value ヘッドは、そのグループ内の元のすべてのヘッドを平均プーリングして構築する必要があります。詳細については、この論文を参照してください。指定しない場合、デフォルトで num_attention_heads が使用されます。
hidden_act (str、任意、デフォルトは silu) — デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、"gelu"、 "relu"、"silu" など。
max_position_embeddings (int、任意、デフォルトは 32768) — このモデルが使用される可能性のある最大シーケンス長です。
initializer_range (float、任意、デフォルトは 0.02) — すべての重み行列を初期化するための truncated_normal_initializer の標準偏差です。
rms_norm_eps (float、任意、デフォルトは 1e-06) — RMS 正規化レイヤーで使用する epsilon。
use_cache (bool、任意、デフォルトは True) — モデルが最後のキー/バリューの注意を返すかどうか（すべてのモデルで利用されるわけではありません）。config.is_decoder=True の場合、またはモデルがデコーダー専用の生成モデルである場合にのみ関連します。
tie_word_embeddings (bool、任意、デフォルトは False) — モデルの tied_weights_keys マッピングに従って重み埋め込みを共有するかどうかを指定します。
rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], 省略可) — RoPE 埋め込みの設定パラメータを含む辞書です。この辞書には rope_theta の値が含まれており、より長い max_position_embeddings で RoPE を使用する場合にスケーリングに使用されるパラメータが任意で含まれます。
attention_bias (bool、任意、デフォルトはFalse) — 自己注意機構において、クエリ、キー、バリュー、出力の投影層にバイアスを使用するかどうかを指定します。
attention_dropout (Union[float, int]、任意、デフォルトは 0.0) — アテンション確率のドロップアウト率です。
head_dim (int、任意、デフォルトは 256) — アテンションヘッドの次元です。None の場合、hidden_size // num_attention_heads がデフォルトとして使用されます。
linear_conv_kernel_dim (int、任意、デフォルト値は 4) — 線形アテンション層で使用する畳み込みのカーネルサイズ。
linear_key_head_dim (int、任意、デフォルトは 128) — linear attention における各 key head の次元数。
linear_value_head_dim (int、任意、デフォルトは 128) — linear attention における各 value head の次元数。
linear_num_key_heads (int、任意、デフォルトは 16)— 線形アテンション層で使用するキーヘッドの数。
linear_num_value_heads (int、任意、デフォルトは 32)— 線形アテンション層で使用するバリューヘッドの数。
moe_intermediate_size (int、任意、デフォルトは 512) — ルーティングされたエキスパートの MLP の中間サイズ。
shared_expert_intermediate_size (int、任意、デフォルトは 512) — 共有エキスパート MLP の中間サイズ。
num_experts_per_tok (int、任意、デフォルトは 10) — 各トークンをルーティングするエキスパートの数です。これは、トークン選択ルーティングにおける top-k の値です。
num_experts (int、任意、デフォルトは 512) — MoE層におけるルーティング対象のエキスパートの数。
output_router_logits (bool、任意、デフォルトはFalse) — モデルがルーターのロジツを返すかどうかを指定します。これを有効にすると、モデルは補助損失（ロードバランシング損失とルーターのz損失を含む）を出力できるようになります。
router_aux_loss_coef (float、任意、デフォルト値は0.001) — 補助的なロードバランシング損失の係数です。MoEモデルにおける不均一なエキスパートルーティングをペナルティするために使用されます。
layer_types (list[str]、省略可) — 各レイヤーのインデックスとレイヤータイプを明示的に対応付けるリストです。指定しない場合、config の値に基づいて自動的に生成されます。
pad_token_id (int, 任意) — 語彙内でパディングに使用されるトークン ID。
bos_token_id (int, 省略可) — 語彙におけるストリーム開始に使用されるトークン ID。
eos_token_id (Union[int, list[int]], 省略可) — 語彙内でストリーム終了に使用されるトークン ID。
hc_count (int、任意、デフォルトは 4) — hyper-connections が使用する residual streams の数です。
hc_lowrank (int、任意、デフォルト値は 320) — 学習されるハイパーコネクション入力ミキサーのランクです。
ple_layer_ids (list[int], 任意) — Per-Layer Embedding (PLE) を使用するデコーダー層の ID を 1 始まりのインデックスで指定します。
ple_embed_dim (int, 任意) — 各 PLE モジュールにおけるすべての n-gram ヘッドから連結された埋め込みの総次元数。デフォルト値はhidden_sizeです。
ple_conv_kernel_size (int, 任意, デフォルトは 4) — 各 PLE モジュールにおける空洞ディプスワイズ畳み込みのカーネルサイズ。
ngram_size (int、任意、デフォルトは 3) — PLE が表す最大のトークン n-gram のサイズ。
heads_per_ngram (int、省略可、デフォルトは 8)— 各 n-gram 順序に対して独立にハッシュされる埋め込みヘッドの数。
ngram_vocab_size_base (int、任意、デフォルト値は 20000000) — ハッシュされた n-gram ヘッドごとに、異なる素数サイズの語彙サイズを導出するために使用される下限値です。
make_ngram_vocab_size_divisible_by (int、任意、デフォルトは 128) — 結合された n-gram 埋め込み語彙をパディングするために使用される除数です。
seed (int、任意、デフォルトは 1234) — 各層の n-gram ハッシュ乗数を決定論的に導出するために使用されるシード。
split_ngram_parts (int、省略可、デフォルト値は 512) — 各 PLE n-gram 埋め込みテーブルに使用されるチェックポイントのシャード数です。読み込み時には、これらのシャードが連結されて単一のランタイム埋め込みとなり、save_pretrained によって設定されたシャード化レイアウトが復元されます。
indexer_n_heads (int, 省略可) — QSA トークンインデクサーが使用するクエリヘッドの数です。これを設定すると、フルアテンションレイヤーで QSA が有効になります。
indexer_kv_heads (int, 任意) — インデクサーのキーヘッド数です。Qwen4-Exp QSA では、キーヘッドは 1 つ必要です。
indexer_head_dim (int, 省略可) — QSAインデクサーのクエリおよびキーの各ヘッドの次元数。
indexer_budget (int, 任意) — 各クエリに対して、完全な圧縮ブロックから選択されるトークンの最大数。
indexer_compress_ratio (int, 省略可) — 1つのQSAインデックスブロックに平均化される連続トークンキーの数。
norm_topk_prob (bool、任意、デフォルトは True) — ルーティングされたエキスパートの重みを正規化するかどうかを指定します。
output_gate_type (str, 省略可) — 線形アテンションの出力ゲートで使用する活性化関数。未設定の場合、hidden_act が使用されます。

validate_architecture

< source >

( )

@strict による検証の一部です。Qwen4-Exp アーキテクチャの不変条件を検証します。

Qwen4ExpVisionConfig

クラス transformers.Qwen4ExpVisionConfig

< source >

パラメータ

depth (int、任意、デフォルトは 27) — ビジョンエンコーダーにおける Transformer レイヤーの数。
hidden_size (int、任意、デフォルトは 1152) — 隠れ表現の次元数。
hidden_act (str、任意、デフォルトは gelu_pytorch_tanh) — デコーダーで使用する非線形活性化関数（関数または文字列）です。例えば、"gelu"、 "relu"、"silu" などです。
intermediate_size (int、任意、デフォルトは 4304) — MLP 表現の次元数。
num_heads (int、任意、デフォルトは16) — Transformerデコーダーの各アテンション層におけるアテンションヘッドの数。
in_channels (int、任意、デフォルトは3) — 入力チャネル数。
patch_size (Union[int, list[int], tuple[int, int]]、任意、デフォルトは16) — 各パッチのサイズ（解像度）です。
spatial_merge_size (int, 省略可、デフォルトは 2) — 隣接するパッチをマージしてビジュアルトークンの数を削減するために使用される、空間マージウィンドウのサイズです。
temporal_patch_size (Union[int, list[int], tuple[int, int]]、任意、デフォルトは 2) — 動画入力における3Dパッチ埋め込みで使用する時間方向のパッチサイズ。
out_hidden_size (int, 任意、デフォルトは 3584) — ビジョンモデルの出力隠れ層サイズです。
num_position_embeddings (int、任意、デフォルト値は 2304) — このモデルが使用される可能性のある最大シーケンス長
initializer_range (float、任意、デフォルトは 0.02) — すべての重み行列を初期化するための truncated_normal_initializer の標準偏差です。
rope_parameters (dict, 任意) — RoPE 埋め込みの設定パラメータを含む辞書です。辞書には rope_theta の値が含まれており、より長い max_position_embeddings で RoPE を使用する場合、スケーリングに使用されるパラメータが任意で含まれます。

Qwen4ExpVisionModel

クラス transformers.Qwen4ExpVisionModel

< source >

( config: Qwen4ExpVisionConfig*inputs**kwargs )

パラメータ

config (Qwen4ExpVisionConfig) — モデルのすべてのパラメータを含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

Qwen4 Exp Modelの生モデルで、特定のヘッドを上に載せず、生のhidden-statesを出力します。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< source >

( hidden_states: Tensorgrid_thw: Tensor**kwargs ) → torch.Tensor

パラメータ

hidden_states (torch.Tensor、形状 (seq_len, hidden_size)) — モデルの最終的な隠れ状態です。
grid_thw (torch.Tensor、形状 (num_images_or_videos, 3)) — LLM における各画像のフィーチャー形状の時間軸、高さ、幅です。

戻り値

torch.Tensor

hidden_states

Qwen4ExpTextModel

class transformers.Qwen4ExpTextModel

< source >

( config: Qwen4ExpTextConfig )

パラメータ

config (Qwen4ExpTextConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

Qwen4 Exp Text Modelの生モデルで、特定のヘッドを上に載せず、生のhidden-statesを出力します。

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = Noneple_input_ids: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPast or tuple(torch.Tensor)

パラメータ

input_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、省略可) — 語彙における入力シーケンスのトークンインデックスです。デフォルトではパディングは無視されます。
インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。

入力IDとは何ですか？
attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
- マスクされていないトークンに対して1
- マスクされたトークンに対しては 0 です。
アテンションマスクとは?
position_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、任意) — 各入力シーケンスのトークンが位置埋め込み内で占める位置のインデックス。範囲 [0, config.n_positions - 1].
ポジションIDとは?
past_key_values (~cache_utils.Cache, 省略可) — 逐次デコードを高速化するために使用できる、事前計算された隠れ状態(自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー)。通常、これはデコードの以前の段階でモデルが返した past_key_values であり、 use_cache=True または config.use_cache=True.
入力として許可されるのは Cache インスタンスのみです。kv cache ガイドを参照してください。 past_key_values が渡されない場合、デフォルトで DynamicCache が初期化されます。

モデルは、入力として与えられたのと同じキャッシュ形式を出力します。

past_key_values を使用する場合、すべての input_ids（形状 (batch_size, sequence_length)）ではなく、このモデルに過去のキー・バリュー状態が与えられていない未処理の input_ids（形状 (batch_size, unprocessed_length)）のみを入力することになります。
inputs_embeds (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — input_ids を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込み参照行列よりも、input_ids のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。
use_cache (bool、任意) — True に設定すると、past_key_values のキーバリュー状態が返され、デコーディングの高速化に利用できます（past_key_values を参照）。
ple_input_ids (torch.LongTensor、形状 (batch_size, sequence_length)、任意) — Per-Layer Embedding (PLE) で使用される元のトークン ID です。これは、PLE が有効化されており、input_ids の代わりに inputs_embeds が渡される場合にのみ必要です。

戻り値

BaseModelOutputWithPast または tuple(torch.Tensor)

torch.Tensor のタプル（return_dict=False が渡された場合、または config.return_dict=False の場合）または BaseModelOutputWithPast。設定（Qwen4ExpConfig）と入力に応じて、さまざまな要素で構成されます。

Qwen4ExpTextModelのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンス。

past_key_valuesが使用されている場合、出力されるのは、形状(batch_size, 1, hidden_size)のシーケンスの最後の隠れ状態のみです。
past_key_values (Cache、任意、use_cache=True が渡された場合または config.use_cache=True の場合に返されます) — Cache のインスタンスです。詳細については、kv cache ガイドを参照してください。

自己アテンションブロック（および config.is_encoder_decoder=True の場合、クロスカレンションブロック）の事前計算済みヒドゥンステート（キーとバリュー）を保持します。これらは逐次デコーディングを高速化するために使用できます（past_key_values 入力参照）。
hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

Qwen4ExpModel

class transformers.Qwen4ExpModel

< source >

( config: Qwen4ExpConfig )

パラメータ

config (Qwen4ExpConfig) — モデルのすべてのパラメータを含むモデル設定クラス。設定ファイルで初期化しても、モデルに関連付けられた重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

Qwen4 Exp Modelの生モデルで、特定のヘッドを上に載せず、生のhidden-statesを出力します。

forward

< source >

( input_ids: LongTensor = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonepixel_values: typing.Optional[torch.Tensor] = Nonepixel_values_videos: typing.Optional[torch.Tensor] = Noneimage_grid_thw: typing.Optional[torch.LongTensor] = Nonevideo_grid_thw: typing.Optional[torch.LongTensor] = Nonemm_token_type_ids: typing.Optional[torch.IntTensor] = Nonemm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → MoeModelOutputWithPast or tuple(torch.Tensor)

パラメータ

input_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、省略可) — 語彙における入力シーケンスのトークンインデックスです。デフォルトではパディングは無視されます。
インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。

入力IDとは何ですか？
attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
- マスクされていないトークンに対して1
- マスクされたトークンに対しては 0 です。
アテンションマスクとは?
position_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、任意) — 各入力シーケンスのトークンが位置埋め込み内で占める位置のインデックス。範囲 [0, config.n_positions - 1].
ポジションIDとは?
past_key_values (~cache_utils.Cache, 省略可) — 逐次デコードを高速化するために使用できる、事前計算された隠れ状態(自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー)。通常、これはデコードの以前の段階でモデルが返した past_key_values であり、 use_cache=True または config.use_cache=True.
入力として許可されるのは Cache インスタンスのみです。kv cache ガイドを参照してください。 past_key_values が渡されない場合、デフォルトで DynamicCache が初期化されます。

モデルは、入力として与えられたのと同じキャッシュ形式を出力します。

past_key_values を使用する場合、すべての input_ids（形状 (batch_size, sequence_length)）ではなく、このモデルに過去のキー・バリュー状態が与えられていない未処理の input_ids（形状 (batch_size, unprocessed_length)）のみを入力することになります。
inputs_embeds (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — input_ids を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込み参照行列よりも、input_ids のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。
pixel_values (torch.Tensor、形状 (batch_size, num_channels, image_size, image_size)、任意) — 入力画像に対応するテンソルです。ピクセル値は Qwen2VLImageProcessor を使用して取得できます。詳細は Qwen2VLImageProcessor.call() を参照してください（Qwen3VLProcessor は画像の処理に Qwen2VLImageProcessor を使用します）。
pixel_values_videos (torch.Tensor、形状 (batch_size, num_frames, num_channels, frame_size, frame_size)、任意) — 入力動画に対応するテンソルです。動画のピクセル値は、Qwen3VLVideoProcessor を使用して取得できます。詳細については、Qwen3VLVideoProcessor.call() を参照してください（Qwen3VLProcessor は動画の処理に Qwen3VLVideoProcessor を使用します）。
image_grid_thw (torch.LongTensor、形状 (num_images, 3)、任意) — LLM における各画像のフィーチャー形状の時間軸、高さ、幅です。
video_grid_thw (torch.LongTensor、形状 (num_videos, 3)、任意) — LLM における各動画のフィーチャー形状の時間軸、高さ、幅です。
mm_token_type_ids (torch.IntTensor、形状 (batch_size, sequence_length)、任意) — 各モダリティに一致する入力シーケンスのトークンインデックスです。例えば、テキスト (0)、画像 (1)、動画 (2) などです。マルチモーダルなトークンタイプIDは、AutoProcessor を使用して取得できます。詳細は ProcessorMixin.call() を参照してください。
mm_encoder_outputs (dict[str, ~modeling_outputs.BaseModelOutputWithPooling], 省略可) — キーがサポートされているモダリティ、値がそのモダリティのエンコード済み出力である辞書。各エンコード済み出力は、(pooler_output, 省略可: last_hidden_states, 省略可: hidden_states, 省略可: attentions) pooler_output (形状 (batch_size, sequence_length, hidden_size), 省略可) からなるタプルです。pooler_output は、エンコーダーのマルチモーダル特徴量をテキスト埋め込みにマージしたシーケンスです。

戻り値

MoeModelOutputWithPast または tuple(torch.Tensor)

MoeModelOutputWithPast または、torch.Tensor のタプル（return_dict=False が渡された場合、または config.return_dict=False の場合）。設定（Qwen4ExpConfig）や入力に応じて、さまざまな要素で構成されます。

Qwen4ExpModelのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンス。
past_key_values (Cache、任意、use_cache=True が渡された場合または config.use_cache=True の場合に返されます) — Cache のインスタンスです。詳細については、kv cache ガイドを参照してください。

自己アテンションブロック（および config.is_encoder_decoder=True の場合、クロスカレンションブロック）の事前計算済みヒドゥンステート（キーとバリュー）を保持します。これらは逐次デコーディングを高速化するために使用できます（past_key_values 入力参照）。
hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。
router_logits (tuple(torch.Tensor)、optional、output_router_probs=True と config.add_router_probs=True が渡された場合、または config.output_router_probs=True の場合に返されます) — 各層に対応する torch.Tensor のタプルで、形状は (batch_size, sequence_length, num_experts) です。

MoE ルーターによって計算される生（raw）のルーター logits（softmax 適用後）であり、Mixture of Experts モデルの補助損失を計算するためにこれらの用語が使用されます。

Qwen4ExpForCausalLM

クラス transformers.Qwen4ExpForCausalLM

< source >

( config: Qwen4ExpTextConfig )

パラメータ

config (Qwen4ExpTextConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

因果言語モデリング用のQwen4 Exp Model。

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Noneoutput_router_logits: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → MoeCausalLMOutputWithPast or tuple(torch.Tensor)

パラメータ

input_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、省略可) — 語彙における入力シーケンスのトークンインデックスです。デフォルトではパディングは無視されます。
インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。

入力IDとは何ですか？
attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
- マスクされていないトークンに対して1
- マスクされたトークンに対しては 0 です。
アテンションマスクとは?
position_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、任意) — 各入力シーケンスのトークンが位置埋め込み内で占める位置のインデックス。範囲 [0, config.n_positions - 1].
ポジションIDとは?
past_key_values (~cache_utils.Cache, 省略可) — 逐次デコードを高速化するために使用できる、事前計算された隠れ状態(自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー)。通常、これはデコードの以前の段階でモデルが返した past_key_values であり、 use_cache=True または config.use_cache=True.
入力として許可されるのは Cache インスタンスのみです。kv cache ガイドを参照してください。 past_key_values が渡されない場合、デフォルトで DynamicCache が初期化されます。

モデルは、入力として与えられたのと同じキャッシュ形式を出力します。

past_key_values を使用する場合、すべての input_ids（形状 (batch_size, sequence_length)）ではなく、このモデルに過去のキー・バリュー状態が与えられていない未処理の input_ids（形状 (batch_size, unprocessed_length)）のみを入力することになります。
inputs_embeds (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — input_ids を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込み参照行列よりも、input_ids のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。
labels (torch.LongTensor 形状 (batch_size, sequence_length), 任意) — 因果言語モデリングの損失を計算するためのラベル。インデックスは [-100, 0, ..., config.vocab_size] (参照 input_ids のドキュメント文字列を参照)。インデックスが -100 に設定されたトークンは無視（マスク）され、損失はラベルが [0, ..., config.vocab_size].
ラベルは内部でシフトされるため、labels[..., 1:]を使用してlogits[..., :-1, :]を予測します。 input_idsと一致するシフトされていないラベル（つまりlabels = input_ids）を渡してください。ラベルを渡す前に、ご自身でシフトしないでください。

ラベルがすでにシフトされている場合（シーケンス並列化など）、shift_labels キーワード引数として渡すと、そのまま使用されます。損失を計算するには、labels も引き続き渡す必要があります。
use_cache (bool、任意) — True に設定すると、past_key_values のキーバリュー状態が返され、デコーディングの高速化に利用できます（past_key_values を参照）。
output_router_logits (bool, 省略可) — すべてのルーターの logits を返すかどうか。ルーター損失の計算に有用ですが、推論時には返すべきではありません。
logits_to_keep (Union[int, torch.Tensor]、省略可、デフォルトは 0) — int の場合、最後の logits_to_keep トークンについて logits を計算します。0 の場合、すべての input_ids について logits を計算します（特殊ケース）。生成には最後のトークンの logits だけで十分であり、そのトークンのみについて計算することでメモリを節約できます。これは、長いシーケンスや大規模な語彙サイズの場合に特に顕著な効果があります。 torch.Tensor の場合、シーケンス長次元で保持するインデックスに対応する 1 次元テンソルである必要があります。これは、パックされたテンソル形式（バッチとシーケンス長を単一の次元にまとめた形式）を使用する場合に有用です。

戻り値

MoeCausalLMOutputWithPast または tuple(torch.Tensor)

MoeCausalLMOutputWithPast、またはtorch.Tensorのタプル（return_dict=Falseが渡された場合、またはconfig.return_dict=Falseの場合）。設定（Qwen4ExpConfig）や入力に応じて、さまざまな要素で構成されます。

Qwen4ExpForCausalLMのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 言語モデリングの損失(次のトークンの予測用)。
logits (torch.Tensor、形状 (batch_size, sequence_length, config.vocab_size)) — 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。
aux_loss (torch.Tensor、任意、output_router_logits=True が渡された場合、または config.output_router_logits=True かつモデルがロードバランシング損失でルーターを学習する場合に返されます) — スパースモジュールのロードバランシング補助損失。ルーターバイアスでエキスパートをバランスさせるモデル（DeepSeek-V3 とそこから派生したアーキテクチャ）は、router_logits を返しながらも、ここでは None を返します。
router_logits (tuple(torch.Tensor)、optional、output_router_logits=True が渡された場合または config.output_router_logits=True の場合に返されます) — torch.Tensor のタプル（スパース層ごとに1つ）、形状は (batch_size * sequence_length, num_experts)。

MoEルーターによって計算される生のルーターロジットです。ロードバランシング損失の計算や、トークンがどのようにエキスパートにディスパッチされるかの確認に使用できます。
past_key_values (Cache、任意、use_cache=True が渡された場合または config.use_cache=True の場合に返されます) — Cache のインスタンスです。詳細については、kv cache ガイドを参照してください。

逐次デコーディングを高速化するために使用できる（past_key_values 入力参照）、事前計算済みの隠れ状態（自己注意ブロックのキーとバリュー）が含まれます。
hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

例:

>>> from transformers import AutoTokenizer, Qwen4ExpForCausalLM

>>> model = Qwen4ExpForCausalLM.from_pretrained("Qwen/Qwen3-Next-80B-A3B-Instruct")
>>> tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-Next-80B-A3B-Instruct")

>>> prompt = "Hey, are you conscious? Can you talk to me?"
>>> inputs = tokenizer(prompt, return_tensors="pt")

>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"Hey, are you conscious? Can you talk to me?\nI'm not conscious, but I can talk to you."

Qwen4ExpForConditionalGeneration

クラス transformers.Qwen4ExpForConditionalGeneration

< source >

( config: Qwen4ExpConfig )

パラメータ

config (Qwen4ExpConfig) — モデルのすべてのパラメータを含むモデル設定クラス。設定ファイルで初期化しても、モデルに関連付けられた重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

他のモダリティ（例：画像とテキストからテキストへの生成）を条件としてトークン生成を行うQwen4 Exp Model。

forward

< source >

( input_ids: LongTensor = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Nonepixel_values: typing.Optional[torch.Tensor] = Nonepixel_values_videos: typing.Optional[torch.Tensor] = Noneimage_grid_thw: typing.Optional[torch.LongTensor] = Nonevideo_grid_thw: typing.Optional[torch.LongTensor] = Nonemm_token_type_ids: typing.Optional[torch.IntTensor] = Noneoutput_router_logits: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0mm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → MoeCausalLMOutputWithPast or tuple(torch.Tensor)

パラメータ

input_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、省略可) — 語彙における入力シーケンスのトークンインデックスです。デフォルトではパディングは無視されます。
インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。

入力IDとは何ですか？
attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
- マスクされていないトークンに対して1
- マスクされたトークンに対しては 0 です。
アテンションマスクとは?
position_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、任意) — 各入力シーケンスのトークンが位置埋め込み内で占める位置のインデックス。範囲 [0, config.n_positions - 1].
ポジションIDとは?
past_key_values (~cache_utils.Cache, 省略可) — 逐次デコードを高速化するために使用できる、事前計算された隠れ状態(自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー)。通常、これはデコードの以前の段階でモデルが返した past_key_values であり、 use_cache=True または config.use_cache=True.
入力として許可されるのは Cache インスタンスのみです。kv cache ガイドを参照してください。 past_key_values が渡されない場合、デフォルトで DynamicCache が初期化されます。

モデルは、入力として与えられたのと同じキャッシュ形式を出力します。

past_key_values を使用する場合、すべての input_ids（形状 (batch_size, sequence_length)）ではなく、このモデルに過去のキー・バリュー状態が与えられていない未処理の input_ids（形状 (batch_size, unprocessed_length)）のみを入力することになります。
inputs_embeds (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — input_ids を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込み参照行列よりも、input_ids のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。
labels (torch.LongTensor、shape (batch_size, sequence_length)、任意) — マスク言語モデリング損失を計算するためのラベルです。インデックスは [0, ..., config.vocab_size] の範囲内であるか、-100 である必要があります（input_ids の docstring を参照）。インデックスが -100 に設定されたトークンは無視（マスク）され、損失は [0, ..., config.vocab_size] の範囲内のラベルを持つトークンに対してのみ計算されます。
pixel_values (torch.Tensor、形状 (batch_size, num_channels, image_size, image_size)、任意) — 入力画像に対応するテンソルです。ピクセル値は Qwen2VLImageProcessor を使用して取得できます。詳細は Qwen2VLImageProcessor.call() を参照してください（Qwen3VLProcessor は画像の処理に Qwen2VLImageProcessor を使用します）。
pixel_values_videos (torch.Tensor、形状 (batch_size, num_frames, num_channels, frame_size, frame_size)、任意) — 入力動画に対応するテンソルです。動画のピクセル値は、Qwen3VLVideoProcessor を使用して取得できます。詳細については、Qwen3VLVideoProcessor.call() を参照してください（Qwen3VLProcessor は動画の処理に Qwen3VLVideoProcessor を使用します）。
image_grid_thw (torch.LongTensor、形状 (num_images, 3)、任意) — LLM における各画像のフィーチャー形状の時間軸、高さ、幅です。
video_grid_thw (torch.LongTensor、形状 (num_videos, 3)、任意) — LLM における各動画のフィーチャー形状の時間軸、高さ、幅です。
mm_token_type_ids (torch.IntTensor、形状 (batch_size, sequence_length)、任意) — 各モダリティに一致する入力シーケンスのトークンインデックスです。例えば、テキスト (0)、画像 (1)、動画 (2) などです。マルチモーダルなトークンタイプIDは、AutoProcessor を使用して取得できます。詳細は ProcessorMixin.call() を参照してください。
output_router_logits (bool, 省略可) — すべてのルーターの logits を返すかどうか。ルーター損失の計算に有用ですが、推論時には返すべきではありません。
logits_to_keep (Union[int, torch.Tensor]、省略可、デフォルトは 0) — int の場合、最後の logits_to_keep トークンについて logits を計算します。0 の場合、すべての input_ids について logits を計算します（特殊ケース）。生成には最後のトークンの logits だけで十分であり、そのトークンのみについて計算することでメモリを節約できます。これは、長いシーケンスや大規模な語彙サイズの場合に特に顕著な効果があります。 torch.Tensor の場合、シーケンス長次元で保持するインデックスに対応する 1 次元テンソルである必要があります。これは、パックされたテンソル形式（バッチとシーケンス長を単一の次元にまとめた形式）を使用する場合に有用です。
mm_encoder_outputs (dict[str, ~modeling_outputs.BaseModelOutputWithPooling], 省略可) — キーがサポートされているモダリティ、値がそのモダリティのエンコード済み出力である辞書。各エンコード済み出力は、(pooler_output, 省略可: last_hidden_states, 省略可: hidden_states, 省略可: attentions) pooler_output (形状 (batch_size, sequence_length, hidden_size), 省略可) からなるタプルです。pooler_output は、エンコーダーのマルチモーダル特徴量をテキスト埋め込みにマージしたシーケンスです。

戻り値

MoeCausalLMOutputWithPast または tuple(torch.Tensor)

Qwen4ExpForConditionalGenerationのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 言語モデリングの損失(次のトークンの予測用)。
logits (torch.Tensor、形状 (batch_size, sequence_length, config.vocab_size)) — 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。
aux_loss (torch.Tensor、任意、output_router_logits=True が渡された場合、または config.output_router_logits=True かつモデルがロードバランシング損失でルーターを学習する場合に返されます) — スパースモジュールのロードバランシング補助損失。ルーターバイアスでエキスパートをバランスさせるモデル（DeepSeek-V3 とそこから派生したアーキテクチャ）は、router_logits を返しながらも、ここでは None を返します。
router_logits (tuple(torch.Tensor)、optional、output_router_logits=True が渡された場合または config.output_router_logits=True の場合に返されます) — torch.Tensor のタプル（スパース層ごとに1つ）、形状は (batch_size * sequence_length, num_experts)。

MoEルーターによって計算される生のルーターロジットです。ロードバランシング損失の計算や、トークンがどのようにエキスパートにディスパッチされるかの確認に使用できます。
past_key_values (Cache、任意、use_cache=True が渡された場合または config.use_cache=True の場合に返されます) — Cache のインスタンスです。詳細については、kv cache ガイドを参照してください。

逐次デコーディングを高速化するために使用できる（past_key_values 入力参照）、事前計算済みの隠れ状態（自己注意ブロックのキーとバリュー）が含まれます。
hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

例:

>>> from transformers import AutoProcessor, Qwen4ExpForConditionalGeneration

>>> model = Qwen4ExpForConditionalGeneration.from_pretrained("Qwen/Qwen3.5-35B-A3B-Instruct", dtype="auto", device_map="auto")
>>> processor = AutoProcessor.from_pretrained("Qwen/Qwen3.5-35B-A3B-Instruct")

>>> messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/images/qwen_vl_demo.jpeg",
            },
            {"type": "text", "text": "Describe this image in short."},
        ],
    }
]

>>> # Preparation for inference
>>> inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt"
)
>>> inputs = inputs.to(model.device)

>>> # Generate
>>> generated_ids = model.generate(**inputs, max_new_tokens=128)
>>> generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
>>> processor.batch_decode(generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"A woman in a plaid shirt sits on a sandy beach at sunset, smiling as she gives a high-five to a yellow Labrador Retriever wearing a harness. The ocean waves roll in the background."

Update on GitHub

←Qwen3Next RAG→