# XLNet

## Resumen

El modelo XLNet se propuso en [XLNet: Generalized Autoregressive Pretraining for Language Understanding](https://huggingface.co/papers/1906.08237) de Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov y Quoc V. Le. XLnet es una extensión del modelo Transformer-XL que se pre-entrena mediante un método autoregresivo para aprender contextos bidireccionales maximizando la verosimilitud esperada sobre todas las permutaciones del orden de factorización de la secuencia de entrada.

El resumen del artículo es el siguiente:

*Con la capacidad de modelar contextos bidireccionales, el preentrenamiento basado en autoencoding de desruido, como BERT, logra un mejor rendimiento que los enfoques de preentrenamiento basados en modelado de lenguaje autoregresivo. Sin embargo, al depender de la corrupción de la entrada con máscaras, BERT ignora la dependencia entre las posiciones enmascaradas y sufre de una discrepancia entre el preentrenamiento y el ajuste fino. A la luz de estas ventajas y desventajas, proponemos XLNet, un método generalizado de preentrenamiento autoregresivo que (1) permite aprender contextos bidireccionales maximizando la verosimilitud esperada sobre todas las permutaciones del orden de factorización y (2) supera las limitaciones de BERT gracias a su formulación autoregresiva. Además, XLNet integra ideas de Transformer-XL, el modelo autoregresivo más avanzado, en el preentrenamiento. Empíricamente, bajo configuraciones de experimentos comparables, XLNet supera a BERT en 20 tareas, a menudo por un amplio margen, incluyendo respuesta a preguntas, inferencia de lenguaje natural, análisis de sentimiento y clasificación de documentos.*

Este modelo fue aportado por [thomwolf](https://huggingface.co/thomwolf). El código original se puede encontrar [aquí](https://github.com/zihangdai/xlnet/).

## Consejos de uso

- El patrón de atención específico se puede controlar durante el entrenamiento y la prueba mediante la entrada `perm_mask`.
- Debido a la dificultad de entrenar un modelo completamente auto-regresivo sobre varios órdenes de factorización, XLNet se preentrena utilizando solo un subconjunto de los tokens de salida como objetivo, seleccionados mediante la entrada `target_mapping`.
- Para usar XLNet para decodificación secuencial (es decir, no en una configuración totalmente bidireccional), use las entradas `perm_mask` y `target_mapping` para controlar el alcance de la atención y las salidas
- XLNet es uno de los pocos modelos que no tiene un límite de longitud de secuencia.
- XLNet no es un modelo autorregresivo tradicional, sino que utiliza una estrategia de entrenamiento que se basa en ese concepto. Permuta los tokens de la oración y luego permite que el modelo utilice los últimos n tokens para predecir el token n+1. Dado que todo esto se realiza con una máscara, la oración se introduce en el modelo en el orden correcto, pero en lugar de enmascarar los primeros n tokens para n+1, XLNet utiliza una máscara que oculta los tokens anteriores según alguna permutación dada de 1,…,longitud de la secuencia.
- XLNet también utiliza el mismo mecanismo de recurrencia que Transformer-XL para construir dependencias a largo plazo.

## Recursos

- [Guía de la tarea de clasificación de texto](../tasks/sequence_classification)
- [Guía de la tarea de clasificación de tokens](../tasks/token_classification)
- [Guía de la tarea de respuesta a preguntas](../tasks/question_answering)
- [Guía de la tarea de modelado de lenguaje causal](../tasks/language_modeling)
- [Guía de tareas de selección múltiple](../tasks/multiple_choice)

## XLNetConfig[[transformers.XLNetConfig]]

#### transformers.XLNetConfig[[transformers.XLNetConfig]]

```python
transformers.XLNetConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 32000, d_model: int = 1024, n_layer: int = 24, n_head: int = 16, d_inner: int = 4096, d_head: int | None = None, ff_activation: str = 'gelu', attn_type: str = 'bi', initializer_range: float = 0.02, layer_norm_eps: float = 1e-12, dropout: float | int = 0.1, mem_len: int | None = 512, reuse_len: int | None = None, use_mems_eval: bool = True, use_mems_train: bool = False, bi_data: bool = False, clamp_len: int = -1, same_length: bool = False, summary_type: str = 'last', summary_use_proj: bool = True, summary_activation: str = 'tanh', summary_last_dropout: float | int = 0.1, start_n_top: int = 5, end_n_top: int = 5, pad_token_id: int | None = 5, bos_token_id: int | None = 1, eos_token_id: int | list[int] | None = 2, tie_word_embeddings: bool = True)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/configuration_xlnet.py#L28)

**Parámetros:**

vocab_size (`int`, *opcional*, valor predeterminado `32000`) : Tamaño del vocabulario del modelo. Define el número de tokens diferentes que pueden representarse mediante `input_ids`.

d_model (`int`, *opcional*, valor predeterminado `1024`) : Tamaño de las capas del codificador y de la capa pooler.

n_layer (`int`, *opcional*, valor predeterminado `24`) : Número de capas ocultas en el decodificador del Transformer.

n_head (`int`, *opcional*, valor predeterminado `16`) : Número de cabezas de atención para cada capa de atención en el decodificador del Transformer.

d_inner (`int`, *opcional*, valor predeterminado `4096`) : Dimensión de las representaciones MLP.

d_head (`int`, *opcional*) : La dimensión de la cabeza de atención. Si es None, se establecerá en hidden_size // num_attention_heads

ff_activation (`str` o `Callable`, *opcional*, valor predeterminado `"gelu"`) : La función de activación no lineal (función o cadena de caracteres). Si es una cadena de caracteres, se admiten `"gelu"`, `"relu"`, `"silu"` y `"gelu_new"`.

attn_type (`str`, *opcional*, valor predeterminado `"bi"`) : El tipo de atención utilizado por el modelo. Establezca `"bi"` para XLNet y `"uni"` para Transformer-XL.

initializer_range (`float`, *opcional*, valor predeterminado `0.02`) : La desviación estándar de truncated_normal_initializer para inicializar todas las matrices de pesos.

layer_norm_eps (`float`, *opcional*, valor predeterminado `1e-12`) : El epsilon utilizado por las capas de normalización de capas.

dropout (`Union[float, int]`, *opcional*, valor predeterminado `0.1`) : La proporción para todas las capas de dropout.

mem_len (`int` o `None`, *opcional*) : El número de tokens para cachear. Las parejas clave/valor que ya se hayan precalculado en una pasada anterior no se volverán a calcular. Consulte la [guía de inicio rápido](https://huggingface.co/transformers/quickstart.html#using-the-past) para obtener más información.

reuse_len (`int`, *opcional*) : El número de tokens del lote actual que se almacenarán en caché y se reutilizarán en el futuro.

use_mems_eval (`bool`, *opcional*, valor predeterminado `True`) : Indica si el modelo debe utilizar el mecanismo de memoria recurrente en modo de evaluación.

use_mems_train (`bool`, *opcional*, valor predeterminado `False`) : Indica si el modelo debe utilizar el mecanismo de memoria recurrente en modo de entrenamiento. Para el preentrenamiento, se recomienda establecer `use_mems_train` en `True`. Para el ajuste fino, se recomienda establecer `use_mems_train` en `False`, como se discutió [aquí](https://github.com/zihangdai/xlnet/issues/41#issuecomment-505102587). Si `use_mems_train` se establece en `True`, es necesario asegurarse de que los lotes de entrenamiento se preprocesen correctamente, *por ejemplo* `batch_1 = [[This line is], [This is the]]` y `batch_2 = [[ the first line], [ second line]]`, y de que todos los lotes tengan el mismo tamaño.

bi_data (`bool`, *opcional*, valor predeterminado `False`) : Indica si se debe utilizar o no una canalización de entrada bidireccional. Generalmente se establece en `True` durante el preentrenamiento y en `False` durante el ajuste fino.

clamp_len (`int`, *opcional*, valor predeterminado -1) : Limita todas las distancias relativas mayores que clamp_len. Establecer este atributo en -1 significa que no se aplica ninguna limitación.

same_length (`bool`, *opcional*, valor predeterminado `False`) : Indica si se debe utilizar la misma longitud de atención para cada token.

summary_type (`str`, *opcional*, valor predeterminado "last") : Argumento utilizado al realizar el resumen de la secuencia. Se usa en los modelos de clasificación de secuencias y de selección múltiple. Debe ser una de las siguientes opciones: - `"last"`: Toma el estado oculto del último token (como en XLNet). - `"first"`: Toma el estado oculto del primer token (como en BERT). - `"mean"`: Toma la media de los estados ocultos de todos los tokens. - `"cls_index"`: Proporcione un Tensor con la posición del token de clasificación (como en GPT/GPT-2). - `"attn"`: No implementado actualmente, usa atención multi-cabeza.

summary_use_proj (`bool`, *opcional*, valor predeterminado `True`) : Argumento utilizado al realizar un resumen de secuencia. Se usa en los modelos de clasificación de secuencias y de selección múltiple. Indica si se debe o no añadir una proyección después de la extracción del vector.

summary_activation (`str`, *opcional*) : Argumento utilizado al realizar un resumen de secuencia. Se usa en los modelos de clasificación de secuencias y de selección múltiple. Pasa `"tanh"` para aplicar una activación tanh a la salida; cualquier otro valor resultará en que no se aplique ninguna activación.

summary_last_dropout (`float`, *opcional*, valor predeterminado 0.1) : Se utiliza en los modelos de clasificación de secuencias y de selección múltiple. La proporción de dropout que se aplicará después de la proyección y la activación.

start_n_top (`int`, *opcional*, valor predeterminado 5) : Se utiliza en el script de evaluación de SQuAD.

end_n_top (`int`, *opcional*, valor predeterminado 5) : Se utiliza en el script de evaluación de SQuAD.

pad_token_id (`int`, *opcional*, valor predeterminado `5`) : Id de token utilizado para el relleno en el vocabulario.

bos_token_id (`int`, *opcional*, valor predeterminado `1`) : Identificador de token utilizado para el inicio de la secuencia en el vocabulario.

eos_token_id (`Union[int, list[int]]`, *opcional*, valor predeterminado `2`) : Identificador de token utilizado para el fin de la secuencia en el vocabulario.

tie_word_embeddings (`bool`, *opcional*, valor predeterminado `True`) : Indica si se deben vincular las incrustaciones de pesos según el mapeo `tied_weights_keys` del modelo.

Esta es la clase de configuración para almacenar la configuración de un XLNetModel. Se utiliza para instanciar un modelo Xlnet según los argumentos especificados, definiendo la arquitectura del modelo. Instanciar una configuración con los valores predeterminados producirá una configuración similar a la de [xlnet/xlnet-large-cased](https://huggingface.co/xlnet/xlnet-large-cased)

Los objetos de configuración heredan de [PreTrainedConfig](/docs/transformers/v5.23.0/es/main_classes/configuration#transformers.PreTrainedConfig) y se pueden utilizar para controlar las salidas del modelo. Consulte la documentación de [PreTrainedConfig](/docs/transformers/v5.23.0/es/main_classes/configuration#transformers.PreTrainedConfig) para obtener más información.

Ejemplos:

```python
>>> from transformers import XLNetConfig, XLNetModel

>>> # Initializing a XLNet configuration
>>> configuration = XLNetConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = XLNetModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## XLNetTokenizer[[transformers.XLNetTokenizer]]

#### transformers.XLNetTokenizer[[transformers.XLNetTokenizer]]

```python
transformers.XLNetTokenizer(vocab: str | list[tuple[str, float]] | None = None, unk_id: int = 0, do_lower_case = False, remove_space = True, keep_accents = False, bos_token = '<s>', eos_token = '</s>', unk_token = '<unk>', sep_token = '<sep>', pad_token = '<pad>', cls_token = '<cls>', mask_token = '<mask>', _spm_precompiled_charsmap = None, additional_special_tokens = None, **kwargs)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/tokenization_xlnet.py#L38)

**Parámetros:**

vocab (`list of tuples`, *opcional*) : Lista de tuplas (token, score) para el modelo Unigram. Si no se proporciona, se utiliza una lista vacía.

unk_id (`int`, *opcional*, valor predeterminado 0) : El ID del token desconocido en el vocabulario.

do_lower_case (`bool`, *opcional*, valor predeterminado `False`) : Indica si se debe convertir la entrada en minúsculas al tokenizar.

remove_space (`bool`, *opcional*, valor predeterminado `True`) : Indica si se debe eliminar el texto al tokenizar (quitar espacios sobrantes antes y después de la cadena).

keep_accents (`bool`, *opcional*, valor predeterminado `False`) : Indica si se deben conservar los acentos al tokenizar.

bos_token (`str`, *opcional*, valor predeterminado `"<s>"`) : El token de inicio de secuencia que se utilizó durante el preentrenamiento. Puede usarse como token de clasificador de secuencias. Al construir una secuencia con tokens especiales, este no es el token que se utiliza para el inicio de la secuencia. El token que se utiliza es `cls_token`.

eos_token (`str`, *opcional*, valor predeterminado `"</s>"`) : El token de fin de secuencia. Al construir una secuencia con tokens especiales, este no es el token que se utiliza para el fin de secuencia. El token que se utiliza es `sep_token`.

unk_token (`str`, *opcional*, valor predeterminado `"<unk>"`) : El token desconocido. Un token que no está en el vocabulario no se puede convertir en un ID y se establece como este token en su lugar.

sep_token (`str`, *opcional*, valor predeterminado `"<sep>"`) : El token separador, que se utiliza al construir una secuencia a partir de varias secuencias, por ejemplo, dos secuencias para la clasificación de secuencias o un texto y una pregunta para la respuesta a preguntas. También se utiliza como el último token de una secuencia construida con tokens especiales.

pad_token (`str`, *opcional*, valor predeterminado `"<pad>"`) : El token utilizado para el relleno, por ejemplo, al agrupar secuencias de diferentes longitudes.

cls_token (`str`, *opcional*, valor predeterminado `"<cls>"`) : El token clasificador que se utiliza al realizar clasificación de secuencias (clasificación de la secuencia completa en lugar de clasificación por token). Es el primer token de la secuencia cuando se construye con tokens especiales.

mask_token (`str`, *opcional*, valor predeterminado `"<mask>"`) : El token utilizado para enmascarar valores. Este es el token que se emplea al entrenar este modelo con modelado de lenguaje enmascarado. Es el token que el modelo intentará predecir.

additional_special_tokens (`list[str]`, *opcional*, valor predeterminado `["<eop>", "<eod>"]`) : Tokens especiales adicionales utilizados por el tokenizador.

Construye un tokenizador de XLNet (respaldado por la biblioteca *tokenizers* de HuggingFace). Basado en [Unigram](https://huggingface.co/docs/tokenizers/python/latest/components.html?highlight=unigram#models).

Este tokenizador hereda de [TokenizersBackend](/docs/transformers/v5.23.0/es/main_classes/tokenizer#transformers.TokenizersBackend), que contiene la mayoría de los métodos principales. Los usuarios deben consultar esta superclase para obtener más información sobre dichos métodos.

#### get_special_tokens_mask[[transformers.XLNetTokenizer.get_special_tokens_mask]]

```python
get_special_tokens_mask(token_ids_0: list[int], token_ids_1: list[int] | None = None, already_has_special_tokens: bool = False)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L1337)

**Parámetros:**

token_ids_0 : Lista de IDs de la secuencia (posiblemente ya formateada).

token_ids_1 : No se utiliza cuando `already_has_special_tokens=True`. En ese caso, debe ser None.

already_has_special_tokens : Si la secuencia ya está formateada con tokens especiales.

**Devuelve:** Una lista de enteros en el rango [0, 1]

1 para un token especial, 0 para un token de secuencia.

Obtener los ids de secuencia de una lista de tokens a la que no se le han añadido tokens especiales.

Para los tokenizadores rápidos, los collators de datos llaman a esta función con `already_has_special_tokens=True` para construir una máscara sobre una secuencia ya formateada. En ese caso, calculamos la máscara comprobando la pertenencia a `all_special_ids`.

#### save_vocabulary[[transformers.XLNetTokenizer.save_vocabulary]]

```python
save_vocabulary(save_directory: str, filename_prefix: str | None = None)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_tokenizers.py#L547)

## Salidas específicas de XLNet[[transformers.models.xlnet.modeling_xlnet.XLNetModelOutput]]

#### transformers.models.xlnet.modeling_xlnet.XLNetModelOutput[[transformers.models.xlnet.modeling_xlnet.XLNetModelOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetModelOutput(last_hidden_state: Tensor, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L659)

**Parámetros:**

last_hidden_state (`torch.Tensor` de forma `(batch_size, num_predict, hidden_size)`) : Secuencia de estados ocultos en la última capa del modelo. `num_predict` corresponde a `target_mapping.shape[1]`. Si `target_mapping` es `None`, entonces `num_predict` corresponde a `sequence_length`.

mems (`list[torch.Tensor]` de longitud `config.n_layers`) : Contiene hidden-states precalculados. Se puede utilizar (ver la entrada `mems`) para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids`, ya que ya se han calculado.

hidden_states (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (uno para la salida de los embeddings, si el modelo tiene una capa de embedding, + uno para la salida de cada capa) de forma `(batch_size, sequence_length, hidden_size)`. Estados ocultos del modelo en la salida de cada capa más las salidas de embedding iniciales opcionales.

attentions (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) : Tupla de `torch.Tensor` (uno por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`. Pesos de atención después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

Tipo de salida de [XLNetModel](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetModel).

#### transformers.models.xlnet.modeling_xlnet.XLNetLMHeadModelOutput[[transformers.models.xlnet.modeling_xlnet.XLNetLMHeadModelOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetLMHeadModelOutput(loss: typing.Optional[torch.Tensor] = None, logits: typing.Optional[torch.Tensor] = None, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L684)

**Parámetros:**

loss (`torch.Tensor` de forma *(1,)*, *opcional*, devuelto cuando se proporciona `labels`) : Pérdida de modelado de lenguaje (para la predicción del siguiente token).

logits (`torch.Tensor` de forma `(batch_size, num_predict, config.vocab_size)`) : Puntuaciones de predicción de la cabeza de modelado de lenguaje (puntuaciones para cada token del vocabulario antes del SoftMax). `num_predict` corresponde a `target_mapping.shape[1]`. Si `target_mapping` es `None`, entonces `num_predict` corresponde a `sequence_length`.

mems (`list[torch.Tensor]` de longitud `config.n_layers`) : Contiene hidden-states precalculados. Se puede utilizar (ver la entrada `mems`) para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids`, ya que ya se han calculado.

hidden_states (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (uno para la salida de los embeddings, si el modelo tiene una capa de embedding, + uno para la salida de cada capa) de forma `(batch_size, sequence_length, hidden_size)`. Estados ocultos del modelo en la salida de cada capa más las salidas de embedding iniciales opcionales.

attentions (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) : Tupla de `torch.Tensor` (uno por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`. Pesos de atención después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

Tipo de salida de [XLNetLMHeadModel](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetLMHeadModel).

#### transformers.models.xlnet.modeling_xlnet.XLNetForSequenceClassificationOutput[[transformers.models.xlnet.modeling_xlnet.XLNetForSequenceClassificationOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetForSequenceClassificationOutput(loss: typing.Optional[torch.Tensor] = None, logits: typing.Optional[torch.Tensor] = None, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L712)

**Parámetros:**

loss (`torch.Tensor` de forma `(1,)`, *opcional*, devuelto cuando se proporciona `label`) : Pérdida de clasificación (o de regresión si config.num_labels==1).

logits (`torch.Tensor` de forma `(batch_size, config.num_labels)`) : Puntuaciones de clasificación (o de regresión si config.num_labels==1) (antes de SoftMax).

mems (`list[torch.Tensor]` de longitud `config.n_layers`) : Contiene hidden-states precalculados. Se puede utilizar (ver la entrada `mems`) para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids`, ya que ya se han calculado.

hidden_states (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (uno para la salida de los embeddings, si el modelo tiene una capa de embedding, + uno para la salida de cada capa) de forma `(batch_size, sequence_length, hidden_size)`. Estados ocultos del modelo en la salida de cada capa más las salidas de embedding iniciales opcionales.

attentions (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) : Tupla de `torch.Tensor` (uno por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`. Pesos de atención después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

Tipo de salida de [XLNetForSequenceClassification](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetForSequenceClassification).

#### transformers.models.xlnet.modeling_xlnet.XLNetForMultipleChoiceOutput[[transformers.models.xlnet.modeling_xlnet.XLNetForMultipleChoiceOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetForMultipleChoiceOutput(loss: typing.Optional[torch.Tensor] = None, logits: typing.Optional[torch.Tensor] = None, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L762)

**Parámetros:**

loss (`torch.Tensor` de forma *(1,)*, *opcional*, devuelto cuando se proporciona `labels`) : Pérdida de clasificación.

logits (`torch.Tensor` de forma `(batch_size, num_choices)`) : *num_choices* es la segunda dimensión de los tensores de entrada. (ver *input_ids* arriba). Puntuaciones de clasificación (antes de SoftMax).

mems (`list[torch.Tensor]` de longitud `config.n_layers`) : Contiene hidden-states precalculados. Se puede utilizar (ver la entrada `mems`) para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids`, ya que ya se han calculado.

hidden_states (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (uno para la salida de los embeddings, si el modelo tiene una capa de embedding, + uno para la salida de cada capa) de forma `(batch_size, sequence_length, hidden_size)`. Estados ocultos del modelo en la salida de cada capa más las salidas de embedding iniciales opcionales.

attentions (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) : Tupla de `torch.Tensor` (uno por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`. Pesos de atención después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

Tipo de salida de [XLNetForMultipleChoice](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetForMultipleChoice).

#### transformers.models.xlnet.modeling_xlnet.XLNetForTokenClassificationOutput[[transformers.models.xlnet.modeling_xlnet.XLNetForTokenClassificationOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetForTokenClassificationOutput(loss: typing.Optional[torch.Tensor] = None, logits: typing.Optional[torch.Tensor] = None, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L737)

**Parámetros:**

loss (`torch.Tensor` de forma `(1,)`, *opcional*, devuelto cuando se proporciona `labels`) : Pérdida de clasificación.

logits (`torch.Tensor` de forma `(batch_size, sequence_length, config.num_labels)`) : Puntuaciones de clasificación (antes de SoftMax).

mems (`list[torch.Tensor]` de longitud `config.n_layers`) : Contiene hidden-states precalculados. Se puede utilizar (ver la entrada `mems`) para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids`, ya que ya se han calculado.

hidden_states (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (uno para la salida de los embeddings, si el modelo tiene una capa de embedding, + uno para la salida de cada capa) de forma `(batch_size, sequence_length, hidden_size)`. Estados ocultos del modelo en la salida de cada capa más las salidas de embedding iniciales opcionales.

attentions (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) : Tupla de `torch.Tensor` (uno por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`. Pesos de atención después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

Tipo de salida de `XLNetForTokenClassificationOutput`.

#### transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringSimpleOutput[[transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringSimpleOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringSimpleOutput(loss: typing.Optional[torch.Tensor] = None, start_logits: typing.Optional[torch.Tensor] = None, end_logits: typing.Optional[torch.Tensor] = None, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L789)

**Parámetros:**

loss (`torch.Tensor` de forma `(1,)`, *opcional*, devuelto cuando se proporciona `labels`) : La pérdida total de extracción de tramos es la suma de una Entropía Cruzada para las posiciones de inicio y fin.

start_logits (`torch.Tensor` de forma `(batch_size, sequence_length,)`) : Puntuaciones de inicio de tramo (antes de SoftMax).

end_logits (`torch.Tensor` de forma `(batch_size, sequence_length,)`) : Puntuaciones de fin de tramo (antes de SoftMax).

mems (`list[torch.Tensor]` de longitud `config.n_layers`) : Contiene hidden-states precalculados. Se puede utilizar (ver la entrada `mems`) para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids`, ya que ya se han calculado.

hidden_states (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (uno para la salida de los embeddings, si el modelo tiene una capa de embedding, + uno para la salida de cada capa) de forma `(batch_size, sequence_length, hidden_size)`. Estados ocultos del modelo en la salida de cada capa más las salidas de embedding iniciales opcionales.

attentions (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) : Tupla de `torch.Tensor` (uno por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`. Pesos de atención después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

Tipo de salida de [XLNetForQuestionAnsweringSimple](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetForQuestionAnsweringSimple).

#### transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringOutput[[transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringOutput]]

```python
transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringOutput(loss: typing.Optional[torch.Tensor] = None, start_top_log_probs: typing.Optional[torch.Tensor] = None, start_top_index: typing.Optional[torch.LongTensor] = None, end_top_log_probs: typing.Optional[torch.Tensor] = None, end_top_index: typing.Optional[torch.LongTensor] = None, cls_logits: typing.Optional[torch.Tensor] = None, mems: list[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L817)

**Parámetros:**

loss (`torch.Tensor` de forma `(1,)`, *opcional*, se devuelve si se proporcionan tanto `start_positions` como `end_positions`) : Pérdida de clasificación como la suma de las pérdidas de clasificación del token de inicio, del token de finalización (y de is_impossible, si se proporciona).

start_top_log_probs (`torch.Tensor` de forma `(batch_size, config.start_n_top)`, *opcional*, devuelto si `start_positions` o `end_positions` no se proporcionan) : Probabilidades logarítmicas para las config.start_n_top posibilidades de inicio de token más probables (búsqueda por haz).

start_top_index (`torch.LongTensor` de forma `(batch_size, config.start_n_top)`, *opcional*, se devuelve si no se proporciona `start_positions` o `end_positions`) : Índices para las config.start_n_top posibilidades de tokens de inicio (búsqueda por haz).

end_top_log_probs (`torch.Tensor` de forma `(batch_size, config.start_n_top * config.end_n_top)`, *opcional*, se devuelve si `start_positions` o `end_positions` no se proporcionan) : Probabilidades logarítmicas para las `config.start_n_top * config.end_n_top` posibilidades de tokens finales (búsqueda por haz).

end_top_index (`torch.LongTensor` de forma `(batch_size, config.start_n_top * config.end_n_top)`, *opcional*, se devuelve si `start_positions` o `end_positions` no se proporcionan) : Índices para las `config.start_n_top * config.end_n_top` posibilidades de tokens finales (búsqueda por haz).

cls_logits (`torch.Tensor` de forma `(batch_size,)`, *opcional*, se devuelve si `start_positions` o `end_positions` no se proporcionan) : Probabilidades logarítmicas para la etiqueta `is_impossible` de las respuestas.

mems (`list[torch.Tensor]` de longitud `config.n_layers`) : Contiene hidden-states precalculados. Se puede utilizar (ver la entrada `mems`) para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids`, ya que ya se han calculado.

hidden_states (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (uno para la salida de los embeddings, si el modelo tiene una capa de embedding, + uno para la salida de cada capa) de forma `(batch_size, sequence_length, hidden_size)`. Estados ocultos del modelo en la salida de cada capa más las salidas de embedding iniciales opcionales.

attentions (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) : Tupla de `torch.Tensor` (uno por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`. Pesos de atención después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

Tipo de salida de [XLNetForQuestionAnswering](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetForQuestionAnswering).

## XLNetModel[[transformers.XLNetModel]]

#### transformers.XLNetModel[[transformers.XLNetModel]]

```python
transformers.XLNetModel(config: XLNetConfig)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L851)

**Parámetros:**

config ([XLNetConfig](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetConfig)) : Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método [from_pretrained()](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel.from_pretrained) para cargar los pesos del modelo.

El modelo Xlnet básico que genera estados ocultos sin ningún cabezal específico en la parte superior.

Este modelo hereda de [PreTrainedModel](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel). Consulte la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).

Este modelo también es una subclase de [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.

#### forward[[transformers.XLNetModel.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L976)

**Parámetros:**

input_ids (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Índices de los tokens de la secuencia de entrada en el vocabulario. El relleno se ignorará de forma predeterminada. Los índices se pueden obtener mediante [AutoTokenizer](/docs/transformers/v5.23.0/es/model_doc/auto#transformers.AutoTokenizer). Consulte [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/es/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) y [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/es/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) para obtener más detalles. [¿Qué son los IDs de entrada?](../glossary#input-ids)

attention_mask (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de la máscara seleccionados en `[0, 1]`:  - 1 para tokens que **no están enmascarados**, - 0 para tokens que **están enmascarados**.  [¿Qué son las máscaras de atención?](../glossary#attention-mask)

mems (`list[torch.Tensor]` de longitud `config.n_layers`) : Contiene hidden-states precalculados (ver la salida `mems` a continuación). Se puede usar para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids` ya que ya han sido calculados. `use_mems` debe establecerse en `True` para hacer uso de `mems`.

perm_mask (`torch.Tensor` de forma `(batch_size, sequence_length, sequence_length)`, *opcional*) : Máscara para indicar el patrón de atención de cada token de entrada, con valores seleccionados en `[0, 1]`:  - si `perm_mask[k, i, j] = 0`, i atiende a j en el lote k; - si `perm_mask[k, i, j] = 1`, i no atiende a j en el lote k.  Si no se establece, cada token atiende a todos los demás (atención bidireccional completa). Solo se utiliza durante el preentrenamiento (para definir el orden de factorización) o para la decodificación secuencial (generación).

target_mapping (`torch.Tensor` de forma `(batch_size, num_predict, sequence_length)`, *opcional*) : Máscara para indicar los tokens de salida a utilizar. Si `target_mapping[k, i, j] = 1`, la i-ésima predicción del lote k está en el j-ésimo token. Solo se utiliza durante el preentrenamiento para la predicción parcial o para la decodificación secuencial (generación).

token_type_ids (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Índices de tokens de segmento para indicar las primeras y segundas partes de las entradas. Los índices se seleccionan en `[0, 1]`:  - 0 corresponde a un token de *oración A*, - 1 corresponde a un token de *oración B*.  [¿Qué son los IDs de tipo de token?](../glossary#token-type-ids)

input_mask (`torch.Tensor` de forma `batch_size, sequence_length`, *opcional*) : Máscara para evitar realizar atención en los índices de tokens de relleno. Negativo de `attention_mask`, es decir, con 0 para tokens reales y 1 para relleno, lo cual se mantiene por compatibilidad con la base de código original. Valores de máscara seleccionados en `[0, 1]`: - 1 para tokens que están **enmascarados**, - 0 para tokens que no están **enmascarados**. Solo puede usar uno de `input_mask` y `attention_mask`.

inputs_embeds (`torch.Tensor` de forma `(batch_size, sequence_length, hidden_size)`, *opcional*) : Opcionalmente, en lugar de pasar `input_ids`, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices de `input_ids` en los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo.

use_mems (`bool`, *opcional*) : Indica si se deben usar estados de memoria para acelerar la decodificación secuencial. Si se establece en `True`, el modelo utilizará los estados ocultos de las pasadas hacia adelante anteriores para calcular la atención, lo que puede mejorar significativamente el rendimiento en tareas de decodificación secuencial.

output_attentions (`bool`, *opcional*) : Indica si se deben devolver los tensores de atención de todas las capas de atención. Consulte `attentions` en los tensores devueltos para obtener más detalles.

output_hidden_states (`bool`, *opcional*) : Indica si se deben devolver los estados ocultos de todas las capas. Consulte `hidden_states` en los tensores devueltos para obtener más detalles.

return_dict (`bool`, *opcional*) : Indica si se debe devolver un [ModelOutput](/docs/transformers/v5.23.0/es/main_classes/output#transformers.utils.ModelOutput) en lugar de una tupla simple.

**Devuelve:** [XLNetModelOutput](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetModelOutput) o `tuple(torch.Tensor)`

Un [XLNetModelOutput](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetModelOutput) o una tupla de `torch.Tensor` (si se pasa `return_dict=False` o cuando `config.return_dict=False`) que comprende varios elementos según la configuración ([XLNetConfig](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetConfig)) y las entradas.

El método forward de [XLNetModel](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetModel) sobrescribe el método especial `__call__`.

Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de `Module` después, en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de preprocesamiento y posprocesamiento, mientras que la segunda los ignora silenciosamente.

- **last_hidden_state** (`torch.Tensor` de forma `(batch_size, num_predict, hidden_size)`) -- Secuencia de estados ocultos en la última capa del modelo.

  `num_predict` corresponde a `target_mapping.shape[1]`. Si `target_mapping` es `None`, entonces `num_predict` corresponde a `sequence_length`.
- **mems** (`list[torch.Tensor]` de longitud `config.n_layers`) -- Contiene hidden-states precalculados. Se puede utilizar (ver entrada `mems`) para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids`, ya que ya se han calculado.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma `(batch_size, sequence_length, hidden_size)`.

  Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.
- **attentions** (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) -- Tupla de `torch.Tensor` (una por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`.

  Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

## XLNetLMHeadModel[[transformers.XLNetLMHeadModel]]

#### transformers.XLNetLMHeadModel[[transformers.XLNetLMHeadModel]]

```python
transformers.XLNetLMHeadModel(config: XLNetConfig)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1215)

**Parámetros:**

config ([XLNetConfig](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetConfig)) : Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método [from_pretrained()](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel.from_pretrained) para cargar los pesos del modelo.

Modelo XLNet con una cabeza de modelado de lenguaje en la parte superior (capa lineal con pesos vinculados a las incrustaciones de entrada).

Este modelo hereda de [PreTrainedModel](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel). Consulte la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).

Este modelo también es una subclase de [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.

#### forward[[transformers.XLNetLMHeadModel.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, logits_to_keep: typing.Union[int, torch.Tensor] = 0, **kwargs)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1290)

**Parámetros:**

input_ids (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Índices de los tokens de la secuencia de entrada en el vocabulario. El relleno se ignorará de forma predeterminada. Los índices se pueden obtener mediante [AutoTokenizer](/docs/transformers/v5.23.0/es/model_doc/auto#transformers.AutoTokenizer). Consulte [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/es/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) y [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/es/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) para obtener más detalles. [¿Qué son los IDs de entrada?](../glossary#input-ids)

attention_mask (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de la máscara seleccionados en `[0, 1]`:  - 1 para tokens que **no están enmascarados**, - 0 para tokens que **están enmascarados**.  [¿Qué son las máscaras de atención?](../glossary#attention-mask)

mems (`list[torch.Tensor]` de longitud `config.n_layers`) : Contiene hidden-states precalculados (ver la salida `mems` a continuación). Se puede usar para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids` ya que ya han sido calculados. `use_mems` debe establecerse en `True` para hacer uso de `mems`.

perm_mask (`torch.Tensor` de forma `(batch_size, sequence_length, sequence_length)`, *opcional*) : Máscara para indicar el patrón de atención de cada token de entrada, con valores seleccionados en `[0, 1]`:  - si `perm_mask[k, i, j] = 0`, i atiende a j en el lote k; - si `perm_mask[k, i, j] = 1`, i no atiende a j en el lote k.  Si no se establece, cada token atiende a todos los demás (atención bidireccional completa). Solo se utiliza durante el preentrenamiento (para definir el orden de factorización) o para la decodificación secuencial (generación).

target_mapping (`torch.Tensor` de forma `(batch_size, num_predict, sequence_length)`, *opcional*) : Máscara para indicar los tokens de salida a utilizar. Si `target_mapping[k, i, j] = 1`, la i-ésima predicción del lote k está en el j-ésimo token. Solo se utiliza durante el preentrenamiento para la predicción parcial o para la decodificación secuencial (generación).

token_type_ids (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Índices de tokens de segmento para indicar las primeras y segundas partes de las entradas. Los índices se seleccionan en `[0, 1]`:  - 0 corresponde a un token de *oración A*, - 1 corresponde a un token de *oración B*.  [¿Qué son los IDs de tipo de token?](../glossary#token-type-ids)

input_mask (`torch.Tensor` de forma `batch_size, sequence_length`, *opcional*) : Máscara para evitar realizar atención en los índices de tokens de relleno. Negativo de `attention_mask`, es decir, con 0 para tokens reales y 1 para relleno, lo cual se mantiene por compatibilidad con la base de código original. Valores de máscara seleccionados en `[0, 1]`: - 1 para tokens que están **enmascarados**, - 0 para tokens que no están **enmascarados**. Solo puede usar uno de `input_mask` y `attention_mask`.

inputs_embeds (`torch.Tensor` de forma `(batch_size, sequence_length, hidden_size)`, *opcional*) : Opcionalmente, en lugar de pasar `input_ids`, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices de `input_ids` en los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo.

labels (`torch.LongTensor` de forma `(batch_size, num_predict)`, *opcional*) : Etiquetas para el modelado de lenguaje enmascarado. `num_predict` corresponde a `target_mapping.shape[1]`. Si `target_mapping` es `None`, entonces `num_predict` corresponde a `sequence_length`. Las etiquetas deben corresponder a las palabras de entrada enmascaradas que deben predecirse y dependen de `target_mapping`. Tenga en cuenta que, para realizar un modelado de lenguaje auto-regresivo estándar, se debe añadir un token ** a `input_ids` (consulte la función `prepare_inputs_for_generation` y los ejemplos a continuación). Los índices se seleccionan en `[-100, 0, ..., config.vocab_size]`. Todas las etiquetas establecidas en `-100` se ignoran; la pérdida solo se calcula para las etiquetas en `[0, ..., config.vocab_size]`.

use_mems (`bool`, *opcional*) : Indica si se deben usar estados de memoria para acelerar la decodificación secuencial. Si se establece en `True`, el modelo utilizará los estados ocultos de las pasadas hacia adelante anteriores para calcular la atención, lo que puede mejorar significativamente el rendimiento en tareas de decodificación secuencial.

output_attentions (`bool`, *opcional*) : Indica si se deben devolver los tensores de atención de todas las capas de atención. Consulte `attentions` en los tensores devueltos para obtener más detalles.

output_hidden_states (`bool`, *opcional*) : Indica si se deben devolver los estados ocultos de todas las capas. Consulte `hidden_states` en los tensores devueltos para obtener más detalles.

return_dict (`bool`, *opcional*) : Indica si se debe devolver un [ModelOutput](/docs/transformers/v5.23.0/es/main_classes/output#transformers.utils.ModelOutput) en lugar de una tupla simple.

logits_to_keep (`Union[int, torch.Tensor]`, *opcional*, valor predeterminado `0`) : Si es un `int`, se calculan los logits para los últimos `logits_to_keep` tokens. Si es `0`, se calculan los logits para todos los `input_ids` (caso especial). Solo se necesitan los logits del último token para la generación, y calcularlos únicamente para ese token puede ahorrar memoria, lo cual se vuelve bastante significativo para secuencias largas o un tamaño de vocabulario grande. Si es un `torch.Tensor`, debe ser de 1D y corresponder a los índices a conservar en la dimensión de longitud de secuencia. Esto es útil al usar el formato de tensor empaquetado (una sola dimensión para el lote y la longitud de secuencia).

**Devuelve:** [XLNetLMHeadModelOutput](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetLMHeadModelOutput) o `tuple(torch.Tensor)`

Un [XLNetLMHeadModelOutput](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetLMHeadModelOutput) o una tupla de `torch.Tensor` (si se pasa `return_dict=False` o cuando `config.return_dict=False`) que comprende varios elementos según la configuración ([XLNetConfig](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetConfig)) y las entradas.

El método forward de [XLNetLMHeadModel](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetLMHeadModel) reemplaza el método especial `__call__`.

Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de `Module` después, en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de preprocesamiento y posprocesamiento, mientras que la segunda los ignora silenciosamente.

- **loss** (`torch.Tensor` de forma *(1,)*, *opcional*, se devuelve cuando se proporciona `labels`) -- Pérdida de modelado de lenguaje (para la predicción del siguiente token).
- **logits** (`torch.Tensor` de forma `(batch_size, num_predict, config.vocab_size)`) -- Puntuaciones de predicción de la cabeza de modelado de lenguaje (puntuaciones para cada token del vocabulario antes de SoftMax).

  `num_predict` corresponde a `target_mapping.shape[1]`. Si `target_mapping` es `None`, entonces `num_predict` corresponde a `sequence_length`.
- **mems** (`list[torch.Tensor]` de longitud `config.n_layers`) -- Contiene hidden-states precalculados. Se puede utilizar (ver entrada `mems`) para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids`, ya que ya se han calculado.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma `(batch_size, sequence_length, hidden_size)`.

  Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.
- **attentions** (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) -- Tupla de `torch.Tensor` (una por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`.

  Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

Ejemplos:

```python
>>> from transformers import AutoTokenizer, XLNetLMHeadModel
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-large-cased")
>>> model = XLNetLMHeadModel.from_pretrained("xlnet/xlnet-large-cased")

>>> # We show how to setup inputs to predict a next token using a bi-directional context.
>>> input_ids = torch.tensor(
...     tokenizer.encode("Hello, my dog is very <mask>", add_special_tokens=False)
... ).unsqueeze(
...     0
... )  # We will predict the masked token
>>> perm_mask = torch.zeros((1, input_ids.shape[1], input_ids.shape[1]), dtype=torch.float)
>>> perm_mask[:, :, -1] = 1.0  # Previous tokens don't see last token
>>> target_mapping = torch.zeros(
...     (1, 1, input_ids.shape[1]), dtype=torch.float
... )  # Shape [1, 1, seq_length] => let's predict one token
>>> target_mapping[
...     0, 0, -1
... ] = 1.0  # Our first (and only) prediction will be the last token of the sequence (the masked token)

>>> outputs = model(input_ids, perm_mask=perm_mask, target_mapping=target_mapping)
>>> next_token_logits = outputs[
...     0
... ]  # Output has shape [target_mapping.size(0), target_mapping.size(1), config.vocab_size]

>>> # The same way can the XLNetLMHeadModel be used to be trained by standard auto-regressive language modeling.
>>> input_ids = torch.tensor(
...     tokenizer.encode("Hello, my dog is very <mask>", add_special_tokens=False)
... ).unsqueeze(
...     0
... )  # We will predict the masked token
>>> labels = torch.tensor(tokenizer.encode("cute", add_special_tokens=False)).unsqueeze(0)
>>> assert labels.shape[0] == 1, "only one word will be predicted"
>>> perm_mask = torch.zeros((1, input_ids.shape[1], input_ids.shape[1]), dtype=torch.float)
>>> perm_mask[
...     :, :, -1
... ] = 1.0  # Previous tokens don't see last token as is done in standard auto-regressive lm training
>>> target_mapping = torch.zeros(
...     (1, 1, input_ids.shape[1]), dtype=torch.float
... )  # Shape [1, 1, seq_length] => let's predict one token
>>> target_mapping[
...     0, 0, -1
... ] = 1.0  # Our first (and only) prediction will be the last token of the sequence (the masked token)

>>> outputs = model(input_ids, perm_mask=perm_mask, target_mapping=target_mapping, labels=labels)
>>> loss = outputs.loss
>>> next_token_logits = (
...     outputs.logits
... )  # Logits have shape [target_mapping.size(0), target_mapping.size(1), config.vocab_size]
```

## XLNetForSequenceClassification[[transformers.XLNetForSequenceClassification]]

#### transformers.XLNetForSequenceClassification[[transformers.XLNetForSequenceClassification]]

```python
transformers.XLNetForSequenceClassification(config: XLNetConfig)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1462)

**Parámetros:**

config ([XLNetConfig](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetConfig)) : Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método [from_pretrained()](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel.from_pretrained) para cargar los pesos del modelo.

Modelo XLNet con una cabeza de clasificación/regresión de secuencias en la parte superior (una capa lineal sobre la salida agrupada), por ejemplo, para tareas GLUE.

Este modelo hereda de [PreTrainedModel](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel). Consulte la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).

Este modelo también es una subclase de [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.

#### forward[[transformers.XLNetForSequenceClassification.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1475)

**Parámetros:**

input_ids (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Índices de los tokens de la secuencia de entrada en el vocabulario. El relleno se ignorará de forma predeterminada. Los índices se pueden obtener mediante [AutoTokenizer](/docs/transformers/v5.23.0/es/model_doc/auto#transformers.AutoTokenizer). Consulte [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/es/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) y [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/es/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) para obtener más detalles. [¿Qué son los IDs de entrada?](../glossary#input-ids)

attention_mask (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de la máscara seleccionados en `[0, 1]`:  - 1 para tokens que **no están enmascarados**, - 0 para tokens que **están enmascarados**.  [¿Qué son las máscaras de atención?](../glossary#attention-mask)

mems (`list[torch.Tensor]` de longitud `config.n_layers`) : Contiene hidden-states precalculados (ver la salida `mems` a continuación). Se puede usar para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids` ya que ya han sido calculados. `use_mems` debe establecerse en `True` para hacer uso de `mems`.

perm_mask (`torch.Tensor` de forma `(batch_size, sequence_length, sequence_length)`, *opcional*) : Máscara para indicar el patrón de atención de cada token de entrada, con valores seleccionados en `[0, 1]`:  - si `perm_mask[k, i, j] = 0`, i atiende a j en el lote k; - si `perm_mask[k, i, j] = 1`, i no atiende a j en el lote k.  Si no se establece, cada token atiende a todos los demás (atención bidireccional completa). Solo se utiliza durante el preentrenamiento (para definir el orden de factorización) o para la decodificación secuencial (generación).

target_mapping (`torch.Tensor` de forma `(batch_size, num_predict, sequence_length)`, *opcional*) : Máscara para indicar los tokens de salida a utilizar. Si `target_mapping[k, i, j] = 1`, la i-ésima predicción del lote k está en el j-ésimo token. Solo se utiliza durante el preentrenamiento para la predicción parcial o para la decodificación secuencial (generación).

token_type_ids (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Índices de tokens de segmento para indicar las primeras y segundas partes de las entradas. Los índices se seleccionan en `[0, 1]`:  - 0 corresponde a un token de *oración A*, - 1 corresponde a un token de *oración B*.  [¿Qué son los IDs de tipo de token?](../glossary#token-type-ids)

input_mask (`torch.Tensor` de forma `batch_size, sequence_length`, *opcional*) : Máscara para evitar realizar atención en los índices de tokens de relleno. Negativo de `attention_mask`, es decir, con 0 para tokens reales y 1 para relleno, lo cual se mantiene por compatibilidad con la base de código original. Valores de máscara seleccionados en `[0, 1]`: - 1 para tokens que están **enmascarados**, - 0 para tokens que no están **enmascarados**. Solo puede usar uno de `input_mask` y `attention_mask`.

inputs_embeds (`torch.Tensor` de forma `(batch_size, sequence_length, hidden_size)`, *opcional*) : Opcionalmente, en lugar de pasar `input_ids`, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices de `input_ids` en los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo.

labels (`torch.LongTensor` de forma `(batch_size,)`, *opcional*) : Etiquetas para calcular la pérdida de clasificación/regresión de secuencia. Los índices deben estar en `[0, ..., config.num_labels - 1]`. Si `config.num_labels == 1` se calcula una pérdida de regresión (pérdida de error cuadrático medio), si `config.num_labels > 1` se calcula una pérdida de clasificación (entropía cruzada).

use_mems (`bool`, *opcional*) : Indica si se deben usar estados de memoria para acelerar la decodificación secuencial. Si se establece en `True`, el modelo utilizará los estados ocultos de las pasadas hacia adelante anteriores para calcular la atención, lo que puede mejorar significativamente el rendimiento en tareas de decodificación secuencial.

output_attentions (`bool`, *opcional*) : Indica si se deben devolver los tensores de atención de todas las capas de atención. Consulte `attentions` en los tensores devueltos para obtener más detalles.

output_hidden_states (`bool`, *opcional*) : Indica si se deben devolver los estados ocultos de todas las capas. Consulte `hidden_states` en los tensores devueltos para obtener más detalles.

return_dict (`bool`, *opcional*) : Indica si se debe devolver un [ModelOutput](/docs/transformers/v5.23.0/es/main_classes/output#transformers.utils.ModelOutput) en lugar de una tupla simple.

**Devuelve:** [XLNetForSequenceClassificationOutput](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForSequenceClassificationOutput) o `tuple(torch.Tensor)`

Un [XLNetForSequenceClassificationOutput](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForSequenceClassificationOutput) o una tupla de `torch.Tensor` (si se pasa `return_dict=False` o cuando `config.return_dict=False`) que comprende varios elementos según la configuración ([XLNetConfig](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetConfig)) y las entradas.

El método forward de [XLNetForSequenceClassification](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetForSequenceClassification) reemplaza el método especial `__call__`.

Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de `Module` después, en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de preprocesamiento y posprocesamiento, mientras que la segunda los ignora silenciosamente.

- **loss** (`torch.Tensor` de forma `(1,)`, *opcional*, se devuelve cuando se proporciona `label`) -- Pérdida de clasificación (o de regresión si config.num_labels==1).
- **logits** (`torch.Tensor` de forma `(batch_size, config.num_labels)`) -- Puntuaciones de clasificación (o de regresión si config.num_labels==1) (antes de SoftMax).
- **mems** (`list[torch.Tensor]` de longitud `config.n_layers`) -- Contiene hidden-states precalculados. Se puede utilizar (ver entrada `mems`) para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids`, ya que ya se han calculado.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma `(batch_size, sequence_length, hidden_size)`.

  Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.
- **attentions** (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) -- Tupla de `torch.Tensor` (una por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`.

  Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

Ejemplo de clasificación de una sola etiqueta:

```python
>>> import torch
>>> from transformers import AutoTokenizer, XLNetForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-large-cased")
>>> model = XLNetForSequenceClassification.from_pretrained("xlnet/xlnet-large-cased")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = XLNetForSequenceClassification.from_pretrained("xlnet/xlnet-large-cased", num_labels=num_labels)

>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...
```

Ejemplo de clasificación multietiqueta:

```python
>>> import torch
>>> from transformers import AutoTokenizer, XLNetForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-large-cased")
>>> model = XLNetForSequenceClassification.from_pretrained("xlnet/xlnet-large-cased", problem_type="multi_label_classification")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = XLNetForSequenceClassification.from_pretrained(
...     "xlnet/xlnet-large-cased", num_labels=num_labels, problem_type="multi_label_classification"
... )

>>> labels = torch.sum(
...     torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).loss
```

## XLNetForMultipleChoice[[transformers.XLNetForMultipleChoice]]

#### transformers.XLNetForMultipleChoice[[transformers.XLNetForMultipleChoice]]

```python
transformers.XLNetForMultipleChoice(config: XLNetConfig)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1694)

**Parámetros:**

config ([XLNetConfig](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetConfig)) : Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método [from_pretrained()](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel.from_pretrained) para cargar los pesos del modelo.

El modelo Xlnet con una cabeza de clasificación de opción múltiple en la parte superior (una capa lineal sobre la salida agrupada y un softmax), por ejemplo, para las tareas RocStories/SWAG.

Este modelo hereda de [PreTrainedModel](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel). Consulte la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).

Este modelo también es una subclase de [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.

#### forward[[transformers.XLNetForMultipleChoice.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1705)

**Parámetros:**

input_ids (`torch.LongTensor` de forma `(batch_size, num_choices, sequence_length)`) : Índices de los tokens de la secuencia de entrada en el vocabulario. Los índices se pueden obtener usando [AutoTokenizer](/docs/transformers/v5.23.0/es/model_doc/auto#transformers.AutoTokenizer). Consulte [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/es/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) y [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/es/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) para obtener más detalles. [¿Qué son los IDs de entrada?](../glossary#input-ids)

token_type_ids (`torch.LongTensor` de forma `(batch_size, num_choices, sequence_length)`, *opcional*) : Índices de tokens de segmento para indicar las primeras y segundas partes de las entradas. Los índices se seleccionan en `[0, 1]`:  - 0 corresponde a un token de *oración A*, - 1 corresponde a un token de *oración B*.  [¿Qué son los IDs de tipo de token?](../glossary#token-type-ids)

input_mask (`torch.Tensor` de forma `batch_size, num_choices, sequence_length`, *opcional*) : Máscara para evitar realizar atención en los índices de tokens de relleno. Negativo de `attention_mask`, es decir, con 0 para tokens reales y 1 para relleno, lo cual se mantiene por compatibilidad con la base de código original. Valores de máscara seleccionados en `[0, 1]`: - 1 para tokens que están **enmascarados**, - 0 para tokens que no están **enmascarados**. Solo puede usar uno de `input_mask` y `attention_mask`.

attention_mask (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de la máscara seleccionados en `[0, 1]`:  - 1 para tokens que **no están enmascarados**, - 0 para tokens que **están enmascarados**.  [¿Qué son las máscaras de atención?](../glossary#attention-mask)

mems (`list[torch.Tensor]` de longitud `config.n_layers`) : Contiene hidden-states precalculados (ver la salida `mems` a continuación). Se puede usar para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids` ya que ya han sido calculados. `use_mems` debe establecerse en `True` para hacer uso de `mems`.

perm_mask (`torch.Tensor` de forma `(batch_size, sequence_length, sequence_length)`, *opcional*) : Máscara para indicar el patrón de atención de cada token de entrada, con valores seleccionados en `[0, 1]`:  - si `perm_mask[k, i, j] = 0`, i atiende a j en el lote k; - si `perm_mask[k, i, j] = 1`, i no atiende a j en el lote k.  Si no se establece, cada token atiende a todos los demás (atención bidireccional completa). Solo se utiliza durante el preentrenamiento (para definir el orden de factorización) o para la decodificación secuencial (generación).

target_mapping (`torch.Tensor` de forma `(batch_size, num_predict, sequence_length)`, *opcional*) : Máscara para indicar los tokens de salida a utilizar. Si `target_mapping[k, i, j] = 1`, la i-ésima predicción del lote k está en el j-ésimo token. Solo se utiliza durante el preentrenamiento para la predicción parcial o para la decodificación secuencial (generación).

inputs_embeds (`torch.Tensor` de forma `(batch_size, num_choices, sequence_length, hidden_size)`, *opcional*) : Opcionalmente, en lugar de pasar `input_ids`, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices de `input_ids` en los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo.

labels (`torch.LongTensor` de forma `(batch_size,)`, *opcional*) : Etiquetas para calcular la pérdida de clasificación de opción múltiple. Los índices deben estar en `[0, ...,

use_mems (`bool`, *opcional*) : Indica si se deben usar estados de memoria para acelerar la decodificación secuencial. Si se establece en `True`, el modelo utilizará los estados ocultos de las pasadas hacia adelante anteriores para calcular la atención, lo que puede mejorar significativamente el rendimiento en tareas de decodificación secuencial.

output_attentions (`bool`, *opcional*) : Indica si se deben devolver los tensores de atención de todas las capas de atención. Consulte `attentions` en los tensores devueltos para obtener más detalles.

output_hidden_states (`bool`, *opcional*) : Indica si se deben devolver los estados ocultos de todas las capas. Consulte `hidden_states` en los tensores devueltos para obtener más detalles.

return_dict (`bool`, *opcional*) : Indica si se debe devolver un [ModelOutput](/docs/transformers/v5.23.0/es/main_classes/output#transformers.utils.ModelOutput) en lugar de una tupla simple.

**Devuelve:** [XLNetForMultipleChoiceOutput](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForMultipleChoiceOutput) o `tuple(torch.Tensor)`

Un [XLNetForMultipleChoiceOutput](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForMultipleChoiceOutput) o una tupla de `torch.Tensor` (si se pasa `return_dict=False` o cuando `config.return_dict=False`) que comprende varios elementos según la configuración ([XLNetConfig](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetConfig)) y las entradas.

El método forward de [XLNetForMultipleChoice](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetForMultipleChoice) reemplaza el método especial `__call__`.

Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de `Module` después, en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de preprocesamiento y posprocesamiento, mientras que la segunda los ignora silenciosamente.

- **loss** (`torch.Tensor` de forma *(1,)*, *opcional*, se devuelve cuando se proporciona `labels`) -- Pérdida de clasificación.
- **logits** (`torch.Tensor` de forma `(batch_size, num_choices)`) -- *num_choices* es la segunda dimensión de los tensores de entrada. (ver *input_ids* arriba).

  Puntuaciones de clasificación (antes de SoftMax).
- **mems** (`list[torch.Tensor]` de longitud `config.n_layers`) -- Contiene hidden-states precalculados. Se puede utilizar (ver entrada `mems`) para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids`, ya que ya se han calculado.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma `(batch_size, sequence_length, hidden_size)`.

  Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.
- **attentions** (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) -- Tupla de `torch.Tensor` (una por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`.

  Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

Ejemplo:

```python
>>> from transformers import AutoTokenizer, XLNetForMultipleChoice
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-large-cased")
>>> model = XLNetForMultipleChoice.from_pretrained("xlnet/xlnet-large-cased")

>>> prompt = "In Italy, pizza served in formal settings, such as at a restaurant, is presented unsliced."
>>> choice0 = "It is eaten with a fork and a knife."
>>> choice1 = "It is eaten while held in the hand."
>>> labels = torch.tensor(0).unsqueeze(0)  # choice0 is correct (according to Wikipedia ;)), batch size 1

>>> encoding = tokenizer([prompt, prompt], [choice0, choice1], return_tensors="pt", padding=True)
>>> outputs = model(**{k: v.unsqueeze(0) for k, v in encoding.items()}, labels=labels)  # batch size is 1

>>> # the linear classifier still needs to be trained
>>> loss = outputs.loss
>>> logits = outputs.logits
```

## XLNetForTokenClassification[[transformers.XLNetForTokenClassification]]

#### transformers.XLNetForTokenClassification[[transformers.XLNetForTokenClassification]]

```python
transformers.XLNetForTokenClassification(config: XLNetConfig)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1586)

**Parámetros:**

config ([XLNetConfig](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetConfig)) : Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método [from_pretrained()](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel.from_pretrained) para cargar los pesos del modelo.

El transformador Xlnet con una cabeza de clasificación de tokens en la parte superior (una capa lineal sobre la salida de hidden-states), por ejemplo, para tareas de reconocimiento de entidades nombradas (NER).

Este modelo hereda de [PreTrainedModel](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel). Consulte la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).

Este modelo también es una subclase de [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.

#### forward[[transformers.XLNetForTokenClassification.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1597)

**Parámetros:**

input_ids (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Índices de los tokens de la secuencia de entrada en el vocabulario. El relleno se ignorará de forma predeterminada. Los índices se pueden obtener mediante [AutoTokenizer](/docs/transformers/v5.23.0/es/model_doc/auto#transformers.AutoTokenizer). Consulte [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/es/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) y [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/es/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) para obtener más detalles. [¿Qué son los IDs de entrada?](../glossary#input-ids)

attention_mask (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de la máscara seleccionados en `[0, 1]`:  - 1 para tokens que **no están enmascarados**, - 0 para tokens que **están enmascarados**.  [¿Qué son las máscaras de atención?](../glossary#attention-mask)

mems (`list[torch.Tensor]` de longitud `config.n_layers`) : Contiene hidden-states precalculados (ver la salida `mems` a continuación). Se puede usar para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids` ya que ya han sido calculados. `use_mems` debe establecerse en `True` para hacer uso de `mems`.

perm_mask (`torch.Tensor` de forma `(batch_size, sequence_length, sequence_length)`, *opcional*) : Máscara para indicar el patrón de atención de cada token de entrada, con valores seleccionados en `[0, 1]`:  - si `perm_mask[k, i, j] = 0`, i atiende a j en el lote k; - si `perm_mask[k, i, j] = 1`, i no atiende a j en el lote k.  Si no se establece, cada token atiende a todos los demás (atención bidireccional completa). Solo se utiliza durante el preentrenamiento (para definir el orden de factorización) o para la decodificación secuencial (generación).

target_mapping (`torch.Tensor` de forma `(batch_size, num_predict, sequence_length)`, *opcional*) : Máscara para indicar los tokens de salida a utilizar. Si `target_mapping[k, i, j] = 1`, la i-ésima predicción del lote k está en el j-ésimo token. Solo se utiliza durante el preentrenamiento para la predicción parcial o para la decodificación secuencial (generación).

token_type_ids (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Índices de tokens de segmento para indicar las primeras y segundas partes de las entradas. Los índices se seleccionan en `[0, 1]`:  - 0 corresponde a un token de *oración A*, - 1 corresponde a un token de *oración B*.  [¿Qué son los IDs de tipo de token?](../glossary#token-type-ids)

input_mask (`torch.Tensor` de forma `batch_size, sequence_length`, *opcional*) : Máscara para evitar realizar atención en los índices de tokens de relleno. Negativo de `attention_mask`, es decir, con 0 para tokens reales y 1 para relleno, lo cual se mantiene por compatibilidad con la base de código original. Valores de máscara seleccionados en `[0, 1]`: - 1 para tokens que están **enmascarados**, - 0 para tokens que no están **enmascarados**. Solo puede usar uno de `input_mask` y `attention_mask`.

inputs_embeds (`torch.Tensor` de forma `(batch_size, sequence_length, hidden_size)`, *opcional*) : Opcionalmente, en lugar de pasar `input_ids`, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices de `input_ids` en los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo.

labels (`torch.LongTensor` de forma `(batch_size,)`, *opcional*) : Etiquetas para calcular la pérdida de clasificación de opción múltiple. Los índices deben estar en `[0, ..., num_choices]`, donde *num_choices* es el tamaño de la segunda dimensión de los tensores de entrada (ver *input_ids* arriba).

use_mems (`bool`, *opcional*) : Si se debe usar estados de memoria para acelerar la decodificación secuencial. Si se establece en `True`, el modelo usará los estados ocultos de las pasadas hacia adelante anteriores para calcular la atención, lo que puede mejorar significativamente el rendimiento en tareas de decodificación secuencial. Estados de memoria para acelerar la decodificación secuencial. Si se establece en `True`, el modelo usará los estados ocultos de las pasadas hacia adelante anteriores para calcular la atención, lo que puede mejorar significativamente el rendimiento en tareas de decodificación secuencial.

output_attentions (`bool`, *opcional*) : Indica si se deben devolver los tensores de atención de todas las capas de atención. Consulte `attentions` en los tensores devueltos para obtener más detalles.

output_hidden_states (`bool`, *opcional*) : Indica si se deben devolver los estados ocultos de todas las capas. Consulte `hidden_states` en los tensores devueltos para obtener más detalles.

return_dict (`bool`, *opcional*) : Indica si se debe devolver un [ModelOutput](/docs/transformers/v5.23.0/es/main_classes/output#transformers.utils.ModelOutput) en lugar de una tupla simple.

**Devuelve:** [XLNetForTokenClassificationOutput](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForTokenClassificationOutput) o `tuple(torch.Tensor)`

Un [XLNetForTokenClassificationOutput](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForTokenClassificationOutput) o una tupla de `torch.Tensor` (si se pasa `return_dict=False` o cuando `config.return_dict=False`) que comprende varios elementos según la configuración ([XLNetConfig](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetConfig)) y las entradas.

El método forward de [XLNetForTokenClassification](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetForTokenClassification) reemplaza el método especial `__call__`.

Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de `Module` después, en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de preprocesamiento y posprocesamiento, mientras que la segunda los ignora silenciosamente.

- **loss** (`torch.Tensor` de forma `(1,)`, *opcional*, se devuelve cuando se proporciona `labels`) -- Pérdida de clasificación.
- **logits** (`torch.Tensor` de forma `(batch_size, sequence_length, config.num_labels)`) -- Puntuaciones de clasificación (antes de SoftMax).
- **mems** (`list[torch.Tensor]` de longitud `config.n_layers`) -- Contiene hidden-states precalculados. Se puede utilizar (ver entrada `mems`) para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids`, ya que ya se han calculado.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma `(batch_size, sequence_length, hidden_size)`.

  Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.
- **attentions** (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) -- Tupla de `torch.Tensor` (una por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`.

  Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

Ejemplo:

```python
>>> from transformers import AutoTokenizer, XLNetForTokenClassification
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-large-cased")
>>> model = XLNetForTokenClassification.from_pretrained("xlnet/xlnet-large-cased")

>>> inputs = tokenizer(
...     "HuggingFace is a company based in Paris and New York", add_special_tokens=False, return_tensors="pt"
... )

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_token_class_ids = logits.argmax(-1)

>>> # Note that tokens are classified rather then input words which means that
>>> # there might be more predicted token classes than words.
>>> # Multiple token classes might account for the same word
>>> predicted_tokens_classes = [model.config.id2label[t.item()] for t in predicted_token_class_ids[0]]
>>> predicted_tokens_classes
...

>>> labels = predicted_token_class_ids
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...
```

## XLNetForQuestionAnsweringSimple[[transformers.XLNetForQuestionAnsweringSimple]]

#### transformers.XLNetForQuestionAnsweringSimple[[transformers.XLNetForQuestionAnsweringSimple]]

```python
transformers.XLNetForQuestionAnsweringSimple(config: XLNetConfig)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1838)

**Parámetros:**

config ([XLNetConfig](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetConfig)) : Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método [from_pretrained()](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel.from_pretrained) para cargar los pesos del modelo.

Modelo XLNet con una cabeza de clasificación de tramos en la parte superior para tareas de respuesta a preguntas extractivas como SQuAD (una capa lineal sobre la salida de estados ocultos para calcular `span start logits` y `span end logits`).

Este modelo hereda de [PreTrainedModel](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel). Consulte la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).

Este modelo también es una subclase de [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.

#### forward[[transformers.XLNetForQuestionAnsweringSimple.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, start_positions: typing.Optional[torch.Tensor] = None, end_positions: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1849)

**Parámetros:**

input_ids (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Índices de los tokens de la secuencia de entrada en el vocabulario. El relleno se ignorará de forma predeterminada. Los índices se pueden obtener mediante [AutoTokenizer](/docs/transformers/v5.23.0/es/model_doc/auto#transformers.AutoTokenizer). Consulte [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/es/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) y [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/es/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) para obtener más detalles. [¿Qué son los IDs de entrada?](../glossary#input-ids)

attention_mask (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de la máscara seleccionados en `[0, 1]`:  - 1 para tokens que **no están enmascarados**, - 0 para tokens que **están enmascarados**.  [¿Qué son las máscaras de atención?](../glossary#attention-mask)

mems (`list[torch.Tensor]` de longitud `config.n_layers`) : Contiene hidden-states precalculados (ver la salida `mems` a continuación). Se puede usar para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids` ya que ya han sido calculados. `use_mems` debe establecerse en `True` para hacer uso de `mems`.

perm_mask (`torch.Tensor` de forma `(batch_size, sequence_length, sequence_length)`, *opcional*) : Máscara para indicar el patrón de atención de cada token de entrada, con valores seleccionados en `[0, 1]`:  - si `perm_mask[k, i, j] = 0`, i atiende a j en el lote k; - si `perm_mask[k, i, j] = 1`, i no atiende a j en el lote k.  Si no se establece, cada token atiende a todos los demás (atención bidireccional completa). Solo se utiliza durante el preentrenamiento (para definir el orden de factorización) o para la decodificación secuencial (generación).

target_mapping (`torch.Tensor` de forma `(batch_size, num_predict, sequence_length)`, *opcional*) : Máscara para indicar los tokens de salida a utilizar. Si `target_mapping[k, i, j] = 1`, la i-ésima predicción del lote k está en el j-ésimo token. Solo se utiliza durante el preentrenamiento para la predicción parcial o para la decodificación secuencial (generación).

token_type_ids (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Índices de tokens de segmento para indicar las primeras y segundas partes de las entradas. Los índices se seleccionan en `[0, 1]`:  - 0 corresponde a un token de *oración A*, - 1 corresponde a un token de *oración B*.  [¿Qué son los IDs de tipo de token?](../glossary#token-type-ids)

input_mask (`torch.Tensor` de forma `batch_size, sequence_length`, *opcional*) : Máscara para evitar realizar atención en los índices de tokens de relleno. Negativo de `attention_mask`, es decir, con 0 para tokens reales y 1 para relleno, lo cual se mantiene por compatibilidad con la base de código original. Valores de máscara seleccionados en `[0, 1]`: - 1 para tokens que están **enmascarados**, - 0 para tokens que no están **enmascarados**. Solo puede usar uno de `input_mask` y `attention_mask`.

inputs_embeds (`torch.Tensor` de forma `(batch_size, sequence_length, hidden_size)`, *opcional*) : Opcionalmente, en lugar de pasar `input_ids`, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices de `input_ids` en los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo.

start_positions (`torch.Tensor` de forma `(batch_size,)`, *opcional*) : Etiquetas para la posición (índice) del inicio del tramo etiquetado para calcular la pérdida de clasificación de tokens. Las posiciones se limitan a la longitud de la secuencia (`sequence_length`). Las posiciones fuera de la secuencia no se tienen en cuenta para calcular la pérdida.

end_positions (`torch.Tensor` de forma `(batch_size,)`, *opcional*) : Etiquetas para la posición (índice) del final del tramo etiquetado para calcular la pérdida de clasificación de tokens. Las posiciones se limitan a la longitud de la secuencia (`sequence_length`). Las posiciones fuera de la secuencia no se tienen en cuenta para calcular la pérdida.

use_mems (`bool`, *opcional*) : Indica si se deben usar estados de memoria para acelerar la decodificación secuencial. Si se establece en `True`, el modelo utilizará los estados ocultos de las pasadas hacia adelante anteriores para calcular la atención, lo que puede mejorar significativamente el rendimiento en tareas de decodificación secuencial.

output_attentions (`bool`, *opcional*) : Indica si se deben devolver los tensores de atención de todas las capas de atención. Consulte `attentions` en los tensores devueltos para obtener más detalles.

output_hidden_states (`bool`, *opcional*) : Indica si se deben devolver los estados ocultos de todas las capas. Consulte `hidden_states` en los tensores devueltos para obtener más detalles.

return_dict (`bool`, *opcional*) : Indica si se debe devolver un [ModelOutput](/docs/transformers/v5.23.0/es/main_classes/output#transformers.utils.ModelOutput) en lugar de una tupla simple.

**Devuelve:** [XLNetForQuestionAnsweringSimpleOutput](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringSimpleOutput) o `tuple(torch.Tensor)`

Un [XLNetForQuestionAnsweringSimpleOutput](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringSimpleOutput) o una tupla de `torch.Tensor` (si se pasa `return_dict=False` o cuando `config.return_dict=False`) que comprende varios elementos según la configuración ([XLNetConfig](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetConfig)) y las entradas.

El método forward de [XLNetForQuestionAnsweringSimple](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetForQuestionAnsweringSimple) sobrescribe el método especial `__call__`.

Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de `Module` después, en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de preprocesamiento y posprocesamiento, mientras que la segunda los ignora silenciosamente.

- **loss** (`torch.Tensor` de forma `(1,)`, *opcional*, se devuelve cuando se proporciona `labels`) -- La pérdida total de extracción de tramos es la suma de una Entropía Cruzada para las posiciones de inicio y fin.
- **start_logits** (`torch.Tensor` de forma `(batch_size, sequence_length,)`) -- Puntuaciones de inicio de tramo (antes de SoftMax).
- **end_logits** (`torch.Tensor` de forma `(batch_size, sequence_length,)`) -- Puntuaciones de fin de tramo (antes de SoftMax).
- **mems** (`list[torch.Tensor]` de longitud `config.n_layers`) -- Contiene hidden-states precalculados. Se puede utilizar (ver entrada `mems`) para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids`, ya que ya se han calculado.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma `(batch_size, sequence_length, hidden_size)`.

  Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.
- **attentions** (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) -- Tupla de `torch.Tensor` (una por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`.

  Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

Ejemplo:

```python
>>> from transformers import AutoTokenizer, XLNetForQuestionAnsweringSimple
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-large-cased")
>>> model = XLNetForQuestionAnsweringSimple.from_pretrained("xlnet/xlnet-large-cased")

>>> question, text = "Who was Jim Henson?", "Jim Henson was a nice puppet"

>>> inputs = tokenizer(question, text, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> answer_start_index = outputs.start_logits.argmax()
>>> answer_end_index = outputs.end_logits.argmax()

>>> predict_answer_tokens = inputs.input_ids[0, answer_start_index : answer_end_index + 1]
>>> tokenizer.decode(predict_answer_tokens, skip_special_tokens=True)
...

>>> # target is "nice puppet"
>>> target_start_index = torch.tensor([14])
>>> target_end_index = torch.tensor([15])

>>> outputs = model(**inputs, start_positions=target_start_index, end_positions=target_end_index)
>>> loss = outputs.loss
>>> round(loss.item(), 2)
...
```

## XLNetForQuestionAnswering[[transformers.XLNetForQuestionAnswering]]

#### transformers.XLNetForQuestionAnswering[[transformers.XLNetForQuestionAnswering]]

```python
transformers.XLNetForQuestionAnswering(config: XLNetConfig)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1959)

**Parámetros:**

config ([XLNetConfig](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetConfig)) : Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método [from_pretrained()](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel.from_pretrained) para cargar los pesos del modelo.

El transformador Xlnet con una cabeza de clasificación de tramos en la parte superior para tareas de respuesta a preguntas extractivas como SQuAD (una capa lineal sobre la salida de los estados ocultos para calcular `span start logits` y `span end logits`).

Este modelo hereda de [PreTrainedModel](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel). Consulte la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).

Este modelo también es una subclase de [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.

#### forward[[transformers.XLNetForQuestionAnswering.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, mems: typing.Optional[torch.Tensor] = None, perm_mask: typing.Optional[torch.Tensor] = None, target_mapping: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, input_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, start_positions: typing.Optional[torch.Tensor] = None, end_positions: typing.Optional[torch.Tensor] = None, is_impossible: typing.Optional[torch.Tensor] = None, cls_index: typing.Optional[torch.Tensor] = None, p_mask: typing.Optional[torch.Tensor] = None, use_mems: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlnet/modeling_xlnet.py#L1973)

**Parámetros:**

input_ids (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Índices de los tokens de la secuencia de entrada en el vocabulario. El relleno se ignorará de forma predeterminada. Los índices se pueden obtener mediante [AutoTokenizer](/docs/transformers/v5.23.0/es/model_doc/auto#transformers.AutoTokenizer). Consulte [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/es/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) y [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/es/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) para obtener más detalles. [¿Qué son los IDs de entrada?](../glossary#input-ids)

attention_mask (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de la máscara seleccionados en `[0, 1]`:  - 1 para tokens que **no están enmascarados**, - 0 para tokens que **están enmascarados**.  [¿Qué son las máscaras de atención?](../glossary#attention-mask)

mems (`list[torch.Tensor]` de longitud `config.n_layers`) : Contiene hidden-states precalculados (ver la salida `mems` a continuación). Se puede usar para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids` ya que ya han sido calculados. `use_mems` debe establecerse en `True` para hacer uso de `mems`.

perm_mask (`torch.Tensor` de forma `(batch_size, sequence_length, sequence_length)`, *opcional*) : Máscara para indicar el patrón de atención de cada token de entrada, con valores seleccionados en `[0, 1]`:  - si `perm_mask[k, i, j] = 0`, i atiende a j en el lote k; - si `perm_mask[k, i, j] = 1`, i no atiende a j en el lote k.  Si no se establece, cada token atiende a todos los demás (atención bidireccional completa). Solo se utiliza durante el preentrenamiento (para definir el orden de factorización) o para la decodificación secuencial (generación).

target_mapping (`torch.Tensor` de forma `(batch_size, num_predict, sequence_length)`, *opcional*) : Máscara para indicar los tokens de salida a utilizar. Si `target_mapping[k, i, j] = 1`, la i-ésima predicción del lote k está en el j-ésimo token. Solo se utiliza durante el preentrenamiento para la predicción parcial o para la decodificación secuencial (generación).

token_type_ids (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Índices de tokens de segmento para indicar las primeras y segundas partes de las entradas. Los índices se seleccionan en `[0, 1]`:  - 0 corresponde a un token de *oración A*, - 1 corresponde a un token de *oración B*.  [¿Qué son los IDs de tipo de token?](../glossary#token-type-ids)

input_mask (`torch.Tensor` de forma `batch_size, sequence_length`, *opcional*) : Máscara para evitar realizar atención en los índices de tokens de relleno. Negativo de `attention_mask`, es decir, con 0 para tokens reales y 1 para relleno, lo cual se mantiene por compatibilidad con la base de código original. Valores de máscara seleccionados en `[0, 1]`: - 1 para tokens que están **enmascarados**, - 0 para tokens que no están **enmascarados**. Solo puede usar uno de `input_mask` y `attention_mask`.

inputs_embeds (`torch.Tensor` de forma `(batch_size, sequence_length, hidden_size)`, *opcional*) : Opcionalmente, en lugar de pasar `input_ids`, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices de `input_ids` en los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo.

start_positions (`torch.Tensor` de forma `(batch_size,)`, *opcional*) : Etiquetas para la posición (índice) del inicio del tramo etiquetado para calcular la pérdida de clasificación de tokens. Las posiciones se limitan a la longitud de la secuencia (`sequence_length`). Las posiciones fuera de la secuencia no se tienen en cuenta para calcular la pérdida.

end_positions (`torch.Tensor` de forma `(batch_size,)`, *opcional*) : Etiquetas para la posición (índice) del final del tramo etiquetado para calcular la pérdida de clasificación de tokens. Las posiciones se limitan a la longitud de la secuencia (`sequence_length`). Las posiciones fuera de la secuencia no se tienen en cuenta para calcular la pérdida.

is_impossible (`torch.LongTensor` de forma `(batch_size,)`, *opcional*) : Etiquetas que indican si una pregunta tiene respuesta o no (SQuAD 2.0)

cls_index (`torch.LongTensor` de forma `(batch_size,)`, *opcional*) : Etiquetas para la posición (índice) del token de clasificación que se utilizará como entrada para calcular la plausibilidad de la respuesta.

p_mask (`torch.Tensor` de forma `(batch_size, sequence_length)`, *opcional*) : Máscara opcional de tokens que no pueden estar en las respuestas (p. ej. [CLS], [PAD], ...). 1.0 significa que el token debe enmascararse. 0.0 significa que el token no está enmascarado.

use_mems (`bool`, *opcional*) : Indica si se deben usar estados de memoria para acelerar la decodificación secuencial. Si se establece en `True`, el modelo utilizará los estados ocultos de las pasadas hacia adelante anteriores para calcular la atención, lo que puede mejorar significativamente el rendimiento en tareas de decodificación secuencial.

output_attentions (`bool`, *opcional*) : Indica si se deben devolver los tensores de atención de todas las capas de atención. Consulte `attentions` en los tensores devueltos para obtener más detalles.

output_hidden_states (`bool`, *opcional*) : Indica si se deben devolver los estados ocultos de todas las capas. Consulte `hidden_states` en los tensores devueltos para obtener más detalles.

return_dict (`bool`, *opcional*) : Indica si se debe devolver un [ModelOutput](/docs/transformers/v5.23.0/es/main_classes/output#transformers.utils.ModelOutput) en lugar de una tupla simple.

**Devuelve:** [XLNetForQuestionAnsweringOutput](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringOutput) o `tuple(torch.Tensor)`

Un [XLNetForQuestionAnsweringOutput](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringOutput) o una tupla de `torch.Tensor` (si se pasa `return_dict=False` o cuando `config.return_dict=False`) que comprende varios elementos según la configuración ([XLNetConfig](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetConfig)) y las entradas.

El método forward de [XLNetForQuestionAnswering](/docs/transformers/v5.23.0/es/model_doc/xlnet#transformers.XLNetForQuestionAnswering) reemplaza el método especial `__call__`.

Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de `Module` después, en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de preprocesamiento y posprocesamiento, mientras que la segunda los ignora silenciosamente.

- **loss** (`torch.Tensor` de forma `(1,)`, *opcional*, se devuelve si se proporcionan tanto `start_positions` como `end_positions`) -- Pérdida de clasificación como la suma de las pérdidas de clasificación del token de inicio, del token de finalización (y de is_impossible si se proporciona).
- **start_top_log_probs** (`torch.Tensor` de forma `(batch_size, config.start_n_top)`, *opcional*, se devuelve si no se proporciona `start_positions` o `end_positions`) -- Probabilidades logarítmicas para las config.start_n_top posibilidades de tokens de inicio (beam-search).
- **start_top_index** (`torch.LongTensor` de forma `(batch_size, config.start_n_top)`, *opcional*, se devuelve si no se proporciona `start_positions` o `end_positions`) -- Índices de las config.start_n_top posibilidades iniciales de tokens (búsqueda por haz).
- **end_top_log_probs** (`torch.Tensor` de forma `(batch_size, config.start_n_top * config.end_n_top)`, *opcional*, se devuelve si no se proporciona `start_positions` o `end_positions`) -- Probabilidades logarítmicas para las `config.start_n_top * config.end_n_top` posibilidades de tokens finales (beam-search).
- **end_top_index** (`torch.LongTensor` de forma `(batch_size, config.start_n_top * config.end_n_top)`, *opcional*, se devuelve si no se proporciona `start_positions` o `end_positions`) -- Índices de las `config.start_n_top * config.end_n_top` posibilidades de tokens finales más probables (búsqueda por haz).
- **cls_logits** (`torch.Tensor` de forma `(batch_size,)`, *opcional*, se devuelve si no se proporciona `start_positions` o `end_positions`) -- Probabilidades logarítmicas para la etiqueta `is_impossible` de las respuestas.
- **mems** (`list[torch.Tensor]` de longitud `config.n_layers`) -- Contiene hidden-states precalculados. Se puede utilizar (ver entrada `mems`) para acelerar la decodificación secuencial. Los ids de tokens cuyo pasado se ha proporcionado a este modelo no deben pasarse como `input_ids`, ya que ya se han calculado.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma `(batch_size, sequence_length, hidden_size)`.

  Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.
- **attentions** (`tuple[torch.Tensor, ...]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) -- Tupla de `torch.Tensor` (una por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`.

  Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

Ejemplo:

```python
>>> from transformers import AutoTokenizer, XLNetForQuestionAnswering
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("xlnet/xlnet-base-cased")
>>> model = XLNetForQuestionAnswering.from_pretrained("xlnet/xlnet-base-cased")

>>> input_ids = torch.tensor(tokenizer.encode("Hello, my dog is cute", add_special_tokens=True)).unsqueeze(
...     0
... )  # Batch size 1
>>> start_positions = torch.tensor([1])
>>> end_positions = torch.tensor([3])
>>> outputs = model(input_ids, start_positions=start_positions, end_positions=end_positions)

>>> loss = outputs.loss
```

