# Cargar datos de pdf

> [!WARNING]
> La compatibilidad con PDF es experimental y está sujeta a cambios.

Los conjuntos de datos Pdf tienen columnas de tipo [Pdf](/docs/datasets/v5.2.0/es/package_reference/main_classes#datasets.Pdf), que contienen objetos `pdfplumber`.

> [!TIP]
> Para trabajar con conjuntos de datos en pdf, necesitas tener instalado el paquete `pdfplumber`. Consulta la guía de [instalación](https://github.com/jsvine/pdfplumber#installation) para aprender a instalarlo.

Cuando cargas un conjunto de datos pdf y llamas a la columna pdf, los pdf se decodifican como Pdf de `pdfplumber`:

```py
>>> from datasets import load_dataset, Pdf

>>> dataset = load_dataset("path/to/pdf/folder", split="train")
>>> dataset[0]["pdf"]
<pdfplumber.pdf.PDF at 0x1075bc320>
```

> [!WARNING]
> Índice en un conjunto de datos de pdf usando primero el índice de fila y luego la columna `pdf` - `dataset[0]["pdf"]` - para evitar crear todos los objetos pdf del conjunto de datos. De lo contrario, este puede ser un proceso lento y que consume mucho tiempo si tiene un conjunto de datos grande.

Para una guía sobre cómo cargar cualquier tipo de conjunto de datos, consulte la guía general de carga.

## Leer páginas

Acceda a páginas directamente desde un pdf usando el atributo `.pages`.

Luego puedes usar las funciones de `pdfplumber` para leer textos, tablas e imágenes, por ejemplo:

```python
>>> pdf = dataset[0]["pdf"]
>>> first_page = pdf.pages[0]
>>> first_page
<Page:1>
>>> first_page.extract_text()
Docling Technical Report
Version1.0
ChristophAuer MaksymLysak AhmedNassar MicheleDolfi NikolaosLivathinos
PanosVagenas CesarBerrospiRamis MatteoOmenetti FabianLindlbauer
KasperDinkla LokeshMishra YusikKim ShubhamGupta RafaelTeixeiradeLima
ValeryWeber LucasMorin IngmarMeijer ViktorKuropiatnyk PeterW.J.Staar
AI4KGroup,IBMResearch
Ru¨schlikon,Switzerland
Abstract
This technical report introduces Docling, an easy to use, self-contained, MIT-
licensed open-source package for PDF document conversion.
...
>>> first_page.images
In [24]: first_page.images
Out[24]: 
[{'x0': 256.5,
  'y0': 621.0,
  'x1': 355.49519999999995,
  'y1': 719.9952,
  'width': 98.99519999999995,
  'height': 98.99519999999995,
  'name': 'Im1',
  'stream': <PDFStream(44): raw=88980, {'Type': /'XObject', 'Subtype': /'Image', 'BitsPerComponent': 8, 'ColorSpace': /'DeviceRGB', 'Filter': /'DCTDecode', 'Height': 1024, 'Length': 88980, 'Width': 1024}>,
  'srcsize': (1024, 1024),
  'imagemask': None,
  'bits': 8,
  'colorspace': [/'DeviceRGB'],
  'mcid': None,
  'tag': None,
  'object_type': 'image',
  'page_number': 1,
  'top': 72.00480000000005,
  'bottom': 171.0,
  'doctop': 72.00480000000005}]
>>> first_page.extract_tables()
[]
```

También puedes cargar cada página como una `PIL.Image`:

```python
>>> import PIL.Image
>>> import io
>>> first_page.to_image()
<pdfplumber.display.PageImage at 0x107d68dd0>
>>> buffer = io.BytesIO()
>>> first_page.to_image().save(buffer)
>>> img = PIL.Image.open(buffer)
>>> img
<PIL.PngImagePlugin.PngImageFile image mode=P size=612x792>
```

Tenga en cuenta que puede pasar `resolution=` a `.to_image()` para renderizar la imagen en una resolución más alta que la predeterminada (72 ppi).

## Archivos locales

Puedes cargar un conjunto de datos desde la ruta del pdf. Usa la función [cast_column()](/docs/datasets/v5.2.0/es/package_reference/main_classes#datasets.Dataset.cast_column) para aceptar una columna de rutas de archivos pdf y decodificarla en un pdf de `pdfplumber` con la función [Pdf](/docs/datasets/v5.2.0/es/package_reference/main_classes#datasets.Pdf):
```py
>>> from datasets import Dataset, Pdf

>>> dataset = Dataset.from_dict({"pdf": ["path/to/pdf_1", "path/to/pdf_2", ..., "path/to/pdf_n"]}).cast_column("pdf", Pdf())
>>> dataset[0]["pdf"]
<pdfplumber.pdf.PDF at 0x1657d0280>
```

Si solo desea cargar la ruta subyacente del conjunto de datos pdf sin decodificar el objeto pdf, establezca `decode=False` en la función [Pdf](/docs/datasets/v5.2.0/es/package_reference/main_classes#datasets.Pdf):

```py
>>> dataset = dataset.cast_column("pdf", Pdf(decode=False))
>>> dataset[0]["pdf"]
{'bytes': None,
 'path': 'path/to/pdf/folder/pdf0.pdf'}
```

## PdfFolder

También puede cargar un conjunto de datos con el creador de conjuntos de datos `PdfFolder`, que no requiere escribir un dataloader personalizado. Esto hace que `PdfFolder` sea ideal para crear y cargar rápidamente conjuntos de datos de pdf con varios miles de pdf para diferentes tareas de visión. La estructura de su conjunto de datos de pdf debe ser así:

```
folder/train/resume/0001.pdf
folder/train/resume/0002.pdf
folder/train/resume/0003.pdf

folder/train/invoice/0001.pdf
folder/train/invoice/0002.pdf
folder/train/invoice/0003.pdf
```

Si el conjunto de datos sigue la estructura `PdfFolder`, puede cargarlo directamente con [load_dataset()](/docs/datasets/v5.2.0/es/package_reference/loading_methods#datasets.load_dataset):

```py
>>> from datasets import load_dataset

>>> dataset = load_dataset("username/dataset_name")
>>> # OR locally:
>>> dataset = load_dataset("/path/to/folder")
```

Para conjuntos de datos locales, esto es equivalente a pasar `pdffolder` manualmente en [load_dataset()](/docs/datasets/v5.2.0/es/package_reference/loading_methods#datasets.load_dataset) y el directorio en `data_dir`:

```py
>>> dataset = load_dataset("pdffolder", data_dir="/path/to/folder")
```

Luego puedes acceder a los PDF como objetos `pdfplumber.pdf.PDF`:

```
>>> dataset["train"][0]
{"pdf": <pdfplumber.pdf.PDF at 0x161715e50>, "label": 0}

>>> dataset["train"][-1]
{"pdf": <pdfplumber.pdf.PDF at 0x16170bd90>, "label": 1}
```

Para ignorar la información en el archivo de metadatos, establezca `drop_metadata=True` en [load_dataset()](/docs/datasets/v5.2.0/es/package_reference/loading_methods#datasets.load_dataset):

```py
>>> from datasets import load_dataset

>>> dataset = load_dataset("username/dataset_with_metadata", drop_metadata=True)
```

Si no tiene un archivo de metadatos, `PdfFolder` infiere automáticamente el nombre de la etiqueta a partir del nombre del directorio. Si desea descartar las etiquetas creadas automáticamente, establezca `drop_labels=True`. En este caso, su conjunto de datos solo contendrá una columna pdf:

```py
>>> from datasets import load_dataset

>>> dataset = load_dataset("username/dataset_without_metadata", drop_labels=True)
```

Por último, el argumento `filters` permite cargar solo un subconjunto del conjunto de datos, basado en una condición sobre la etiqueta o los metadatos. Esto es especialmente útil si los metadatos están en formato Parquet, ya que este formato permite un filtrado rápido. También se recomienda usar este argumento con `streaming=True`, porque por defecto el conjunto de datos se descarga por completo antes de aplicar el filtrado.

```python
>>> filters = [("label", "=", 0)]
>>> dataset = load_dataset("username/dataset_name", streaming=True, filters=filters)
```

> [!TIP]
> Para obtener más información sobre la creación de tu propio conjunto de datos `PdfFolder`, consulta la guía [Create a pdf dataset](./document_dataset).

## Decodificación de PDF

Por defecto, los PDF se decodifican de forma secuencial como `PDFs` de pdfplumber cuando se itera sobre un conjunto de datos. Se decodifica secuencialmente la metadatos de los PDF y no se leen las páginas del PDF hasta que se accede a ellas.

Sin embargo, es posible acelerar significativamente el conjunto de datos mediante la decodificación multihilo:

```python
>>> import os
>>> num_threads = num_threads = min(32, (os.cpu_count() or 1) + 4)
>>> dataset = dataset.decode(num_threads=num_threads)
>>> for example in dataset:  # up to 20 times faster !
...     ...
```

Puede habilitar el multihilo usando `num_threads`. Esto es especialmente útil para acelerar el streaming de datos remotos. Sin embargo, puede ser más lento que `num_threads=0` para datos locales en discos rápidos.

Si no le interesan los documentos decodificados como `PDFs` de pdfplumber y prefiere acceder a la ruta/bytes en su lugar, puede deshabilitar la decodificación:

```python
>>> dataset = dataset.decode(False)
```

Nota: [IterableDataset.decode()](/docs/datasets/v5.2.0/es/package_reference/main_classes#datasets.IterableDataset.decode) solo está disponible actualmente para conjuntos de datos en streaming.

