# PDFデータの読み込み

> [!WARNING]
> PDFサポートは実験的であり、変更される可能性があります。

Pdf データセットには [Pdf](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Pdf) 型の列があり、`pdfplumber` オブジェクトが含まれています。

> [!TIP]
> PDFデータセットを扱うには、`pdfplumber`パッケージのインストールが必要です。インストール方法については、[インストール](https://github.com/jsvine/pdfplumber#installation)ガイドを参照してください。

PDFデータセットを読み込み、pdf列を呼び出すと、PDFは`pdfplumber`のPdfとしてデコードされます。

```py
>>> from datasets import load_dataset, Pdf

>>> dataset = load_dataset("path/to/pdf/folder", split="train")
>>> dataset[0]["pdf"]
<pdfplumber.pdf.PDF at 0x1075bc320>
```

> [!WARNING]
> 行インデックスを先に使用し、次に`pdf`カラムにインデックスを指定してPDFデータセットにアクセスします - `dataset[0]["pdf"]` - 。これにより、データセット内のすべてのPDFオブジェクトを生成することを避けることができます。そうしないと、データセットが大きい場合、この処理は遅く、時間がかかる可能性があります。

あらゆるタイプのデータセットを読み込む方法については、一般的な読み込みガイドを参照してください。

## ページを読む

`.pages` 属性を使用して、PDFからページに直接アクセスできます。

その後、`pdfplumber`の関数を使用してテキスト、テーブル、画像を読み取ることができます。例:

```python
>>> pdf = dataset[0]["pdf"]
>>> first_page = pdf.pages[0]
>>> first_page
<Page:1>
>>> first_page.extract_text()
Docling Technical Report
Version1.0
ChristophAuer MaksymLysak AhmedNassar MicheleDolfi NikolaosLivathinos
PanosVagenas CesarBerrospiRamis MatteoOmenetti FabianLindlbauer
KasperDinkla LokeshMishra YusikKim ShubhamGupta RafaelTeixeiradeLima
ValeryWeber LucasMorin IngmarMeijer ViktorKuropiatnyk PeterW.J.Staar
AI4KGroup,IBMResearch
Ru¨schlikon,Switzerland
Abstract
This technical report introduces Docling, an easy to use, self-contained, MIT-
licensed open-source package for PDF document conversion.
...
>>> first_page.images
In [24]: first_page.images
Out[24]: 
[{'x0': 256.5,
  'y0': 621.0,
  'x1': 355.49519999999995,
  'y1': 719.9952,
  'width': 98.99519999999995,
  'height': 98.99519999999995,
  'name': 'Im1',
  'stream': <PDFStream(44): raw=88980, {'Type': /'XObject', 'Subtype': /'Image', 'BitsPerComponent': 8, 'ColorSpace': /'DeviceRGB', 'Filter': /'DCTDecode', 'Height': 1024, 'Length': 88980, 'Width': 1024}>,
  'srcsize': (1024, 1024),
  'imagemask': None,
  'bits': 8,
  'colorspace': [/'DeviceRGB'],
  'mcid': None,
  'tag': None,
  'object_type': 'image',
  'page_number': 1,
  'top': 72.00480000000005,
  'bottom': 171.0,
  'doctop': 72.00480000000005}]
>>> first_page.extract_tables()
[]
```

各ページを`PIL.Image`として読み込むこともできます:

```python
>>> import PIL.Image
>>> import io
>>> first_page.to_image()
<pdfplumber.display.PageImage at 0x107d68dd0>
>>> buffer = io.BytesIO()
>>> first_page.to_image().save(buffer)
>>> img = PIL.Image.open(buffer)
>>> img
<PIL.PngImagePlugin.PngImageFile image mode=P size=612x792>
```

`resolution=` を `.to_image()` に渡すことで、デフォルト（72 ppi）より高い解像度で画像をレンダリングできます。

## ローカルファイル

pdfのパスからデータセットを読み込むことができます。[cast_column()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset.cast_column)関数を使用して、pdfファイルのパスの列を受け取り、[Pdf](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Pdf)機能で`pdfplumber`のpdfにデコードします:
```py
>>> from datasets import Dataset, Pdf

>>> dataset = Dataset.from_dict({"pdf": ["path/to/pdf_1", "path/to/pdf_2", ..., "path/to/pdf_n"]}).cast_column("pdf", Pdf())
>>> dataset[0]["pdf"]
<pdfplumber.pdf.PDF at 0x1657d0280>
```

PDFオブジェクトのデコードを行わず、PDFデータセットの基底パスのみを読み込みたい場合は、[Pdf](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Pdf)機能で`decode=False`を設定します:

```py
>>> dataset = dataset.cast_column("pdf", Pdf(decode=False))
>>> dataset[0]["pdf"]
{'bytes': None,
 'path': 'path/to/pdf/folder/pdf0.pdf'}
```

## PdfFolder

`PdfFolder` データセットビルダーを使用して、カスタムdataloaderの作成を必要とせずにデータセットを読み込むこともできます。これにより、`PdfFolder` は、異なるビジョンタスク向けの数千のPDFからなるPDFデータセットを素早く作成・読み込むのに最適です。PDFデータセットの構造は次のようになる必要があります:

```
folder/train/resume/0001.pdf
folder/train/resume/0002.pdf
folder/train/resume/0003.pdf

folder/train/invoice/0001.pdf
folder/train/invoice/0002.pdf
folder/train/invoice/0003.pdf
```

データセットが`PdfFolder`の構造に従っている場合、[load_dataset()](/docs/datasets/v5.2.0/ja/package_reference/loading_methods#datasets.load_dataset)で直接読み込むことができます:

```py
>>> from datasets import load_dataset

>>> dataset = load_dataset("username/dataset_name")
>>> # OR locally:
>>> dataset = load_dataset("/path/to/folder")
```

ローカルデータセットの場合、これは`pdffolder`を手動で`data_dir`のディレクトリに指定して[load_dataset()](/docs/datasets/v5.2.0/ja/package_reference/loading_methods#datasets.load_dataset)を呼び出すことと同等です:

```py
>>> dataset = load_dataset("pdffolder", data_dir="/path/to/folder")
```

その後、`pdfplumber.pdf.PDF` オブジェクトとして PDF にアクセスできます:

```
>>> dataset["train"][0]
{"pdf": <pdfplumber.pdf.PDF at 0x161715e50>, "label": 0}

>>> dataset["train"][-1]
{"pdf": <pdfplumber.pdf.PDF at 0x16170bd90>, "label": 1}
```

メタデータファイル内の情報を無視するには、[load_dataset()](/docs/datasets/v5.2.0/ja/package_reference/loading_methods#datasets.load_dataset)で`drop_metadata=True`を設定します:

```py
>>> from datasets import load_dataset

>>> dataset = load_dataset("username/dataset_with_metadata", drop_metadata=True)
```

メタデータファイルがない場合、`PdfFolder`はディレクトリ名からラベル名を自動的に推測します。自動作成されたラベルを削除したい場合は、`drop_labels=True`を設定してください。この場合、データセットにはpdfカラムのみが含まれます。

```py
>>> from datasets import load_dataset

>>> dataset = load_dataset("username/dataset_without_metadata", drop_labels=True)
```

最後に、`filters` 引数を使用すると、ラベルまたはメタデータに対する条件に基づいて、データセットの一部のみを読み込むことができます。メタデータが Parquet 形式である場合、この形式は高速なフィルタリングを可能にするため、特に有用です。また、デフォルトではフィルタリングの前にデータセット全体がダウンロードされるため、`streaming=True` と組み合わせてこの引数を使用することをお勧めします。

```python
>>> filters = [("label", "=", 0)]
>>> dataset = load_dataset("username/dataset_name", streaming=True, filters=filters)
```

> [!TIP]
> 独自の`PdfFolder`データセットを作成する方法の詳細については、[pdf データセットの作成](./document_dataset)ガイドを参照してください。

## PDFのデコード

デフォルトでは、データセットをイテレーションすると、pdfはpdfplumberの`PDFs`としてシーケンシャルにデコードされます。pdfのメタデータはシーケンシャルにデコードされ、ページにアクセスするまでpdfのページは読み込まれません。

ただし、マルチスレッドデコーディングを使用することで、データセットを大幅に高速化できます。

```python
>>> import os
>>> num_threads = num_threads = min(32, (os.cpu_count() or 1) + 4)
>>> dataset = dataset.decode(num_threads=num_threads)
>>> for example in dataset:  # up to 20 times faster !
...     ...
```

`num_threads` を使用してマルチスレッドを有効にできます。これはリモートデータストリーミングの高速化に特に役立ちます。ただし、高速ディスク上のローカルデータの場合、`num_threads=0` よりも遅くなる可能性があります。

If you are not interested in the documents decoded as pdfplumber `PDFs` and would like to access the path/bytes instead, you can disable decoding:

```python
>>> dataset = dataset.decode(False)
```

注: [IterableDataset.decode()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset.decode) は現在、ストリーミングデータセットでのみ利用可能です。

