# Utilitas Data

## is_conversational[[trl.is_conversational]]

#### trl.is_conversational[[trl.is_conversational]]

```python
trl.is_conversational(example: dict[str, typing.Any])
```

[Sumber](https://github.com/huggingface/trl/blob/v1.18.2/trl/data_utils.py#L126)

**Parameter:**

example (`dict[str, Any]`) : Satu entri data dari dataset. Contoh dapat memiliki kunci yang berbeda tergantung pada jenis dataset.

**Mengembalikan:** `bool`

`True` jika data dalam format percakapan, `False` jika tidak.

Periksa apakah contoh berada dalam format percakapan.

Contoh:

```python
>>> example = {"prompt": [{"role": "user", "content": "What color is the sky?"}]}
>>> is_conversational(example)
True

>>> example = {"prompt": "The sky is"}
>>> is_conversational(example)
False
```

## maybe_convert_to_chatml[[trl.maybe_convert_to_chatml]]

#### trl.maybe_convert_to_chatml[[trl.maybe_convert_to_chatml]]

```python
trl.maybe_convert_to_chatml(example: dict[str, list])
```

[Sumber](https://github.com/huggingface/trl/blob/v1.18.2/trl/data_utils.py#L967)

**Parameter:**

example (`dict[str, list]`) : Satu entri data yang berisi daftar pesan.

**Mengembalikan:** `dict[str, list]`

Contoh yang diformat ulang ke gaya ChatML.

Konversi dataset percakapan dengan bidang `from` dan `value` ke format ChatML.

Fungsi ini memodifikasi data percakapan agar selaras dengan format ChatML dari OpenAI:
- Mengganti kunci `"from"` dengan `"role"` dalam kamus pesan.
- Mengganti kunci `"value"` dengan `"content"` dalam kamus pesan.
- Mengubah nama `"conversations"` menjadi `"messages"` untuk konsistensi dengan ChatML.

Contoh:
```python
>>> from trl import maybe_convert_to_chatml

>>> example = {
...     "conversations": [
...         {"from": "user", "value": "What color is the sky?"},
...         {"from": "assistant", "value": "It is blue."},
...     ]
... }
>>> maybe_convert_to_chatml(example)
{'messages': [{'role': 'user', 'content': 'What color is the sky?'},
              {'role': 'assistant', 'content': 'It is blue.'}]}
```

## extract_prompt[[trl.extract_prompt]]

#### trl.extract_prompt[[trl.extract_prompt]]

```python
trl.extract_prompt(example: dict[str, collections.abc.Sequence])
```

[Sumber](https://github.com/huggingface/trl/blob/v1.18.2/trl/data_utils.py#L548)

**Parameter:**

example (`dict[str, list]`) : Kamus yang mewakili satu entri data dalam dataset preferensi. Harus berisi kunci `"chosen"` dan `"rejected"`, di mana setiap nilainya berupa percakapan atau standar (`str`).

**Mengembalikan:** `dict[str, list]`

Kamus yang berisi:
- `"prompt"`: Prefiks umum terpanjang antara penyelesaian "chosen" dan "rejected".
- `"chosen"`: Sisa dari penyelesaian "chosen", dengan prompt dihapus.
- `"rejected"`: Sisa dari penyelesaian "rejected", dengan prompt dihapus.

Mengekstrak prompt bersama dari contoh data preferensi, di mana prompt tersirat di dalam kedua penyelesaian yang dipilih dan yang ditolak.

Fungsi ini mengidentifikasi urutan (prefiks) terpanjang dari giliran percakapan yang sama antara penyelesaian "chosen" dan "rejected", lalu mengekstraknya sebagai prompt. Setelah itu, prompt ini dihapus dari penyelesaian "chosen" dan "rejected" yang bersangkutan.

Contoh:

```python
>>> example = {
...     "chosen": [
...         {"role": "user", "content": "What color is the sky?"},
...         {"role": "assistant", "content": "It is blue."},
...     ],
...     "rejected": [
...         {"role": "user", "content": "What color is the sky?"},
...         {"role": "assistant", "content": "It is green."},
...     ],
... }
>>> extract_prompt(example)
{'prompt': [{'role': 'user', 'content': 'What color is the sky?'}],
 'chosen': [{'role': 'assistant', 'content': 'It is blue.'}],
 'rejected': [{'role': 'assistant', 'content': 'It is green.'}]}
```

Atau, dengan metode `map` dari [Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset):

```python
>>> from trl import extract_prompt
>>> from datasets import Dataset

>>> dataset_dict = {
...     "chosen": [
...         [
...             {"role": "user", "content": "What color is the sky?"},
...             {"role": "assistant", "content": "It is blue."},
...         ],
...         [
...             {"role": "user", "content": "Where is the sun?"},
...             {"role": "assistant", "content": "In the sky."},
...         ],
...     ],
...     "rejected": [
...         [
...             {"role": "user", "content": "What color is the sky?"},
...             {"role": "assistant", "content": "It is green."},
...         ],
...         [
...             {"role": "user", "content": "Where is the sun?"},
...             {"role": "assistant", "content": "In the sea."},
...         ],
...     ],
... }
>>> dataset = Dataset.from_dict(dataset_dict)
>>> dataset = dataset.map(extract_prompt)
>>> dataset[0]
{'prompt': [{'role': 'user', 'content': 'What color is the sky?'}],
 'chosen': [{'role': 'assistant', 'content': 'It is blue.'}],
 'rejected': [{'role': 'assistant', 'content': 'It is green.'}]}
```

## unpair_preference_dataset[[trl.unpair_preference_dataset]]

#### trl.unpair_preference_dataset[[trl.unpair_preference_dataset]]

```python
trl.unpair_preference_dataset(dataset: typing.Union[~DatasetType, ~IterableDatasetType], **map_kwargs)
```

[Sumber](https://github.com/huggingface/trl/blob/v1.18.2/trl/data_utils.py#L445)

**Parameter:**

dataset ([Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset) atau [DatasetDict](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.DatasetDict) atau [IterableDataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.IterableDataset) atau [IterableDatasetDict](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.IterableDatasetDict)) : Dataset preferensi untuk di-unpair. Dataset harus memiliki kolom `"chosen"`, `"rejected"` dan opsional `"prompt"`.

- ****map_kwargs** (`dict`, *opsional*) : Argumen kata kunci tambahan untuk diteruskan ke metode map dataset saat memisahkan preferensi.

**Mengembalikan:**

[Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset) atau [DatasetDict](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.DatasetDict) atau [IterableDataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.IterableDataset) atau [IterableDatasetDict](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.IterableDatasetDict): Dataset preferensi yang tidak berpasangan.

Membuka pasangan dataset preferensi.

Output berisi `"prompt"`, `"completion"`, dan `"label"` ditambah kolom tambahan lainnya, yang diduplikasi untuk setiap baris chosen dan rejected.

Contoh:

```python
>>> from datasets import Dataset

>>> dataset_dict = {
...     "prompt": ["The sky is", "The sun is"],
...     "chosen": [" blue.", "in the sky."],
...     "rejected": [" green.", " in the sea."],
... }
>>> dataset = Dataset.from_dict(dataset_dict)
>>> dataset = unpair_preference_dataset(dataset)
>>> dataset
Dataset({
    features: ['prompt', 'completion', 'label'],
    num_rows: 4
})

>>> dataset[0]
{'prompt': 'The sky is', 'completion': ' blue.', 'label': True}
```

