TRL documentation

Утилиты данных

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Утилиты данных

is_conversational

trl.is_conversational

< >

( example: dict[str, typing.Any] ) → bool

Параметры

  • example (dict[str, Any]) — Одна запись данных из набора данных. Ключи записи могут различаться в зависимости от типа набора данных.

Возвращает

bool

True, если данные представлены в формате диалога, False в противном случае.

Проверьте, находится ли пример в диалоговом формате.

Примеры:

>>> example = {"prompt": [{"role": "user", "content": "What color is the sky?"}]}
>>> is_conversational(example)
True

>>> example = {"prompt": "The sky is"}
>>> is_conversational(example)
False

maybe_convert_to_chatml

trl.maybe_convert_to_chatml

< >

( example: dict[str, list] ) → dict[str, list]

Параметры

  • example (dict[str, list]) — Одна запись данных, содержащая список сообщений.

Возвращает

dict[str, list]

Пример, отформатированный в стиле ChatML.

Преобразование диалогового набора данных с полями from и value в формат ChatML.

Эта функция изменяет данные диалога для приведения их к формату ChatML от OpenAI:

  • Заменяет ключ "from" на "role" в словарях сообщений.
  • Заменяет ключ "value" на "content" в словарях сообщений.
  • Переименовывает "conversations" в "messages" для согласованности с ChatML.

Пример:

>>> from trl import maybe_convert_to_chatml

>>> example = {
...     "conversations": [
...         {"from": "user", "value": "What color is the sky?"},
...         {"from": "assistant", "value": "It is blue."},
...     ]
... }
>>> maybe_convert_to_chatml(example)
{'messages': [{'role': 'user', 'content': 'What color is the sky?'},
              {'role': 'assistant', 'content': 'It is blue.'}]}

extract_prompt

trl.extract_prompt

< >

( example: dict[str, collections.abc.Sequence] ) → dict[str, list]

Параметры

  • example (dict[str, list]) — Словарь, представляющий одну запись данных в наборе предпочтений. Он должен содержать ключи "chosen" и "rejected", где каждое значение является либо диалоговым, либо стандартным (str).

Возвращает

dict[str, list]

Словарь, содержащий:

  • "prompt": самый длинный общий префикс между завершениями «chosen» и «rejected».
  • "chosen": Остальная часть завершения «chosen», с удалённым промптом.
  • "rejected": Остаток «отклонённого» завершения, с удалённым промптом.

Извлекает общий промпт из примера данных предпочтений, где промпт неявно содержится в обоих вариантах завершения — выбранном и отклонённом.

Функция определяет самую длинную общую последовательность (префикс) ходов диалога между завершениями «chosen» и «rejected» и извлекает её в качестве промпта. Затем она удаляет этот промпт из соответствующих завершений «chosen» и «rejected».

Примеры:

>>> example = {
...     "chosen": [
...         {"role": "user", "content": "What color is the sky?"},
...         {"role": "assistant", "content": "It is blue."},
...     ],
...     "rejected": [
...         {"role": "user", "content": "What color is the sky?"},
...         {"role": "assistant", "content": "It is green."},
...     ],
... }
>>> extract_prompt(example)
{'prompt': [{'role': 'user', 'content': 'What color is the sky?'}],
 'chosen': [{'role': 'assistant', 'content': 'It is blue.'}],
 'rejected': [{'role': 'assistant', 'content': 'It is green.'}]}

Или с помощью метода map класса Dataset:

>>> from trl import extract_prompt
>>> from datasets import Dataset

>>> dataset_dict = {
...     "chosen": [
...         [
...             {"role": "user", "content": "What color is the sky?"},
...             {"role": "assistant", "content": "It is blue."},
...         ],
...         [
...             {"role": "user", "content": "Where is the sun?"},
...             {"role": "assistant", "content": "In the sky."},
...         ],
...     ],
...     "rejected": [
...         [
...             {"role": "user", "content": "What color is the sky?"},
...             {"role": "assistant", "content": "It is green."},
...         ],
...         [
...             {"role": "user", "content": "Where is the sun?"},
...             {"role": "assistant", "content": "In the sea."},
...         ],
...     ],
... }
>>> dataset = Dataset.from_dict(dataset_dict)
>>> dataset = dataset.map(extract_prompt)
>>> dataset[0]
{'prompt': [{'role': 'user', 'content': 'What color is the sky?'}],
 'chosen': [{'role': 'assistant', 'content': 'It is blue.'}],
 'rejected': [{'role': 'assistant', 'content': 'It is green.'}]}

unpair_preference_dataset

trl.unpair_preference_dataset

< >

( dataset: typing.Union[~DatasetType, ~IterableDatasetType]**map_kwargs )

Параметры

  • dataset (Dataset или DatasetDict или IterableDataset или IterableDatasetDict) — Набор данных предпочтений для разделения на пары. В наборе данных должны присутствовать столбцы "chosen", "rejected" и, при необходимости, "prompt".
  • **map_kwargs (dict, optional) — Дополнительные именованные аргументы для передачи в метод map набора данных при разбивке предпочтений на пары.

Разделить набор данных предпочтений.

Вывод содержит "prompt", "completion" и "label", а также любые дополнительные столбцы, которые дублируются для каждой выбранной и отклонённой строки.

Пример:

>>> from datasets import Dataset

>>> dataset_dict = {
...     "prompt": ["The sky is", "The sun is"],
...     "chosen": [" blue.", "in the sky."],
...     "rejected": [" green.", " in the sea."],
... }
>>> dataset = Dataset.from_dict(dataset_dict)
>>> dataset = unpair_preference_dataset(dataset)
>>> dataset
Dataset({
    features: ['prompt', 'completion', 'label'],
    num_rows: 4
})

>>> dataset[0]
{'prompt': 'The sky is', 'completion': ' blue.', 'label': True}
Update on GitHub