# Trainer

Kelas [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer) menyediakan API untuk pelatihan yang lengkap fitur di PyTorch, dan mendukung pelatihan terdistribusi di beberapa GPU/TPU, presisi campuran untuk [NVIDIA GPUs](https://nvidia.github.io/apex/), [AMD GPUs](https://rocm.docs.amd.com/en/latest/rocm.html), dan [`torch.amp`](https://pytorch.org/docs/stable/amp.html) untuk PyTorch. [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer) berjalan beriringan dengan kelas [TrainingArguments](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.TrainingArguments), yang menawarkan berbagai opsi untuk menyesuaikan cara model dilatih. Bersama-sama, kedua kelas ini menyediakan API pelatihan yang lengkap.

[Seq2SeqTrainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Seq2SeqTrainer) dan [Seq2SeqTrainingArguments](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Seq2SeqTrainingArguments) mewarisi dari kelas [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer) dan [TrainingArguments](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.TrainingArguments), dan keduanya diadaptasi untuk melatih model untuk tugas sequence-to-sequence seperti ringkasan atau terjemahan.

Kelas [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer) dioptimalkan untuk model 🤗 Transformers dan dapat menunjukkan perilaku yang mengejutkan saat digunakan dengan model lain. Saat menggunakannya dengan model Anda sendiri, pastikan:

- model Anda selalu mengembalikan tuple atau subkelas dari [ModelOutput](/docs/transformers/v5.23.0/id/main_classes/output#transformers.utils.ModelOutput)
- model Anda dapat menghitung loss jika argumen `labels` disediakan dan loss tersebut dikembalikan sebagai elemen pertama dari tuple (jika model Anda mengembalikan tuple)
- model Anda dapat menerima beberapa argumen label (gunakan `label_names` di [TrainingArguments](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.TrainingArguments) untuk menunjukkan nama mereka ke [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer)) tetapi tidak ada yang boleh diberi nama `"label"`

## Pelatih[[api-reference]][[transformers.Trainer]]

#### transformers.Trainer[[transformers.Trainer]]

```python
transformers.Trainer(model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, NoneType] = None, args: transformers.training_args.TrainingArguments | None = None, data_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = None, train_dataset: Dataset | IterableDataset | datasets.Dataset | None = None, eval_dataset: Dataset | dict[str, Dataset] | datasets.Dataset | None = None, processing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.image_processing_utils.BaseImageProcessor | transformers.feature_extraction_utils.FeatureExtractionMixin | transformers.processing_utils.ProcessorMixin | None = None, model_init: collections.abc.Callable[..., transformers.modeling_utils.PreTrainedModel] | None = None, compute_loss_func: collections.abc.Callable | None = None, compute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = None, callbacks: list[transformers.trainer_callback.TrainerCallback] | None = None, optimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None), optimizer_cls_and_kwargs: tuple[type[torch.optim.Optimizer], dict[str, typing.Any]] | None = None, preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L260)

**Parameter:**

model ([PreTrainedModel](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel) atau `torch.nn.Module`, *opsional*) : Model yang akan dilatih, dievaluasi, atau digunakan untuk prediksi. Jika tidak disediakan, `model_init` harus diteruskan.    [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer) dioptimalkan untuk bekerja dengan [PreTrainedModel](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel) yang disediakan oleh pustaka. Anda tetap dapat menggunakan model Anda sendiri yang didefinisikan sebagai `torch.nn.Module` selama mereka bekerja dengan cara yang sama seperti model 🤗 Transformers.

args ([TrainingArguments](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.TrainingArguments), *opsional*) : Argumen untuk penyesuaian pelatihan. Akan secara default menggunakan instance dasar dari [TrainingArguments](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.TrainingArguments) dengan `output_dir` yang diatur ke direktori bernama *tmp_trainer* di direktori saat ini jika tidak disediakan.

data_collator (`DataCollator`, *opsional*) : Fungsi yang digunakan untuk membentuk batch dari daftar elemen `train_dataset` atau `eval_dataset`. Akan menggunakan [default_data_collator()](/docs/transformers/v5.23.0/id/main_classes/data_collator#transformers.default_data_collator) secara default jika tidak ada `processing_class` yang diberikan, atau instance dari [DataCollatorWithPadding](/docs/transformers/v5.23.0/id/main_classes/data_collator#transformers.DataCollatorWithPadding) jika processing_class adalah feature extractor atau tokenizer.

train_dataset (`torch.utils.data.Dataset` | `torch.utils.data.IterableDataset` | `datasets.Dataset`, *opsional*) : Dataset yang akan digunakan untuk pelatihan. Jika berupa [Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset), kolom yang tidak diterima oleh metode `model.forward()` akan dihapus secara otomatis. Perhatikan bahwa jika berupa `torch.utils.data.IterableDataset` dengan beberapa randomisasi dan Anda melatih secara terdistribusi, dataset iterable Anda harus menggunakan atribut internal `generator` yang merupakan `torch.Generator` untuk randomisasi yang harus identik di semua proses (dan Trainer akan secara manual mengatur seed dari `generator` ini di setiap epoch) atau memiliki metode `set_epoch()` yang secara internal mengatur seed dari RNG yang digunakan. Jika dataset tidak mengimplementasikan `__len__` (misalnya `IterableDataset` streaming), `max_steps` harus diatur, karena jumlah total langkah pelatihan tidak dapat disimpulkan.

eval_dataset (`torch.utils.data.Dataset` | dict[str, `torch.utils.data.Dataset`] | `datasets.Dataset`, *opsional*) : Dataset yang akan digunakan untuk evaluasi. Jika berupa [Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset), kolom yang tidak diterima oleh metode `model.forward()` akan dihapus secara otomatis. Jika berupa kamus, evaluasi akan dilakukan pada setiap dataset dengan menambahkan kunci kamus di depan nama metrik.

processing_class (`PreTrainedTokenizerBase` atau `BaseImageProcessor` atau `FeatureExtractionMixin` atau `ProcessorMixin`, *opsional*) : Kelas pemrosesan yang digunakan untuk memproses data. Jika disediakan, kelas ini akan digunakan untuk memproses input model secara otomatis, dan akan disimpan bersama model untuk memudahkan pelanjutan pelatihan yang terputus atau penggunaan ulang model yang telah dihaluskan.

model_init (`Callable[[], PreTrainedModel]`, *opsional*) : Fungsi yang menginstansiasi model yang akan digunakan. Jika disediakan, setiap pemanggilan [train()](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer.train) akan dimulai dari instans baru dari model sesuai dengan fungsi ini. Fungsi tersebut dapat memiliki nol argumen, atau satu argumen tunggal yang berisi objek trial optuna/Ray Tune, untuk dapat memilih arsitektur yang berbeda sesuai dengan hiperparameter (seperti jumlah layer, ukuran layer internal, probabilitas dropout, dll).

compute_loss_func (`Callable`, *opsional*) : Fungsi yang menerima output model mentah, label, dan jumlah item dalam batch akumulasi keseluruhan (batch_size * gradient_accumulation_steps) dan mengembalikan loss. Sebagai contoh, lihat [fungsi loss](https://github.com/huggingface/transformers/blob/052e652d6d53c2b26ffde87e039b723949a53493/src/transformers/trainer.py#L3618) default yang digunakan oleh [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer).

compute_metrics (`Callable[[EvalPrediction], Dict]`, *opsional*) : Fungsi yang akan digunakan untuk menghitung metrik saat evaluasi. Harus menerima [EvalPrediction](/docs/transformers/v5.23.0/id/internal/trainer_utils#transformers.EvalPrediction) dan mengembalikan kamus dari string ke nilai metrik. *Catatan* Saat meneruskan TrainingArgs dengan `batch_eval_metrics` diatur ke `True`, fungsi compute_metrics Anda harus menerima argumen boolean `compute_result`. Ini akan dipicu setelah batch evaluasi terakhir untuk memberi sinyal bahwa fungsi perlu menghitung dan mengembalikan statistik ringkasan global, bukan mengakumulasi statistik tingkat batch

callbacks (Daftar [TrainerCallback](/docs/transformers/v5.23.0/id/main_classes/callback#transformers.TrainerCallback), *opsional*) : Daftar callback untuk menyesuaikan loop pelatihan. Callback tersebut akan ditambahkan ke daftar callback default yang dijelaskan di [ sini](callback). Jika Anda ingin menghapus salah satu callback default yang digunakan, gunakan metode [Trainer.remove_callback()](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer.remove_callback).

optimizers (`tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]`, *opsional*, defaultnya `(None, None)`) : Tuple yang berisi optimizer dan scheduler yang akan digunakan. Secara default akan menggunakan instance `AdamW` pada model Anda dan scheduler yang diberikan oleh [get_linear_schedule_with_warmup()](/docs/transformers/v5.23.0/id/main_classes/optimizer_schedules#transformers.get_linear_schedule_with_warmup) yang dikendalikan oleh `args`.

optimizer_cls_and_kwargs (`tuple[Type[torch.optim.Optimizer], dict[str, Any]]`, *opsional*) : Tuple yang berisi kelas optimizer dan argumen kata kunci untuk digunakan. Menimpa `optim` dan `optim_args` di `args`. Tidak kompatibel dengan argumen `optimizers`. Berbeda dengan `optimizers`, argumen ini menghindari kebutuhan untuk menempatkan parameter model pada perangkat yang benar sebelum menginisialisasi Trainer.

preprocess_logits_for_metrics (`Callable[[torch.Tensor, torch.Tensor], torch.Tensor]`, *opsional*) : Fungsi yang memproses ulang logits tepat sebelum disimpan ke cache pada setiap langkah evaluasi. Fungsi ini harus menerima dua tensor, yaitu logits dan label, lalu mengembalikan logits setelah diproses sesuai keinginan. Modifikasi yang dilakukan oleh fungsi ini akan tercermin pada prediksi yang diterima oleh `compute_metrics`. Perhatikan bahwa label (parameter kedua) akan bernilai `None` jika dataset tidak memilikinya.

Trainer adalah loop pelatihan dan evaluasi yang sederhana namun lengkap untuk PyTorch, dioptimalkan untuk 🤗 Transformers.

Atribut penting:

- **model** -- Selalu menunjuk ke model inti. Jika menggunakan model transformers, ini akan menjadi subclass dari [PreTrainedModel](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel).
- **model_wrapped** -- Selalu menunjuk ke model paling eksternal jika satu atau lebih modul lain membungkus model asli. Ini adalah model yang harus digunakan untuk forward pass. Misalnya, di bawah `DeepSpeed`, model internal dibungkus dalam `DeepSpeed` dan kemudian lagi dalam `torch.nn.DistributedDataParallel`. Jika model internal belum dibungkus, maka `self.model_wrapped` sama dengan `self.model`.
- **is_model_parallel** -- Apakah model telah beralih ke mode model parallel (berbeda dari data parallelism, ini berarti beberapa lapisan model dipecah ke GPU yang berbeda).
- **place_model_on_device** -- Apakah model akan ditempatkan secara otomatis pada perangkat. Nilainya secara bawaan adalah `True` kecuali model parallel, DeepSpeed, FSDP, evaluasi fp16/bf16 penuh, atau SageMaker MP sedang aktif. Dapat ditimpa dengan membuat subkelas dari `TrainingArguments` dan menimpa properti `place_model_on_device`.
- **is_in_train** -- Apakah model sedang menjalankan `train` (misalnya ketika `evaluate` dipanggil saat dalam `train`)
- **loss_is_scaled_for_ga** -- Apakah loss yang dikembalikan oleh `compute_loss` sudah diskalakan untuk akumulasi gradien. `True`: `training_step` menggunakannya apa adanya. `False`: `training_step` membaginya dengan jumlah langkah akumulasi gradien. `None` (default): loss dianggap sudah diskalakan jika dinormalisasi oleh `num_items_in_batch`, yaitu ketika model menerima loss kwargs atau `compute_loss_func` diberikan. Subkelas yang menghitung loss mereka sendiri harus menyetelnya.

#### add_callback[[transformers.Trainer.add_callback]]

```python
add_callback(callback: type[transformers.trainer_callback.TrainerCallback] | transformers.trainer_callback.TrainerCallback)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L4692)

**Parameter:**

callback (`type` atau [`~transformers.TrainerCallback]`) : Kelas [TrainerCallback](/docs/transformers/v5.23.0/id/main_classes/callback#transformers.TrainerCallback) atau instance dari [TrainerCallback](/docs/transformers/v5.23.0/id/main_classes/callback#transformers.TrainerCallback). Pada kasus pertama, akan menginstansiasi anggota dari kelas tersebut.

Tambahkan callback ke daftar [TrainerCallback](/docs/transformers/v5.23.0/id/main_classes/callback#transformers.TrainerCallback) saat ini.

#### autocast_smart_context_manager[[transformers.Trainer.autocast_smart_context_manager]]

```python
autocast_smart_context_manager(cache_enabled: bool | None = True)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L2223)

Wrapper pembantu yang membuat context manager yang sesuai untuk `autocast` sambil memasok argumen yang diinginkan, tergantung pada situasinya. Kami mengandalkan accelerate untuk autocast, sehingga kami tidak melakukan apa pun di sini.

#### call_model_init[[transformers.Trainer.call_model_init]]

```python
call_model_init(trial: optuna.Trial | dict[str, Any] | None = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L4583)

Panggil `model_init` untuk mendapatkan instance model baru, secara opsional dikondisikan pada trial hiperparameter.

#### compute_loss[[transformers.Trainer.compute_loss]]

```python
compute_loss(model: Module, inputs: dict[str, typing.Union[torch.Tensor, typing.Any]], return_outputs: bool = False, num_items_in_batch: typing.Union[int, torch.Tensor, NoneType] = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L2122)

**Parameter:**

model (`nn.Module`) : Model untuk menghitung loss.

inputs (`dict[str, torch.Tensor | Any]`) : Data input untuk model.

return_outputs (`bool`, *opsional*, defaultnya `False`) : Apakah akan mengembalikan output model bersama dengan loss.

num_items_in_batch (Optional[torch.Tensor], *opsional*) : Jumlah item dalam batch. Jika tidak diberikan, loss dihitung menggunakan logika pengurangan ukuran batch default.

**Mengembalikan:**

Loss model beserta output-nya jika return_outputs diset ke True

Cara loss dihitung oleh Trainer. Secara default, semua model mengembalikan loss di elemen pertama.

Subclass dan override untuk perilaku kustom. Jika Anda menghitung loss Anda sendiri, atur `loss_is_scaled_for_ga` untuk menyatakan apakah loss tersebut sudah diskalakan untuk akumulasi gradien: `False` jika itu adalah rata-rata per-batch (Trainer kemudian membaginya dengan jumlah langkah akumulasi gradien), `True` jika Anda sudah menormalisasikannya di seluruh batch yang terakumulasi.

#### compute_loss_context_manager[[transformers.Trainer.compute_loss_context_manager]]

```python
compute_loss_context_manager()
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L2211)

Wrapper pembantu untuk mengelompokkan beberapa context manager.

#### create_accelerator_and_postprocess[[transformers.Trainer.create_accelerator_and_postprocess]]

```python
create_accelerator_and_postprocess()
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L806)

Buat accelerator dan lakukan setup pasca-pembuatan (FSDP, DeepSpeed, dll.).

#### create_model_card[[transformers.Trainer.create_model_card]]

```python
create_model_card(language: str | None = None, license: str | None = None, tags: str | list[str] | None = None, model_name: str | None = None, finetuned_from: str | None = None, tasks: str | list[str] | None = None, dataset_tags: str | list[str] | None = None, dataset: str | list[str] | None = None, dataset_args: str | list[str] | None = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L4263)

**Parameter:**

language (`str`, *opsional*) : Bahasa model (jika berlaku)

license (`str`, *opsional*) : Lisensi dari model. Akan secara default menggunakan lisensi dari model pretrained yang digunakan, jika model asli yang diberikan ke `Trainer` berasal dari repo di Hub.

tags (`str` atau `list[str]`, *opsional*) : Beberapa tag yang akan disertakan dalam metadata kartu model.

model_name (`str`, *opsional*) : Nama model.

finetuned_from (`str`, *opsional*) : Nama model yang digunakan untuk fine-tune model ini (jika berlaku). Akan secara default menggunakan nama repo dari model asli yang diberikan ke `Trainer` (jika berasal dari Hub).

tasks (`str` atau `list[str]`, *opsional*) : Satu atau beberapa pengidentifikasi tugas, untuk disertakan dalam metadata kartu model.

dataset_tags (`str` atau `list[str]`, *opsional*) : Satu atau beberapa tag dataset, untuk disertakan dalam metadata kartu model.

dataset (`str` atau `list[str]`, *opsional*) : Satu atau beberapa pengidentifikasi dataset, untuk disertakan dalam metadata kartu model.

dataset_args (`str` atau `list[str]`, *opsional*) : Satu atau beberapa argumen dataset, untuk disertakan dalam metadata kartu model.

Membuat draf kartu model menggunakan informasi yang tersedia pada `Trainer`.

#### create_optimizer[[transformers.Trainer.create_optimizer]]

```python
create_optimizer(model = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L1259)

**Mengembalikan:** `torch.optim.Optimizer`

Instans optimizer.

Siapkan optimizer.

Kami menyediakan nilai default yang wajar dan berfungsi dengan baik. Jika Anda ingin menggunakan sesuatu yang lain, Anda dapat meneruskan tuple melalui `optimizers` di init Trainer, atau membuat subclass dan menimpa metode ini di subclass tersebut.

#### create_optimizer_and_scheduler[[transformers.Trainer.create_optimizer_and_scheduler]]

```python
create_optimizer_and_scheduler(num_training_steps: int)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L1248)

Siapkan optimizer dan learning rate scheduler.

Kami menyediakan nilai default yang wajar dan berfungsi dengan baik. Jika Anda ingin menggunakan sesuatu yang lain, Anda dapat meneruskan tuple melalui `optimizers` di init Trainer, atau membuat subclass dan menimpa metode ini (atau `create_optimizer` dan/atau `create_scheduler`) di subclass tersebut.

#### create_scheduler[[transformers.Trainer.create_scheduler]]

```python
create_scheduler(num_training_steps: int, optimizer: typing.Optional[torch.optim.Optimizer] = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L1347)

**Parameter:**

num_training_steps (int) : Jumlah langkah pelatihan yang akan dilakukan.

**Mengembalikan:** `torch.optim.lr_scheduler.LRScheduler`

Instans penjadwal laju pembelajaran.

Siapkan scheduler. Optimizer dari trainer harus sudah disiapkan sebelum metode ini dipanggil atau diteruskan sebagai argumen.

#### akhir[[transformers.Trainer.end]]

```python
end()
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L3105)

Selesaikan pelacak dan hancurkan grup proses terdistribusi.

Panggil ini sekali, di bagian paling akhir skrip, setelah semua hal yang membutuhkan proses lain: [train()](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer.train), [evaluate()](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer.evaluate), [predict()](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer.predict), [save_model()](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer.save_model) dan [push_to_hub()](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer.push_to_hub) semuanya berkomunikasi antar proses dan akan gagal setelah grupnya hilang.

Contoh:

```python
trainer.train()
trainer.evaluate()
trainer.push_to_hub()
trainer.end()
```

#### evaluate[[transformers.Trainer.evaluate]]

```python
evaluate(eval_dataset: typing.Union[torch.utils.data.Dataset, dict[str, torch.utils.data.Dataset], NoneType] = None, ignore_keys: list[str] | None = None, metric_key_prefix: str = 'eval')
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L2797)

**Parameter:**

eval_dataset (`Dataset` | dict[str, `Dataset`], *opsional*) : Sampaikan dataset jika Anda ingin menimpa `self.eval_dataset`. Jika berupa [Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset), kolom yang tidak diterima oleh metode `model.forward()` akan dihapus secara otomatis. Jika berupa kamus, evaluasi akan dilakukan pada setiap dataset, dengan menambahkan kunci kamus di depan nama metrik.    Jika Anda menyampaikan kamus dengan nama dataset sebagai kunci dan dataset sebagai nilai, evaluate akan menjalankan evaluasi terpisah pada setiap dataset. Hal ini dapat berguna untuk memantau bagaimana pelatihan memengaruhi dataset lain atau sekadar untuk mendapatkan evaluasi yang lebih rinci. Saat digunakan dengan `load_best_model_at_end`, pastikan `metric_for_best_model` merujuk tepat pada salah satu dataset. Jika, misalnya, Anda menyampaikan `{"data1": data1, "data2": data2}` untuk dua dataset `data1` dan `data2`, Anda dapat menentukan `metric_for_best_model="eval_data1_loss"` untuk menggunakan loss pada `data1` dan `metric_for_best_model="eval_data2_loss"` untuk loss pada `data2`.

ignore_keys (`list[str]`, *opsional*) : Daftar kunci dalam output model Anda (jika berupa kamus) yang harus diabaikan saat mengumpulkan prediksi.

metric_key_prefix (`str`, *opsional*, defaultnya `"eval"`) : Prefiks opsional yang akan digunakan sebagai prefiks kunci metrik. Misalnya, metrik "bleu" akan diberi nama "eval_bleu" jika prefiksnya adalah "eval" (default)

**Mengembalikan:**

Kamus yang berisi loss evaluasi dan metrik potensial yang dihitung dari prediksi. Kamus ini juga berisi nomor epoch yang berasal dari status pelatihan.

Jalankan evaluasi dan kembalikan metrik.

Skrip pemanggil akan bertanggung jawab untuk menyediakan metode untuk menghitung metrik, karena metrik tersebut bergantung pada tugas (sampaikan ke argumen `compute_metrics` pada init).

Anda juga dapat membuat subkelas dan menimpa metode ini untuk menyuntikkan perilaku khusus.

#### evaluation_loop[[transformers.Trainer.evaluation_loop]]

```python
evaluation_loop(dataloader: DataLoader, description: str, prediction_loss_only: bool | None = None, ignore_keys: list[str] | None = None, metric_key_prefix: str = 'eval')
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L2896)

Loop prediksi/evaluasi, yang digunakan bersama oleh `Trainer.evaluate()` dan `Trainer.predict()`.

Berfungsi baik dengan maupun tanpa label.

#### floating_point_ops[[transformers.Trainer.floating_point_ops]]

```python
floating_point_ops(inputs: dict[str, typing.Union[torch.Tensor, typing.Any]])
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L4216)

**Parameter:**

inputs (`dict[str, torch.Tensor | Any]`) : Input dan target dari model.

**Mengembalikan:** `int`

Jumlah operasi bilangan pecahan mengambang.

Untuk model yang mewarisi dari [PreTrainedModel](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel), gunakan metode tersebut untuk menghitung jumlah operasi titik apung untuk setiap jalur mundur + maju. Jika menggunakan model lain, terapkan metode semacam itu di dalam model atau turunkan kelas dan timpa metode ini.

#### get_batch_samples[[transformers.Trainer.get_batch_samples]]

```python
get_batch_samples(epoch_iterator: Iterator, num_batches: int, device: device)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L2281)

Mengumpulkan sejumlah batch tertentu dari iterator epoch dan secara opsional menghitung jumlah item dalam batch untuk menskalakan loss dengan tepat.

#### get_cp_size[[transformers.Trainer.get_cp_size]]

```python
get_cp_size()
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L2583)

Dapatkan ukuran paralel konteks

#### get_decay_parameter_names[[transformers.Trainer.get_decay_parameter_names]]

```python
get_decay_parameter_names(model: Module)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L1408)

Dapatkan semua nama parameter yang akan diterapkan weight decay.

Fungsi ini menyaring parameter dengan dua cara:
1. Berdasarkan jenis layer (instans dari layer yang ditentukan dalam ALL_LAYERNORM_LAYERS)
2. Berdasarkan pola nama parameter (mengandung 'bias', atau variasi dari 'norm')

#### get_eval_dataloader[[transformers.Trainer.get_eval_dataloader]]

```python
get_eval_dataloader(eval_dataset: typing.Union[str, torch.utils.data.Dataset, NoneType] = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L936)

**Parameter:**

eval_dataset (`str` atau `torch.utils.data.Dataset`, *opsional*) : Jika berupa `str`, akan menggunakan `self.eval_dataset[eval_dataset]` sebagai dataset evaluasi. Jika berupa `Dataset`, akan menimpa `self.eval_dataset`. Jika berupa [Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset), kolom yang tidak diterima oleh metode `model.forward()` akan dihapus secara otomatis.

Mengembalikan `~torch.utils.data.DataLoader` evaluasi.

Subclass dan override metode ini jika Anda ingin menyuntikkan perilaku kustom.

#### get_learning_rates[[transformers.Trainer.get_learning_rates]]

```python
get_learning_rates()
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer_pt_utils.py#L1304)

Mengembalikan tingkat pembelajaran dari setiap parameter di self.optimizer.

#### get_num_trainable_parameters[[transformers.Trainer.get_num_trainable_parameters]]

```python
get_num_trainable_parameters()
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer_pt_utils.py#L1296)

Dapatkan jumlah parameter yang dapat dilatih.

#### get_optimizer_cls_and_kwargs[[transformers.Trainer.get_optimizer_cls_and_kwargs]]

```python
get_optimizer_cls_and_kwargs(args: TrainingArguments, model: transformers.modeling_utils.PreTrainedModel | None = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L1377)

**Parameter:**

args (`transformers.training_args.TrainingArguments`) : Argumen pelatihan untuk sesi pelatihan.

model (`PreTrainedModel`, *opsional*) : Model yang sedang dilatih. Diperlukan untuk beberapa optimizer (GaLore, Apollo, LOMO).

**Mengembalikan:**

Tuple yang berisi kelas optimizer dan kamus argumen kata kunci optimizer.

Mengembalikan kelas optimizer dan parameter optimizer berdasarkan argumen pelatihan.

#### get_optimizer_group[[transformers.Trainer.get_optimizer_group]]

```python
get_optimizer_group(param: typing.Union[str, torch.nn.parameter.Parameter, NoneType] = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer_pt_utils.py#L1314)

**Parameter:**

param (`str` atau `torch.nn.parameter.Parameter`, *opsional*) : Parameter yang grup optimizernya perlu dikembalikan.

Mengembalikan grup optimizer untuk parameter jika diberikan, jika tidak mengembalikan semua grup optimizer untuk parameter.

#### get_sp_size[[transformers.Trainer.get_sp_size]]

```python
get_sp_size()
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L2575)

Dapatkan ukuran paralel sekuens

#### get_test_dataloader[[transformers.Trainer.get_test_dataloader]]

```python
get_test_dataloader(test_dataset: Dataset)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L975)

**Parameter:**

test_dataset (`torch.utils.data.Dataset`, *opsional*) : Dataset pengujian yang akan digunakan. Jika berupa [Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset), kolom yang tidak diterima oleh metode `model.forward()` akan dihapus secara otomatis.

Mengembalikan `~torch.utils.data.DataLoader` untuk pengujian.

Subclass dan override metode ini jika Anda ingin menyuntikkan perilaku kustom.

#### get_total_train_batch_size[[transformers.Trainer.get_total_train_batch_size]]

```python
get_total_train_batch_size(args: TrainingArguments)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L2557)

Menghitung ukuran batch total (micro_batch * grad_accum * dp_world_size).

Mencakup semua dimensi paralelisme: TP, CP, dan SP.

Formula: dp_world_size = world_size // (tp_size * cp_size * sp_size)

Di mana:
- TP (Tensor Parallelism): Lapisan model dibagi di antara GPU
- CP (Context Parallelism): Urutan dipecah menggunakan Ring Attention (FSDP2)
- SP (Sequence Parallelism): Urutan dipecah menggunakan ALST/Ulysses (DeepSpeed)

Semua dimensi bersifat terpisah dan multiplikatif: world_size = dp_size * tp_size * cp_size * sp_size

#### get_tp_size[[transformers.Trainer.get_tp_size]]

```python
get_tp_size()
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L2591)

Dapatkan ukuran paralel tensor dari model atau konfigurasi DeepSpeed.

#### get_train_dataloader[[transformers.Trainer.get_train_dataloader]]

```python
get_train_dataloader()
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L916)

Mengembalikan `~torch.utils.data.DataLoader` pelatihan.

Akan menggunakan sampler kosong jika `train_dataset` tidak mengimplementasikan `__len__`, atau sampler acak (yang disesuaikan untuk pelatihan terdistribusi jika diperlukan) jika sebaliknya.

Subclass dan override metode ini jika Anda ingin menyuntikkan perilaku kustom.

#### hyperparameter_search[[transformers.Trainer.hyperparameter_search]]

```python
hyperparameter_search(hp_space: collections.abc.Callable[['optuna.Trial'], dict[str, float]] | None = None, compute_objective: collections.abc.Callable[[dict[str, float]], float] | None = None, n_trials: int = 20, direction: str | list[str] = 'minimize', backend: str | transformers.trainer_utils.HPSearchBackend | None = None, hp_name: collections.abc.Callable[['optuna.Trial'], str] | None = None, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L4502)

**Parameter:**

hp_space (`Callable[["optuna.Trial"], dict[str, float]]`, *opsional*) : Fungsi yang mendefinisikan ruang pencarian hiperparameter. Akan secara default menggunakan `default_hp_space_optuna()` atau `default_hp_space_ray()` tergantung pada backend Anda.

compute_objective (`Callable[[dict[str, float]], float]`, *opsional*) : Fungsi yang menghitung tujuan untuk diminimalkan atau dimaksimalkan dari metrik yang dikembalikan oleh metode `evaluate`. Akan secara default menggunakan `default_compute_objective()`.

n_trials (`int`, *opsional*, default 100) : Jumlah eksekusi uji coba untuk pengujian.

direction (`str` atau `list[str]`, *opsional*, defaultnya `"minimize"`) : Jika ini adalah optimasi tujuan tunggal, direction adalah `str`, bisa berupa `"minimize"` atau `"maximize"`, Anda harus memilih `"minimize"` saat mengoptimalkan validation loss, dan `"maximize"` saat mengoptimalkan satu atau beberapa metrik. Jika ini adalah optimasi multi tujuan, direction adalah `list[str]`, bisa berupa List dari `"minimize"` dan `"maximize"`, Anda harus memilih `"minimize"` saat mengoptimalkan validation loss, dan `"maximize"` saat mengoptimalkan satu atau beberapa metrik.

backend (`str` atau `~training_utils.HPSearchBackend`, *opsional*) : Backend yang akan digunakan untuk pencarian hiperparameter. Akan secara default menggunakan optuna atau Ray Tune, tergantung pada salah satu yang terinstal. Jika semuanya terinstal, akan secara default menggunakan optuna.

hp_name (`Callable[["optuna.Trial"], str]]`, *opsional*) : Fungsi yang mendefinisikan nama trial/eksekusi. Akan default ke None.

kwargs (`dict[str, Any]`, *opsional*) : Argumen kata kunci tambahan untuk setiap backend: - `optuna`: parameter dari [optuna.study.create_study](https://optuna.readthedocs.io/en/stable/reference/generated/optuna.study.create_study.html) dan juga parameter `timeout`, `n_jobs` dan `gc_after_trial` dari [optuna.study.Study.optimize](https://optuna.readthedocs.io/en/stable/reference/generated/optuna.study.Study.html#optuna.study.Study.optimize) - `ray`: parameter dari [tune.run](https://docs.ray.io/en/latest/tune/api_docs/execution.html#tune-run). Jika `resources_per_trial` tidak diatur dalam `kwargs`, nilainya secara default 1 inti CPU dan 1 GPU (jika tersedia). Jika `progress_reporter` tidak diatur dalam `kwargs`, [ray.tune.CLIReporter](https://docs.ray.io/en/latest/tune/api/doc/ray.tune.CLIReporter.html) yang digunakan.

**Mengembalikan:** [`trainer_utils.BestRun` atau `list[trainer_utils.BestRun]`]

Semua informasi tentang run terbaik atau run-run terbaik untuk optimasi multi-objektif. Ringkasan eksperimen dapat ditemukan di atribut `run_summary` untuk backend Ray.

Luncurkan pencarian hiperparameter menggunakan `optuna` atau `Ray Tune`. Kuantitas yang dioptimalkan ditentukan oleh `compute_objective`, yang secara default berupa fungsi yang mengembalikan evaluasi loss jika tidak ada metrik yang diberikan, atau jumlah dari semua metrik jika ada.

Untuk menggunakan metode ini, Anda harus menyediakan `model_init` saat menginisialisasi [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer) Anda: model perlu diinisialisasi ulang pada setiap run baru. Hal ini tidak kompatibel dengan argumen `optimizers`, sehingga Anda perlu membuat subclass dari [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer) dan menimpa metode [create_optimizer_and_scheduler()](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer.create_optimizer_and_scheduler) untuk optimizer/scheduler kustom.

#### init_hf_repo[[transformers.Trainer.init_hf_repo]]

```python
init_hf_repo(token: str | None = None, private: bool | None = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L4237)

**Parameter:**

token (`str`, *opsional*) : Token dengan izin tulis. Bawaan adalah `self.args.hub_token`.

private (`bool`, *opsional*) : Apakah membuat repo menjadi privat saat dibuat. Bawaan adalah `self.args.hub_private_repo`. Tidak berpengaruh jika repo sudah ada.

Menginisialisasi repositori git di `self.args.hub_model_id`.

#### is_local_process_zero[[transformers.Trainer.is_local_process_zero]]

```python
is_local_process_zero()
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L4732)

Apakah proses ini merupakan proses utama lokal (misalnya, pada satu mesin jika pelatihan dilakukan secara terdistribusi di beberapa mesin).

#### is_world_process_zero[[transformers.Trainer.is_world_process_zero]]

```python
is_world_process_zero()
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L4739)

Apakah proses ini merupakan proses utama global (saat pelatihan dilakukan secara terdistribusi di beberapa mesin, ini hanya akan bernilai `True` untuk satu proses).

#### log[[transformers.Trainer.log]]

```python
log(logs: dict[str, float], start_time: float | None = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L4181)

**Parameter:**

logs (`dict[str, float]`) : Nilai yang akan dicatat.

start_time (`Optional[float]`) : Awal dari pelatihan.

Catat `logs` pada berbagai objek yang memantau pelatihan.

Subclass dan override metode ini untuk menyuntikkan perilaku kustom.

#### log_metrics[[transformers.Trainer.log_metrics]]

```python
log_metrics(split, metrics)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer_pt_utils.py#L1152)

**Parameter:**

split (`str`) : Nama mode/split: salah satu dari `train`, `eval`, `test`

metrics (`dict[str, float]`) : Metrik yang dikembalikan dari train/evaluate/predictmetrics: dict metrik

Catat metrik dengan cara yang diformat secara khusus.

Dalam lingkungan terdistribusi, ini hanya dilakukan untuk proses dengan rank 0.

Catatan tentang laporan memori:

Untuk mendapatkan laporan penggunaan memori, Anda perlu menginstal `psutil`. Anda dapat melakukannya dengan `pip install psutil`.

Sekarang, ketika metode ini dijalankan, Anda akan melihat laporan yang mencakup:

```
init_mem_cpu_alloc_delta   =     1301MB
init_mem_cpu_peaked_delta  =      154MB
init_mem_gpu_alloc_delta   =      230MB
init_mem_gpu_peaked_delta  =        0MB
train_mem_cpu_alloc_delta  =     1345MB
train_mem_cpu_peaked_delta =        0MB
train_mem_gpu_alloc_delta  =      693MB
train_mem_gpu_peaked_delta =        7MB
```

**Memahami laporan:**

- segmen pertama, misalnya `train__`, menunjukkan tahap apa yang menjadi fokus metrik tersebut. Laporan yang diawali dengan `init_` akan ditambahkan ke tahap pertama yang dijalankan. Jadi, jika hanya evaluasi yang dijalankan, penggunaan memori untuk `__init__` akan dilaporkan bersama metrik `eval_`.
- segmen ketiga, yaitu `cpu` atau `gpu`, menunjukkan apakah itu metrik RAM umum atau memori gpu0.
- `*_alloc_delta` - adalah selisih pada penghitung memori terpakai/teralokasi antara akhir dan awal tahap - nilainya bisa negatif jika sebuah fungsi melepaskan lebih banyak memori daripada yang dialokasikannya.
- `*_peaked_delta` - adalah memori tambahan apa pun yang dikonsumsi lalu dibebaskan - relatif terhadap penghitung memori yang dialokasikan saat ini - nilainya tidak pernah negatif. Saat Anda melihat metrik dari tahap mana pun, Anda menjumlahkan `alloc_delta` + `peaked_delta` dan Anda mengetahui berapa banyak memori yang dibutuhkan untuk menyelesaikan tahap tersebut.

Pelaporan hanya terjadi untuk proses dengan rank 0 dan gpu 0 (jika ada gpu). Biasanya ini sudah cukup karena proses utama melakukan sebagian besar pekerjaan, tetapi hal ini mungkin tidak sepenuhnya berlaku jika model parallel digunakan, karena GPU lain dapat menggunakan jumlah memori gpu yang berbeda. Ini juga tidak sama di bawah DataParallel, di mana gpu0 mungkin membutuhkan jauh lebih banyak memori daripada sisanya karena menyimpan gradien dan status optimizer untuk semua GPU yang berpartisipasi. Mungkin di masa depan, laporan-laporan ini akan berkembang untuk mengukur hal-hal tersebut juga.

Metrik CPU RAM mengukur RSS (Resident Set Size) yang mencakup memori unik untuk proses dan memori yang dibagikan dengan proses lain. Penting untuk dicatat bahwa metrik ini tidak mencakup memori yang di-swap, sehingga laporan bisa tidak akurat.

Memori puncak CPU diukur menggunakan thread sampling. Karena GIL pada python, beberapa memori puncak mungkin terlewat jika thread tersebut tidak mendapat kesempatan untuk berjalan saat penggunaan memori tertinggi terjadi. Oleh karena itu, laporan ini dapat lebih rendah dari kenyataan. Menggunakan `tracemalloc` akan melaporkan memori puncak yang tepat, tetapi tidak melaporkan alokasi memori di luar python. Jadi, jika beberapa ekstensi C++ CUDA mengalokasikan memorinya sendiri, hal itu tidak akan dilaporkan. Dan karena itu, pendekatan tersebut ditinggalkan demi pendekatan sampling memori, yang membaca penggunaan memori proses saat ini.

Pelaporan alokasi GPU dan memori puncak dilakukan dengan `torch.cuda.memory_allocated()` dan `torch.cuda.max_memory_allocated()`. Metrik ini hanya melaporkan "delta" untuk alokasi yang spesifik pada pytorch, karena sistem manajemen memori `torch.cuda` tidak melacak memori yang dialokasikan di luar pytorch. Sebagai contoh, pemanggilan cuda pertama biasanya memuat kernel CUDA, yang dapat memakan 0,5 hingga 2GB memori GPU.

Perhatikan bahwa pelacak ini tidak memperhitungkan alokasi memori di luar panggilan `__init__`, `train`, `evaluate`, dan `predict` dari [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer).

Karena pemanggilan `evaluation` dapat terjadi selama `train`, kami tidak dapat menangani pemanggilan bersarang karena `torch.cuda.max_memory_allocated` adalah penghitung tunggal, sehingga jika direset oleh pemanggilan eval bersarang, pelacak `train` akan melaporkan informasi yang salah. Jika [masalah pytorch](https://github.com/pytorch/pytorch/issues/16266) ini terselesaikan, akan dimungkinkan untuk mengubah kelas ini agar dapat re-entrant. Sampai saat itu, kami hanya akan melacak level terluar dari metode `train`, `evaluate`, dan `predict`. Artinya, jika `eval` dipanggil selama `train`, maka `train` yang akan memperhitungkan penggunaan memorinya dan penggunaan memori dari `eval`.

Ini juga berarti bahwa jika alat lain yang digunakan bersama [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer) memanggil `torch.cuda.reset_peak_memory_stats`, statistik memori puncak GPU bisa menjadi tidak valid. Dan [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer) akan mengganggu perilaku normal dari alat-alat semacam itu yang bergantung pada pemanggilan `torch.cuda.reset_peak_memory_stats` mereka sendiri.

Untuk kinerja terbaik, Anda mungkin perlu mempertimbangkan untuk mematikan profiling memori pada eksekusi produksi.

#### metrics_format[[transformers.Trainer.metrics_format]]

```python
metrics_format(metrics: dict[str, float])
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer_pt_utils.py#L1125)

**Parameter:**

metrics (`dict[str, float]`) : Metrik yang dikembalikan dari train/evaluate/predict

**Mengembalikan:** metrik (`dict[str, float]`)

Metrik yang diformat ulang

Format ulang nilai metrik Trainer menjadi format yang mudah dibaca manusia.

#### num_examples[[transformers.Trainer.num_examples]]

```python
num_examples(dataloader: DataLoader)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L993)

Helper untuk mendapatkan jumlah sampel dalam `~torch.utils.data.DataLoader` dengan mengakses dataset-nya. Jika dataloader.dataset tidak ada atau tidak memiliki panjang, estimasi dilakukan sebaik mungkin

#### pop_callback[[transformers.Trainer.pop_callback]]

```python
pop_callback(callback: type[transformers.trainer_callback.TrainerCallback] | transformers.trainer_callback.TrainerCallback)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L4703)

**Parameter:**

callback (`type` atau [`~transformers.TrainerCallback]`) : Kelas [TrainerCallback](/docs/transformers/v5.23.0/id/main_classes/callback#transformers.TrainerCallback) atau sebuah instance dari [TrainerCallback](/docs/transformers/v5.23.0/id/main_classes/callback#transformers.TrainerCallback). Pada kasus pertama, akan mengambil anggota pertama dari kelas tersebut yang ditemukan dalam daftar callback.

**Mengembalikan:** [TrainerCallback](/docs/transformers/v5.23.0/id/main_classes/callback#transformers.TrainerCallback)

Callback yang dihapus, jika ditemukan.

Hapus callback dari daftar [TrainerCallback](/docs/transformers/v5.23.0/id/main_classes/callback#transformers.TrainerCallback) saat ini dan kembalikan.

Jika callback tidak ditemukan, mengembalikan `None` (dan tidak ada error yang dilempar).

#### predict[[transformers.Trainer.predict]]

```python
predict(test_dataset: Dataset, ignore_keys: list[str] | None = None, metric_key_prefix: str = 'test')
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L3124)

**Parameter:**

test_dataset (`Dataset`) : Dataset untuk menjalankan prediksi. Jika berupa `datasets.Dataset`, kolom yang tidak diterima oleh metode `model.forward()` akan dihapus secara otomatis.

ignore_keys (`list[str]`, *opsional*) : Daftar kunci dalam output model Anda (jika berupa kamus) yang harus diabaikan saat mengumpulkan prediksi.

metric_key_prefix (`str`, *opsional*, defaultnya `"test"`) : Prefiks opsional yang akan digunakan sebagai prefiks kunci metrik. Misalnya, metrik "bleu" akan diberi nama "test_bleu" jika prefiksnya adalah "test" (default)

Jalankan prediksi dan kembalikan prediksi serta metrik potensial.

Tergantung pada dataset dan kasus penggunaan Anda, dataset pengujian Anda mungkin berisi label. Dalam hal itu, metode ini juga akan mengembalikan metrik, seperti pada `evaluate()`.

Jika prediksi atau label Anda memiliki panjang sekuens yang berbeda (misalnya karena Anda melakukan padding dinamis dalam tugas klasifikasi token), prediksi akan di-pad (di sisi kanan) untuk memungkinkan penggabungan menjadi satu array. Indeks padding adalah -100.

Mengembalikan: *NamedTuple* namedtuple dengan kunci berikut:

- predictions (`np.ndarray`): Prediksi pada `test_dataset`.
- label_ids (`np.ndarray`, *opsional*): Label (jika dataset memuat beberapa).
- metrics (`dict[str, float]`, *opsional*): Kamus metrik potensial (jika dataset berisi label).

#### prediction_step[[transformers.Trainer.prediction_step]]

```python
prediction_step(model: Module, inputs: dict[str, typing.Union[torch.Tensor, typing.Any]], prediction_loss_only: bool, ignore_keys: list[str] | None = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L3185)

**Parameter:**

model (`nn.Module`) : Model yang akan dievaluasi.

inputs (`dict[str, torch.Tensor | Any]`) : Input dan target model. Kamus akan diurai sebelum diberikan ke model. Sebagian besar model mengharapkan target di bawah argumen `labels`. Periksa dokumentasi model Anda untuk semua argumen yang diterima.

prediction_loss_only (`bool`) : Apakah hanya mengembalikan loss.

ignore_keys (`list[str]`, *opsional*) : Daftar kunci dalam output model Anda (jika berupa kamus) yang harus diabaikan saat mengumpulkan prediksi.

**Mengembalikan:** tuple[Optional[torch.Tensor], Optional[torch.Tensor], Optional[torch.Tensor]]

Tuple berisi loss, logits, dan labels (masing-masing bersifat opsional).

Lakukan langkah evaluasi pada `model` menggunakan `inputs`.

Subclass dan override untuk menyuntikkan perilaku kustom.

#### push_to_hub[[transformers.Trainer.push_to_hub]]

```python
push_to_hub(commit_message: str | None = 'End of training', blocking: bool = True, token: str | None = None, revision: str | None = None, private: bool | None = None, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L4337)

**Parameter:**

commit_message (`str`, *opsional*, defaultnya `"End of training"`) : Pesan untuk commit saat push.

blocking (`bool`, *opsional*, defaultnya `True`) : Apakah fungsi harus hanya mengembalikan nilai setelah `git push` selesai.

token (`str`, *opsional*, defaultnya `None`) : Token dengan izin tulis untuk menimpa argumen asli Trainer.

revision (`str`, *opsional*) : Revisi git untuk di-commit. Secara default menggunakan head dari cabang "main".

private (`bool`, *opsional*) : Apakah membuat repo menjadi privat saat dibuat. Bawaan adalah `args.hub_private_repo`. Tidak berpengaruh jika repo sudah ada.

kwargs (`dict[str, Any]`, *opsional*) : Argumen kata kunci tambahan yang diteruskan ke [create_model_card()](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer.create_model_card).

**Mengembalikan:**

URL repositori tempat model didorong jika `blocking=False`, atau objek `Future` yang melacak kemajuan commit jika `blocking=True`.

Unggah `self.model` dan `self.processing_class` ke 🤗 model hub di repo `self.args.hub_model_id`.

#### remove_callback[[transformers.Trainer.remove_callback]]

```python
remove_callback(callback: type[transformers.trainer_callback.TrainerCallback] | transformers.trainer_callback.TrainerCallback)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L4719)

**Parameter:**

callback (`type` atau [`~transformers.TrainerCallback]`) : Kelas [TrainerCallback](/docs/transformers/v5.23.0/id/main_classes/callback#transformers.TrainerCallback) atau instance dari [TrainerCallback](/docs/transformers/v5.23.0/id/main_classes/callback#transformers.TrainerCallback). Pada kasus pertama, akan menghapus anggota pertama dari kelas tersebut yang ditemukan dalam daftar callback.

Hapus callback dari daftar [TrainerCallback](/docs/transformers/v5.23.0/id/main_classes/callback#transformers.TrainerCallback) saat ini.

#### save_metrics[[transformers.Trainer.save_metrics]]

```python
save_metrics(split, metrics, combined = True)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer_pt_utils.py#L1243)

**Parameter:**

split (`str`) : Nama mode/split: salah satu dari `train`, `eval`, `test`, `all`

metrics (`dict[str, float]`) : Metrik yang dikembalikan dari train/evaluate/predict

combined (`bool`, *opsional*, defaultnya `True`) : Membuat metrik gabungan dengan memperbarui `all_results.json` dengan metrik dari panggilan ini

Simpan metrik ke dalam file json untuk split tersebut, misalnya `train_results.json`.

Dalam lingkungan terdistribusi, ini hanya dilakukan untuk proses dengan rank 0.

Untuk memahami metrik, silakan baca docstring dari [log_metrics()](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer.log_metrics). Satu-satunya perbedaan adalah bahwa angka mentah yang tidak diformat disimpan dalam metode saat ini.

#### save_model[[transformers.Trainer.save_model]]

```python
save_model(output_dir: str | None = None, _internal_call: bool = False)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L4077)

Akan menyimpan model, sehingga Anda dapat memuatnya kembali menggunakan `from_pretrained()`.

Hanya akan menyimpan dari proses utama.

#### save_state[[transformers.Trainer.save_state]]

```python
save_state()
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer_pt_utils.py#L1282)

Menyimpan state Trainer, karena Trainer.save_model hanya menyimpan tokenizer bersama model.

Dalam lingkungan terdistribusi, ini hanya dilakukan untuk proses dengan rank 0.

#### set_initial_training_values[[transformers.Trainer.set_initial_training_values]]

```python
set_initial_training_values(args: TrainingArguments, dataloader: DataLoader)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L2487)

Menghitung dan mengembalikan nilai-nilai berikut:
- `num_train_epochs`
- `num_update_steps_per_epoch`
- `num_examples`
- `num_train_samples`
- `total_train_batch_size`
- `steps_in_epoch` (total batch per epoch)
- `max_steps`

#### store_flos[[transformers.Trainer.store_flos]]

```python
store_flos()
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L4205)

Simpan jumlah operasi floating-point yang digunakan dalam model.

#### train[[transformers.Trainer.train]]

```python
train(resume_from_checkpoint: str | bool | None = None, trial: optuna.Trial | dict[str, Any] | None = None, ignore_keys_for_eval: list[str] | None = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L1450)

**Parameter:**

resume_from_checkpoint (`str` atau `bool`, *opsional*) : Jika berupa `str`, jalur lokal ke checkpoint yang disimpan oleh instance [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer) sebelumnya. Jika berupa `bool` dan bernilai `True`, muat checkpoint terakhir di *args.output_dir* yang disimpan oleh instance [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer) sebelumnya. Jika ada, pelatihan akan dilanjutkan dari status model/optimizer/scheduler yang dimuat di sini.

trial (`optuna.Trial` atau `dict[str, Any]`, *opsional*) : Jalur percobaan atau kamus hiperparameter untuk pencarian hiperparameter.

ignore_keys_for_eval (`list[str]`, *opsional*) : Daftar kunci dalam output model Anda (jika berupa kamus) yang harus diabaikan saat mengumpulkan prediksi untuk evaluasi selama pelatihan.

**Mengembalikan:** `TrainOutput`

Objek yang berisi jumlah langkah global, kerugian pelatihan, dan metrik.

Titik masuk utama pelatihan.

#### training_step[[transformers.Trainer.training_step]]

```python
training_step(model: Module, inputs: dict[str, typing.Union[torch.Tensor, typing.Any]], num_items_in_batch: typing.Union[int, torch.Tensor, NoneType] = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer.py#L2043)

**Parameter:**

model (`nn.Module`) : Model yang akan dilatih.

inputs (`dict[str, torch.Tensor | Any]`) : Input dan target model. Kamus akan diurai sebelum diberikan ke model. Sebagian besar model mengharapkan target di bawah argumen `labels`. Periksa dokumentasi model Anda untuk semua argumen yang diterima.

**Mengembalikan:** `torch.Tensor`

Tensor dengan loss pelatihan pada batch ini.

Lakukan langkah pelatihan pada batch input.

Subclass dan override untuk menyuntikkan perilaku kustom.

## Seq2SeqTrainer[[transformers.Seq2SeqTrainer]]

#### transformers.Seq2SeqTrainer[[transformers.Seq2SeqTrainer]]

```python
transformers.Seq2SeqTrainer(model: typing.Union[ForwardRef('PreTrainedModel'), torch.nn.Module, NoneType] = None, args: typing.Optional[ForwardRef('TrainingArguments')] = None, data_collator: typing.Optional[ForwardRef('DataCollator')] = None, train_dataset: typing.Union[torch.utils.data.Dataset, ForwardRef('IterableDataset'), ForwardRef('datasets.Dataset'), NoneType] = None, eval_dataset: typing.Union[torch.utils.data.Dataset, dict[str, torch.utils.data.Dataset], NoneType] = None, processing_class: typing.Union[ForwardRef('PreTrainedTokenizerBase'), ForwardRef('BaseImageProcessor'), ForwardRef('FeatureExtractionMixin'), ForwardRef('ProcessorMixin'), NoneType] = None, model_init: collections.abc.Callable[[], 'PreTrainedModel'] | None = None, compute_loss_func: collections.abc.Callable | None = None, compute_metrics: collections.abc.Callable[['EvalPrediction'], dict] | None = None, callbacks: list['TrainerCallback'] | None = None, optimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None), preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer_seq2seq.py#L55)

#### evaluate[[transformers.Seq2SeqTrainer.evaluate]]

```python
evaluate(eval_dataset: typing.Optional[torch.utils.data.Dataset] = None, ignore_keys: list[str] | None = None, metric_key_prefix: str = 'eval', **gen_kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer_seq2seq.py#L139)

**Parameter:**

eval_dataset (`Dataset`, *opsional*) : Sampaikan dataset jika Anda ingin menimpa `self.eval_dataset`. Jika berupa [Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset), kolom yang tidak diterima oleh metode `model.forward()` akan dihapus secara otomatis. Objek ini harus mengimplementasikan metode `__len__`.

ignore_keys (`list[str]`, *opsional*) : Daftar kunci dalam output model Anda (jika berupa kamus) yang harus diabaikan saat mengumpulkan prediksi.

metric_key_prefix (`str`, *opsional*, defaultnya `"eval"`) : Prefiks opsional yang akan digunakan sebagai prefiks kunci metrik. Misalnya, metrik "bleu" akan diberi nama "eval_bleu" jika prefiksnya adalah `"eval"` (default)

max_length (`int`, *opsional*) : Panjang target maksimum yang digunakan saat memprediksi dengan metode generate.

num_beams (`int`, *opsional*) : Jumlah beam untuk beam search yang akan digunakan saat memprediksi dengan metode generate. 1 berarti tidak ada beam search.

gen_kwargs : kwargs tambahan yang spesifik untuk `generate`.

**Mengembalikan:**

Kamus yang berisi loss evaluasi dan metrik potensial yang dihitung dari prediksi. Kamus ini juga berisi nomor epoch yang berasal dari status pelatihan.

Jalankan evaluasi dan kembalikan metrik.

Skrip pemanggil akan bertanggung jawab untuk menyediakan metode untuk menghitung metrik, karena metrik tersebut bergantung pada tugas (sampaikan ke argumen `compute_metrics` pada init).

Anda juga dapat membuat subkelas dan menimpa metode ini untuk menyuntikkan perilaku khusus.

#### predict[[transformers.Seq2SeqTrainer.predict]]

```python
predict(test_dataset: Dataset, ignore_keys: list[str] | None = None, metric_key_prefix: str = 'test', **gen_kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/trainer_seq2seq.py#L195)

**Parameter:**

test_dataset (`Dataset`) : Dataset untuk menjalankan prediksi. Jika berupa [Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset), kolom yang tidak diterima oleh metode `model.forward()` akan dihapus secara otomatis. Harus mengimplementasikan metode `__len__`

ignore_keys (`list[str]`, *opsional*) : Daftar kunci dalam output model Anda (jika berupa kamus) yang harus diabaikan saat mengumpulkan prediksi.

metric_key_prefix (`str`, *opsional*, defaultnya `"eval"`) : Prefiks opsional yang akan digunakan sebagai prefiks kunci metrik. Misalnya, metrik "bleu" akan diberi nama "eval_bleu" jika prefiksnya adalah `"eval"` (default)

max_length (`int`, *opsional*) : Panjang target maksimum yang digunakan saat memprediksi dengan metode generate.

num_beams (`int`, *opsional*) : Jumlah beam untuk beam search yang akan digunakan saat memprediksi dengan metode generate. 1 berarti tidak ada beam search.

gen_kwargs : kwargs tambahan yang spesifik untuk `generate`.

Jalankan prediksi dan kembalikan prediksi serta metrik potensial.

Tergantung pada dataset dan kasus penggunaan Anda, dataset pengujian Anda mungkin berisi label. Dalam hal itu, metode ini juga akan mengembalikan metrik, seperti pada `evaluate()`.

Jika prediksi atau label Anda memiliki panjang sekuens yang berbeda (misalnya karena Anda melakukan padding dinamis dalam tugas klasifikasi token), prediksi akan di-pad (di sisi kanan) untuk memungkinkan penggabungan menjadi satu array. Indeks padding adalah -100.

Mengembalikan: *NamedTuple* namedtuple dengan kunci berikut:

- predictions (`np.ndarray`): Prediksi pada `test_dataset`.
- label_ids (`np.ndarray`, *opsional*): Label (jika dataset memuat beberapa).
- metrics (`dict[str, float]`, *opsional*): Kamus metrik potensial (jika dataset berisi label).

## TrainingArguments[[transformers.TrainingArguments]]

#### transformers.TrainingArguments[[transformers.TrainingArguments]]

```python
transformers.TrainingArguments(output_dir: str | None = None, per_device_train_batch_size: int = 8, num_train_epochs: float = 3.0, max_steps: int = -1, learning_rate: float = 5e-05, lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear', lr_scheduler_kwargs: dict | str | None = None, warmup_steps: float = 0, optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused', optim_args: str | None = None, weight_decay: float = 0.0, adam_beta1: float = 0.9, adam_beta2: float = 0.999, adam_epsilon: float = 1e-08, optim_target_modules: None | str | list[str] = None, gradient_accumulation_steps: int = 1, average_tokens_across_devices: bool = True, max_grad_norm: float = 1.0, label_smoothing_factor: float = 0.0, bf16: bool = False, fp16: bool = False, bf16_full_eval: bool = False, fp16_full_eval: bool = False, tf32: bool | None = None, activation_checkpointing: bool | None = None, activation_checkpointing_kwargs: dict[str, typing.Any] | str | None = None, gradient_checkpointing: bool | None = None, gradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = None, torch_compile: bool = False, torch_compile_backend: str | None = None, torch_compile_mode: str | None = None, use_liger_kernel: bool = False, liger_kernel_config: dict[str, bool] | None = None, use_cache: bool = False, neftune_noise_alpha: float | None = None, torch_empty_cache_steps: int | None = None, auto_find_batch_size: bool = False, logging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps', logging_steps: float = 500, logging_first_step: bool = False, log_on_each_node: bool = True, logging_nan_inf_filter: bool = True, include_num_input_tokens_seen: str | bool = 'no', log_level: str = 'passive', log_level_replica: str = 'warning', disable_tqdm: bool | None = None, report_to: None | str | list[str] = 'none', run_name: str | None = None, project: str = 'huggingface', trackio_space_id: str | None = None, trackio_bucket_id: str | None = None, trackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = None, eval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no', eval_steps: float | None = None, eval_delay: float = 0, per_device_eval_batch_size: int = 8, prediction_loss_only: bool = False, eval_on_start: bool = False, eval_do_concat_batches: bool = True, eval_use_gather_object: bool = False, eval_accumulation_steps: int | None = None, include_for_metrics: list[str] = <factory>, batch_eval_metrics: bool = False, save_only_model: bool = False, save_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps', save_steps: float = 500, save_on_each_node: bool = False, save_total_limit: int | None = None, enable_jit_checkpoint: bool = False, push_to_hub: bool = False, hub_token: str | None = None, hub_private_repo: bool | None = None, hub_model_id: str | None = None, hub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save', hub_always_push: bool = False, hub_revision: str | None = None, load_best_model_at_end: bool = False, metric_for_best_model: str | None = None, greater_is_better: bool | None = None, ignore_data_skip: bool = False, restore_callback_states_from_checkpoint: bool = False, full_determinism: bool = False, seed: int = 42, data_seed: int | None = None, use_cpu: bool = False, accelerator_config: dict | str | None = None, parallelism_config: typing.Any | None = None, dataloader_drop_last: bool = False, dataloader_num_workers: int = 0, dataloader_pin_memory: bool = True, dataloader_persistent_workers: bool = False, dataloader_prefetch_factor: int | None = None, dataloader_multiprocessing_context: str | None = None, dataloader_in_order: bool = True, remove_unused_columns: bool = True, label_names: list[str] | None = None, train_sampling_strategy: str = 'random', length_column_name: str = 'length', ddp_find_unused_parameters: bool | None = None, ddp_bucket_cap_mb: int | None = None, ddp_broadcast_buffers: bool | None = None, ddp_static_graph: bool | None = None, ddp_backend: str | None = None, ddp_timeout: int = 1800, fsdp: str | None = None, fsdp_config: dict[str, typing.Any] | str | None = None, deepspeed: dict | str | None = None, debug: str | list[transformers.debug_utils.DebugOption] = '', skip_memory_metrics: bool = True, do_train: bool = False, do_eval: bool = False, do_predict: bool = False, resume_from_checkpoint: str | None = None, local_rank: int = -1)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/training_args.py#L180)

**Parameter:**

output_dir (`str`, *opsional*, defaultnya `"trainer_output"`) : Direktori output tempat prediksi model dan checkpoint akan ditulis.

**Durasi Pelatihan dan Ukuran Batch:**

per_device_train_batch_size (`int`, *opsional*, default 8) : Ukuran batch *per perangkat*. **Ukuran batch global** dihitung sebagai: `per_device_train_batch_size * number_of_devices` dalam setup multi-GPU atau terdistribusi.

num_train_epochs(`float`, *opsional*, default 3.0) : Total jumlah epoch pelatihan yang akan dilakukan (jika bukan bilangan bulat, akan melakukan bagian desimalnya sebagai persentase dari epoch terakhir sebelum menghentikan pelatihan).

max_steps (`int`, *opsional*, default -1) : Menimpa `num_train_epochs`. Jika diatur ke angka positif, ini adalah total jumlah langkah pelatihan yang akan dilakukan. Untuk dataset terbatas, pelatihan diulang melalui dataset (jika semua data habis) hingga `max_steps` tercapai. Nilai ini harus diatur ke angka positif ketika dataset pelatihan tidak mengimplementasikan `__len__` (misalnya dataset streaming), karena total jumlah langkah tidak dapat disimpulkan dan diperlukan untuk membatasi loop pelatihan serta mengonfigurasi penjadwal laju pembelajaran.

**Laju Pembelajaran & Penjadwal:**

learning_rate (`float`, *opsional*, default 5e-5) : Laju pembelajaran awal untuk optimizer. Ini biasanya merupakan laju pembelajaran puncak saat menggunakan scheduler dengan warmup.

lr_scheduler_type (`str` atau [SchedulerType](/docs/transformers/v5.23.0/id/main_classes/optimizer_schedules#transformers.SchedulerType), *opsional*, defaultnya `"linear"`) : Jenis scheduler learning rate yang akan digunakan. Lihat [SchedulerType](/docs/transformers/v5.23.0/id/main_classes/optimizer_schedules#transformers.SchedulerType) untuk semua nilai yang mungkin. Pilihan umum: - "linear" = [get_linear_schedule_with_warmup()](/docs/transformers/v5.23.0/id/main_classes/optimizer_schedules#transformers.get_linear_schedule_with_warmup) - "cosine" = [get_cosine_schedule_with_warmup()](/docs/transformers/v5.23.0/id/main_classes/optimizer_schedules#transformers.get_cosine_schedule_with_warmup) - "constant" =  [get_constant_schedule()](/docs/transformers/v5.23.0/id/main_classes/optimizer_schedules#transformers.get_constant_schedule) - "constant_with_warmup" = [get_constant_schedule_with_warmup()](/docs/transformers/v5.23.0/id/main_classes/optimizer_schedules#transformers.get_constant_schedule_with_warmup)

lr_scheduler_kwargs (`dict` atau `str`, *opsional*, defaultnya `None`) : Argumen tambahan untuk lr_scheduler. Lihat dokumentasi masing-masing scheduler untuk nilai yang mungkin.

warmup_steps (`int` atau `float`, *opsional*, default 0) : Jumlah langkah untuk pemanasan linear dari 0 hingga `learning_rate`. Pemanasan membantu menstabilkan pelatihan pada fase awal. Dapat berupa: - Bilangan bulat: jumlah langkah pemanasan yang persis - Bilangan desimal dalam rentang [0, 1): diinterpretasikan sebagai rasio dari total langkah pelatihan

**Optimizer:**

optim (`str` atau `training_args.OptimizerNames`, *opsional*, defaultnya `"adamw_torch"` (untuk torch>=2.8 `"adamw_torch_fused"`)) : Optimizer yang akan digunakan. Opsi umum: - `"adamw_torch"`: AdamW dari PyTorch (default yang direkomendasikan) - `"adamw_torch_fused"`: Kernel AdamW yang difusi - `"adamw_hf"`: Implementasi AdamW dari HuggingFace - `"sgd"`: Stochastic Gradient Descent dengan momentum - `"adafactor"`: Optimizer hemat memori untuk model besar - `"adamw_8bit"`: AdamW 8-bit (memerlukan bitsandbytes) Lihat `OptimizerNames` untuk daftar lengkap.

optim_args (`str`, *opsional*) : Argumen opsional yang diberikan ke optimizer seperti AnyPrecisionAdamW, AdEMAMix, dan GaLore.

weight_decay (`float`, *opsional*, default 0) : Koefisien weight decay yang diterapkan oleh optimizer (bukan fungsi loss). Menambahkan regularisasi L2 untuk mencegah overfitting dengan menghukum bobot yang besar. Secara otomatis dikecualikan dari parameter bias dan LayerNorm. Nilai tipikal: 0.01 (standar), 0.1 (regularisasi lebih kuat), 0.0 (tanpa regularisasi).

adam_beta1 (`float`, *opsional*, default 0.9) : Laju peluruhan eksponensial untuk estimasi momen pertama (momentum) pada optimizer berbasis Adam. Mengontrol seberapa banyak riwayat gradien yang dipertahankan.

adam_beta2 (`float`, *opsional*, default 0.999) : Laju peluruhan eksponensial untuk estimasi momen kedua (varians) pada optimizer berbasis Adam. Mengontrol penskalaan laju pembelajaran adaptif.

adam_epsilon (`float`, *opsional*, default 1e-8) : Nilai epsilon untuk stabilitas numerik pada optimizer berbasis Adam. Mencegah pembagian dengan nol pada penyebut aturan pembaruan.

optim_target_modules (`Union[str, list[str]]`, *opsional*) : Modul target yang akan dioptimalkan, yaitu nama modul yang ingin Anda latih. Saat ini digunakan untuk [algoritma GaLore](https://huggingface.co/papers/2403.03507) dan [algoritma APOLLO](https://huggingface.co/papers/2412.05270). Lihat [implementasi GaLore](https://github.com/jiaweizzhao/GaLore) dan [implementasi APOLLO](https://github.com/zhuhanqing/APOLLO) untuk detail lebih lanjut. Anda perlu memastikan untuk meneruskan optimizer GaLore atau APOLLO yang valid, misalnya salah satu dari: "apollo_adamw", "galore_adamw", "galore_adamw_8bit", "galore_adafactor" dan pastikan bahwa modul target hanya berupa modul `nn.Linear`.

**Regularisasi & Stabilitas Pelatihan:**

gradient_accumulation_steps (`int`, *opsional*, default 1) : Jumlah langkah update untuk mengakumulasi gradien sebelum melakukan langkah backward/update. Mensimulasikan ukuran batch yang lebih besar tanpa memori tambahan. Ukuran batch efektif = `per_device_train_batch_size × num_devices × gradient_accumulation_steps`. > [!TIP] > Saat menggunakan akumulasi gradien, satu "step" dihitung sebagai satu langkah dengan backward pass. Oleh karena itu, logging, evaluasi, dan penyimpanan akan terjadi setiap `gradient_accumulation_steps × xxx_step` contoh pelatihan.

average_tokens_across_devices (`bool`, *opsional*, defaultnya `True`) : Apakah token akan dirata-rata di seluruh perangkat. Jika diaktifkan, akan menggunakan all_reduce untuk menyinkronkan num_tokens_in_batch untuk perhitungan loss yang presisi. Referensi: https://github.com/huggingface/transformers/issues/34242

max_grad_norm (`float`, *opsional*, default 1.0) : Norma gradien maksimum untuk pemotongan gradien. Diterapkan setelah langkah mundur, sebelum langkah optimizer. Mencegah ledakan gradien dengan memperkecil gradien ketika norma globalnya melebihi ambang batas ini. Atur ke 0 untuk menonaktifkan pemotongan. Nilai tipikal: 1.0 (standar), 0.5 (lebih konservatif), 5.0 (kurang agresif).

label_smoothing_factor (`float`, *opsional*, default 0.0) : Faktor label smoothing untuk mencegah overconfidence. Mengganti target keras 0/1 dengan target lunak: 0 menjadi `ε/num_labels` dan 1 menjadi `1 - ε + ε/num_labels`, di mana ε = `label_smoothing_factor`. Nol berarti tidak ada smoothing. Rentang tipikal: 0.0 hingga 0.1.

**Pelatihan Presisi Campuran:**

bf16 (`bool`, *opsional*, defaultnya `False`) : Mengaktifkan pelatihan presisi campuran bfloat16 (BF16). Umumnya lebih disarankan daripada FP16 karena stabilitas numerik yang lebih baik dan tidak memerlukan loss scaling.

fp16 (`bool`, *opsional*, defaultnya `False`) : Aktifkan pelatihan presisi campuran float16 (FP16). Pertimbangkan untuk menggunakan BF16 sebagai gantinya jika perangkat keras Anda mendukungnya.

bf16_full_eval (`bool`, *opsional*, defaultnya `False`) : Gunakan presisi BF16 penuh untuk evaluasi (bukan hanya presisi campuran). Lebih cepat dan menghemat memori, tetapi dapat memengaruhi nilai metrik sedikit. Hanya berlaku selama evaluasi.

fp16_full_eval (`bool`, *opsional*, defaultnya `False`) : Gunakan presisi FP16 penuh untuk evaluasi (bukan hanya presisi campuran). Lebih cepat dan menghemat memori, tetapi dapat memengaruhi nilai metrik sedikit. Hanya berlaku selama evaluasi.

tf32 (`bool`, *opsional*) : Mengaktifkan mode TensorFloat-32 (TF32) pada GPU Ampere dan yang lebih baru. TF32 menggunakan presisi 19-bit untuk perkalian matriks (bukan 23-bit seperti FP32), memberikan percepatan hingga 8x dengan penurunan akurasi yang dapat diabaikan. Nilai default bergantung pada versi PyTorch. Lihat [dokumentasi TF32](https://huggingface.co/docs/transformers/perf_train_gpu_one#tf32).

**Checkpointing Aktivasi:**

activation_checkpointing (`bool`, *opsional*, defaultnya `False`) : Aktifkan activation checkpointing untuk menukar komputasi dengan memori. Mengurangi penggunaan memori dengan membersihkan aktivasi selama forward pass dan menghitungnya ulang selama backward pass. Memungkinkan pelatihan model atau ukuran batch yang lebih besar dengan biaya pelatihan yang lebih lambat sekitar 20%.

activation_checkpointing_kwargs (`dict`, *opsional*, defaultnya `None`) : Argumen kata kunci yang diteruskan ke `activation_checkpointing_enable()`. `every_n_layers` melakukan checkpoint hanya pada setiap lapisan decoder ke-n, bukan pada semuanya; `1` adalah perilaku all-or-nothing yang umum, dan nilai yang lebih besar mengembalikan sebagian memori untuk kecepatan. `offload` menyimpan aktivasi yang disimpan di memori host yang di-pin, yang membebaskan `layers x sequence x hidden` byte memori perangkat dan membuat langkah menjadi lebih lambat. Kunci lain diteruskan ke `torch.utils.checkpoint.checkpoint`.

gradient_checkpointing (`bool`, *opsional*) : Alias usang dari `activation_checkpointing`, akan dihapus di v6.

gradient_checkpointing_kwargs (`dict`, *opsional*) : Alias usang dari `activation_checkpointing_kwargs`, akan dihapus di v6.

**Kompilasi:**

torch_compile (`bool`, *opsional*, defaultnya `False`) : Kompilasi model menggunakan `torch.compile()` dari PyTorch 2.0 untuk pelatihan yang lebih cepat. Dapat memberikan peningkatan kecepatan 20-50% tanpa perubahan kode. Menggunakan pengaturan kompilasi default kecuali `torch_compile_backend` atau `torch_compile_mode` ditentukan.

torch_compile_backend (`str`, *opsional*) : Backend untuk `torch.compile()`. Jika diatur, secara otomatis mengaktifkan `torch_compile`. Opsi meliputi `"inductor"` (default), `"aot_eager"`, `"cudagraphs"`. Backend bervariasi tergantung versi PyTorch - lihat dokumentasi PyTorch untuk opsi yang tersedia.

torch_compile_mode (`str`, *opsional*) : Mode kompilasi untuk `torch.compile()`. Jika diatur, secara otomatis mengaktifkan `torch_compile`. Opsi: `"default"`, `"reduce-overhead"` (meminimalkan overhead Python), `"max-autotune"` (optimasi agresif, waktu kompilasi lebih lambat).

**Kernel:**

use_liger_kernel (`bool`, *opsional*, defaultnya `False`) : Aktifkan optimasi [Liger Kernel](https://github.com/linkedin/Liger-Kernel). Meningkatkan throughput multi-GPU sekitar 20% dan mengurangi penggunaan memori sekitar 60%. Berfungsi dengan Flash Attention, FSDP, dan DeepSpeed. Saat ini mendukung model Llama, Mistral, Mixtral, dan Gemma.

liger_kernel_config (`Optional[dict]`, *opsional*) : Konfigurasi untuk Liger Kernel. Diteruskan sebagai kwargs ke `_apply_liger_kernel_to_instance()`. Opsi yang biasanya termasuk: `"rope"`, `"swiglu"`, `"cross_entropy"`, `"fused_linear_cross_entropy"`, `"rms_norm"`. Jika `None`, menggunakan konfigurasi default.

**Optimasi Tambahan:**

use_cache (`bool`, *opsional*, defaultnya `False`) : Apakah cache untuk model akan diaktifkan atau tidak. Untuk pelatihan, ini biasanya tidak diperlukan kecuali untuk beberapa metode PEFT yang menggunakan `past_key_values`.

neftune_noise_alpha (`Optional[float]`) : Jika bukan `None`, ini akan mengaktifkan noise embeddings NEFTune. Hal ini dapat meningkatkan kinerja model secara drastis untuk fine-tuning instruksi. Lihat [paper aslinya](https://huggingface.co/papers/2310.05914) dan [kode aslinya](https://github.com/neelsjain/NEFTune). Mendukung `PreTrainedModel` dari transformers dan juga `PeftModel` dari peft. Paper aslinya menggunakan nilai dalam rentang [5.0, 15.0].

torch_empty_cache_steps (`int`, *opsional*) : Jumlah langkah yang harus ditunggu sebelum memanggil `torch.<device>.empty_cache()`. Jika tidak disetel atau disetel ke None, cache tidak akan dikosongkan. Hal ini dapat membantu menghindari error CUDA out-of-memory dengan menurunkan penggunaan VRAM puncak, dengan biaya sekitar [10% penurunan performa](https://github.com/huggingface/transformers/issues/31372).

auto_find_batch_size (`bool`, *opsional*, defaultnya `False`) : Apakah akan menemukan ukuran batch pelatihan yang muat di memori secara otomatis melalui peluruhan eksponensial, menghindari error CUDA Out-of-Memory. Ukuran batch evaluasi tidak disesuaikan.

**Pencatatan & Pemantauan Pelatihan:**

logging_strategy (`str` atau [IntervalStrategy](/docs/transformers/v5.23.0/id/internal/trainer_utils#transformers.IntervalStrategy), *opsional*, defaultnya `"steps"`) : Strategi pencatatan log yang diadopsi selama pelatihan. Nilai yang mungkin adalah: - `"no"`: Tidak ada pencatatan log yang dilakukan selama pelatihan. - `"epoch"`: Pencatatan log dilakukan di akhir setiap epoch. - `"steps"`: Pencatatan log dilakukan setiap `logging_steps`.

logging_steps (`int` atau `float`, *opsional*, default 500) : Jumlah langkah pembaruan di antara dua log jika `logging_strategy="steps"`. Harus berupa bilangan bulat atau float dalam rentang `[0,1)`. Jika lebih kecil dari 1, akan diinterpretasikan sebagai rasio dari total langkah pelatihan.

logging_first_step (`bool`, *opsional*, defaultnya `False`) : Apakah akan mencatat `global_step` pertama atau tidak.

log_on_each_node (`bool`, *opsional*, defaultnya `True`) : Dalam pelatihan terdistribusi multinode, apakah log dicatat menggunakan `log_level` sekali per node, atau hanya pada node utama.

logging_nan_inf_filter (`bool`, *opsional*, defaultnya `True`) : Menyaring kerugian NaN dan Inf saat pencatatan. Jika `True`, mengganti kerugian pelatihan NaN/Inf dengan rata-rata kerugian valid terbaru, dan mengecualikan batch NaN/Inf (misalnya batch tanpa token label) dari kerugian evaluasi. Tidak memengaruhi komputasi gradien, hanya pencatatan.

include_num_input_tokens_seen (`Optional[Union[str, bool]]`, *opsional*, defaultnya "no") : Apakah akan melacak jumlah token input yang dilihat. Harus salah satu dari ["all", "non_padding", "no"] atau nilai boolean yang dipetakan ke "all" atau "no". Mungkin lebih lambat dalam pelatihan terdistribusi karena operasi gather harus dipanggil.

**Pencatatan:**

log_level (`str`, *opsional*, defaultnya `passive`) : Tingkat log untuk proses utama. Opsi: `"debug"`, `"info"`, `"warning"`, `"error"`, `"critical"`, atau `"passive"` (tidak mengubah tingkat log Transformers saat ini, yang defaultnya `"warning"`)

log_level_replica (`str`, *opsional*, defaultnya `"warning"`) : Tingkat log untuk proses replika dalam pelatihan terdistribusi. Opsi yang sama dengan `log_level`.

disable_tqdm (`bool`, *opsional*) : Nonaktifkan bilah progres tqdm. Bawaan adalah `True` jika `log_level` adalah warning atau lebih rendah, `False` selain itu.

**Integrasi Pelacakan Eksperimen:**

report_to (`str` atau `list[str]`, *opsional*, defaultnya `"none"`) : Daftar integrasi untuk melaporkan hasil dan log. Platform yang didukung adalah `"azure_ml"`, `"clearml"`, `"codecarbon"`, `"comet_ml"`, `"dagshub"`, `"dvclive"`, `"flyte"`, `"mlflow"`, `"swanlab"`, `"tensorboard"`, `"trackio"` dan `"wandb"`. Gunakan `"all"` untuk melaporkan ke semua integrasi yang terinstal, dan `"none"` untuk tanpa integrasi.

run_name (`str`, *opsional*) : Deskripsi untuk run. Biasanya digunakan untuk logging [trackio](https://github.com/gradio-app/trackio), [wandb](https://www.wandb.com/), [mlflow](https://www.mlflow.org/), [comet](https://www.comet.com/site) dan [swanlab](https://swanlab.cn).

project (`str`, *opsional*, defaultnya `"huggingface"`) : Nama proyek yang akan digunakan untuk logging. Saat ini, hanya digunakan oleh Trackio.

trackio_space_id (`str` atau `None`, *opsional*, defaultnya `None`) : ID Hugging Face Space yang akan digunakan untuk logging Trackio secara langsung dengan Space berbasis Gradio. Sebaiknya berupa nama Space lengkap seperti `'username/reponame'` atau `'orgname/reponame'`, atau hanya `'reponame'` (Space akan dibuat di namespace pengguna yang sedang login). Jika `None`, metrik hanya dicatat ke direktori **lokal** (tidak ada Space di Hub). Gradio Space tersebut memiliki akses **baca dan tulis** ke **Bucket** Trackio, yang memang diinginkan saat pelatihan masih **berlangsung**—misalnya saat **melanjutkan** run yang belum selesai atau **mengagregasi log** dari beberapa mesin. Space akan bersifat **publik** kecuali Anda mengatur `hub_private_repo=True` atau default organisasi Anda adalah membuat Space privat.

trackio_bucket_id (`str` atau `None`, *opsional*, defaultnya `None`) : ID Bucket Hugging Face opsional untuk Trackio. Jika tidak diset, Trackio akan menurunkannya. Digunakan bersama dengan Gradio Space (`trackio_space_id`) dan saat mendeploy Space statis (`trackio_static_space_id` bukan `False`).

trackio_static_space_id (`str`, `False`, atau `None`, *opsional*, defaultnya `None`) : ID Hugging Face Space yang akan digunakan untuk Space statis yang dibuat setelah pelatihan selesai. Harus berupa nama Space lengkap seperti `'username/reponame'` atau `'orgname/reponame'`, atau hanya `'reponame'` (Space akan dibuat di namespace pengguna yang sedang login). Jika False, tidak akan ada Space statis yang dibuat. Jika None, dan model didorong ke Hub, sebuah Space statis akan dibuat dengan nama default dan ini akan ditautkan dari kartu model. Space akan bersifat publik kecuali Anda mengatur `hub_private_repo=True` atau default organisasi Anda adalah membuat Space privat.

**Evaluasi:**

eval_strategy (`str` atau [IntervalStrategy](/docs/transformers/v5.23.0/id/internal/trainer_utils#transformers.IntervalStrategy), *opsional*, defaultnya `"no"`) : Kapan menjalankan evaluasi. Opsi: - `"no"`: Tidak ada evaluasi selama pelatihan - `"steps"`: Evaluasi setiap `eval_steps` - `"epoch"`: Evaluasi di akhir setiap epoch

eval_steps (`int` atau `float`, *opsional*) : Jumlah langkah pembaruan di antara dua evaluasi jika `eval_strategy="steps"`. Akan secara default menggunakan nilai yang sama dengan `logging_steps` jika tidak diatur. Harus berupa bilangan bulat atau desimal dalam rentang `[0,1)`. Jika lebih kecil dari 1, akan diinterpretasikan sebagai rasio dari total langkah pelatihan.

eval_delay (`float`, *opsional*) : Jumlah epoch atau langkah yang harus ditunggu sebelum evaluasi pertama dapat dilakukan, tergantung pada eval_strategy.

per_device_eval_batch_size (`int`, *opsional*, default 8) : Ukuran batch per inti akselerator perangkat/CPU untuk evaluasi.

prediction_loss_only (`bool`, *opsional*, defaultnya `False`) : Saat melakukan evaluasi dan menghasilkan prediksi, hanya mengembalikan loss.

eval_on_start (`bool`, *opsional*, defaultnya `False`) : Apakah akan melakukan langkah evaluasi (pemeriksaan kewajaran) sebelum pelatihan untuk memastikan langkah validasi berfungsi dengan benar.

eval_do_concat_batches (`bool`, *opsional*, defaultnya `True`) : Apakah akan menggabungkan (concat) input/losses/labels/predictions secara rekursif di seluruh batch. Jika `False`, data tersebut akan disimpan sebagai daftar, dengan setiap batch dipertahankan terpisah.

eval_use_gather_object (`bool`, *opsional*, defaultnya `False`) : Apakah akan menjalankan pengumpulan objek secara rekursif dari daftar/tupel/kamus objek bersarang dari semua perangkat. Ini hanya harus diaktifkan jika pengguna tidak hanya mengembalikan tensor, dan hal ini sangat tidak dianjurkan oleh PyTorch. Ini berguna ketika struktur label tidak standar, seperti pada tugas computer vision.

eval_accumulation_steps (`int`, *opsional*) : Jumlah langkah prediksi untuk mengakumulasi tensor output sebelum memindahkan hasilnya ke CPU. Jika tidak disetel, seluruh prediksi akan diakumulasi di akselerator perangkat sebelum dipindahkan ke CPU (lebih cepat tetapi membutuhkan lebih banyak memori).

**Perhitungan Metrik:**

include_for_metrics (`list[str]`, *opsional*, defaultnya `[]`) : Sertakan data tambahan dalam fungsi `compute_metrics` jika diperlukan untuk perhitungan metrik. Opsi yang mungkin ditambahkan ke daftar `include_for_metrics`: - `"inputs"`: Data input yang diteruskan ke model, ditujukan untuk menghitung metrik yang bergantung pada input. - `"loss"`: Nilai loss yang dihitung selama evaluasi, ditujukan untuk menghitung metrik yang bergantung pada loss.

batch_eval_metrics (`bool`, *opsional*, defaultnya `False`) : Jika diatur ke `True`, evaluasi akan memanggil compute_metrics di akhir setiap batch untuk mengakumulasi statistik, alih-alih menyimpan semua logit eval di memori. Ketika diatur ke `True`, Anda harus meneruskan fungsi compute_metrics yang menerima argumen boolean `compute_result`, yang ketika diteruskan `True`, akan memicu statistik ringkasan global akhir dari statistik ringkasan tingkat batch yang telah Anda akumulasi di sepanjang set evaluasi.

**Checkpointing & Penyimpanan:**

save_only_model (`bool`, *opsional*, defaultnya `False`) : Simpan hanya bobot model, bukan status optimizer/scheduler/RNG. Ini secara signifikan mengurangi ukuran checkpoint tetapi mencegah pelanjutan pelatihan dari checkpoint tersebut. Gunakan ini ketika Anda hanya membutuhkan model yang telah dilatih untuk inferensi, bukan untuk pelatihan lanjutan. Anda hanya dapat memuat model menggunakan `from_pretrained` dengan opsi ini diset ke `True`.

save_strategy (`str` atau `SaveStrategy`, *opsional*, defaultnya `"steps"`) : Strategi penyimpanan checkpoint yang diadopsi selama pelatihan. Nilai yang mungkin adalah: - `"no"`: Tidak ada penyimpanan yang dilakukan selama pelatihan. - `"epoch"`: Penyimpanan dilakukan di akhir setiap epoch. - `"steps"`: Penyimpanan dilakukan setiap `save_steps`. - `"best"`: Penyimpanan dilakukan setiap kali `best_metric` baru tercapai.

save_steps (`int` atau `float`, *opsional*, default 500) : Jumlah langkah pembaruan sebelum dua penyimpanan checkpoint jika `save_strategy="steps"`. Harus berupa bilangan bulat atau float dalam rentang `[0,1)`. Jika lebih kecil dari 1, akan diinterpretasikan sebagai rasio dari total langkah pelatihan.

save_on_each_node (`bool`, *opsional*, defaultnya `False`) : Saat melakukan pelatihan terdistribusi multi-node, apakah model dan checkpoint disimpan di setiap node, atau hanya di node utama. Opsi ini tidak boleh diaktifkan jika node yang berbeda menggunakan penyimpanan yang sama, karena file akan disimpan dengan nama yang sama untuk setiap node.

save_total_limit (`int`, *opsional*) : Jumlah maksimum checkpoint yang disimpan. Checkpoint yang lebih lama akan dihapus dari `output_dir`. Ketika `load_best_model_at_end=True`, checkpoint terbaik selalu dipertahankan beserta yang terbaru. Misalnya, `save_total_limit=5` menyimpan 4 checkpoint terbaru ditambah yang terbaik

enable_jit_checkpoint (`bool`, *opsional*, default `False`) : Aktifkan checkpointing Just-In-Time pada sinyal SIGTERM untuk terminasi yang anggun pada workload yang dapat dipreempt. **Penting**: Konfigurasikan periode shutdown anggun dari orkestrator Anda untuk memberikan waktu yang cukup. Untuk Kubernetes, atur `terminationGracePeriodSeconds` (default 30s biasanya tidak cukup). Untuk Slurm, gunakan `--signal=TERM@<seconds>`. Periode grace yang diperlukan ≥ waktu iterasi terpanjang + waktu penyimpanan checkpoint.

**Integrasi Hugging Face Hub:**

push_to_hub (`bool`, *opsional*, defaultnya `False`) : Apakah model akan didorong ke Hub setiap kali model disimpan. Jika ini diaktifkan, `output_dir` akan memulai direktori git yang disinkronkan dengan repo (ditentukan oleh `hub_model_id`) dan kontennya akan didorong setiap kali penyimpanan dipicu (tergantung pada `save_strategy` Anda). Memanggil [save_model()](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer.save_model) juga akan memicu pendorongan.

hub_token (`str`, *opsional*) : Token yang digunakan untuk mendorong model ke Hub. Secara default akan menggunakan token di folder cache yang diperoleh dengan `hf auth login`.

hub_private_repo (`bool`, *opsional*) : Apakah membuat repo menjadi privat. Jika `None` (default), repo akan menjadi publik kecuali default organisasi adalah privat. Nilai ini diabaikan jika repo sudah ada. Jika melaporkan ke Trackio dengan deployment ke Hugging Face Spaces diaktifkan, logika yang sama menentukan apakah Space tersebut privat.

hub_model_id (`str`, *opsional*) : Nama repositori yang akan disinkronkan dengan *output_dir* lokal. Ini bisa berupa ID model sederhana, di mana model akan didorong ke namespace Anda. Jika tidak, ini harus berupa nama repositori lengkap, misalnya `"user_name/model"`, yang memungkinkan Anda mendorong ke organisasi yang Anda ikuti dengan `"organization_name/model"`. Secara default akan menjadi `user_name/output_dir_name` dengan *output_dir_name* sebagai nama dari `output_dir`.

hub_strategy (`str` atau `HubStrategy`, *opsional*, defaultnya `"every_save"`) : Mendefinisikan apa dan kapan yang akan didorong ke Hub. Opsi: - `"end"`: Dorong hanya di akhir pelatihan - `"every_save"`: Dorong pada setiap penyimpanan (asinkron agar tidak memblokir pelatihan) - `"checkpoint"`: Seperti `"every_save"` ditambah mendorong checkpoint terbaru ke subfolder `"last-checkpoint"` untuk kemudahan melanjutkan - `"all_checkpoints"`: Dorong semua checkpoint saat muncul

hub_always_push (`bool`, *opsional*, defaultnya `False`) : Kecuali ini `True`, `Trainer` akan melewatkan pendorongan checkpoint jika pendorongan sebelumnya belum selesai.

hub_revision (`str`, *opsional*) : Revisi yang akan digunakan saat mendorong ke Hub. Bisa berupa nama cabang, tag, atau hash commit.

**Pelacakan Model Terbaik:**

load_best_model_at_end (`bool`, *opsional*, defaultnya `False`) : Muat checkpoint terbaik di akhir pelatihan. Memerlukan `eval_strategy` untuk diatur. Saat diaktifkan, checkpoint terbaik selalu disimpan (lihat `save_total_limit`).  Ketika `True`, `save_strategy` harus cocok dengan `eval_strategy` (kecuali `save_strategy` adalah `"best"`), dan jika menggunakan `"steps"`, `save_steps` harus merupakan kelipatan dari `eval_steps`.

metric_for_best_model (`str`, *opsional*) : Metrik yang digunakan untuk membandingkan model saat `load_best_model_at_end=True`. Harus berupa nama metrik yang dikembalikan oleh evaluasi, dengan atau tanpa prefiks `"eval_"`. Bawaan adalah `"loss"`. Jika Anda mengatur ini, `greater_is_better` akan secara bawaan menjadi `True` kecuali namanya diakhiri dengan `"loss"`. Contoh: `"accuracy"`, `"f1"`, `"eval_bleu"`.

greater_is_better (`bool`, *opsional*) : Apakah nilai metrik yang lebih tinggi lebih baik. Nilai default berdasarkan `metric_for_best_model`: `True` jika nama metrik tidak diakhiri dengan `"loss"`, `False` selain itu.

**Melanjutkan Pelatihan:**

ignore_data_skip (`bool`, *opsional*, defaultnya `False`) : Saat melanjutkan pelatihan, lewati proses fast-forwarding melalui dataset untuk mencapai keadaan sebelumnya. Jika `True`, pelatihan dimulai dari awal dataset (pemuatan ulang lebih cepat tetapi hasilnya tidak akan cocok dengan pelatihan yang terputus). Jika `False`, data yang sudah dilihat akan dilewati (pemuatan ulang lebih lambat tetapi kelanjutan yang persis).

restore_callback_states_from_checkpoint (`bool`, *opsional*, defaultnya `False`) : Pulihkan status callback dari checkpoint saat melanjutkan. Jika `True`, akan menimpa callback yang diteruskan ke Trainer jika callback tersebut ada di checkpoint.

**Reprodusibilitas:**

full_determinism (`bool`, *opsional*, defaultnya `False`) : Jika `True`, [enable_full_determinism()](/docs/transformers/v5.23.0/id/internal/trainer_utils#transformers.enable_full_determinism) dipanggil alih-alih [set_seed()](/docs/transformers/v5.23.0/id/internal/trainer_utils#transformers.set_seed) untuk memastikan hasil yang dapat direproduksi dalam pelatihan terdistribusi. Penting: ini akan berdampak negatif pada kinerja, jadi hanya gunakan untuk debugging.

seed (`int`, *opsional*, default 42) : Random seed yang akan diset di awal pelatihan. Untuk memastikan reproduktibilitas antar run, gunakan fungsi `~Trainer.model_init` untuk menginstansiasi model jika model tersebut memiliki beberapa parameter yang diinisialisasi secara acak.

data_seed (`int`, *opsional*) : Benang acak (random seed) yang akan digunakan dengan sampler data. Jika tidak diatur, generator acak untuk pengambilan sampel data akan menggunakan benang acak yang sama dengan `seed`. Hal ini dapat digunakan untuk memastikan reproduktibilitas pengambilan sampel data, terlepas dari benang acak model.

**Konfigurasi Perangkat Keras:**

use_cpu (`bool`, *opsional*, defaultnya `False`) : Apakah akan menggunakan cpu atau tidak. Jika diset ke False, kami akan menggunakan perangkat/backend torch yang tersedia.

**Konfigurasi Accelerate:**

accelerator_config (`str`, `dict`, atau `AcceleratorConfig`, *opsional*) : Konfigurasi untuk integrasi Accelerate internal. Dapat berupa: - Path ke file konfigurasi JSON: `"accelerator_config.json"` - Dictionary dengan opsi konfigurasi - Instans `AcceleratorConfig` Opsi kunci: - `split_batches` (`bool`, default `False`): Apakah batch akan dipecah di antara perangkat. Jika `True`, ukuran batch aktual sama di semua perangkat (total harus habis dibagi num_processes). Jika `False`, setiap perangkat menerima ukuran batch yang ditentukan. - `dispatch_batches` (`bool`): Jika `True`, hanya proses utama yang mengiterasi dataloader dan mendistribusikan batch ke perangkat. Default `True` untuk `IterableDataset`, `False` selain itu. - `even_batches` (`bool`, default `True`): Duplikat sampel dari awal dataset untuk memastikan semua worker mendapatkan ukuran batch yang sama. - `use_seedable_sampler` (`bool`, default `True`): Gunakan sampler acak yang sepenuhnya dapat di-seed untuk reproduktibilitas. - `use_configured_state` (`bool`, default `False`): Gunakan `AcceleratorState`/`PartialState` yang sudah diinisialisasi sebelumnya alih-alih membuat yang baru. Dapat menyebabkan masalah dengan penyetelan hiperparameter.

parallelism_config (`ParallelismConfig`, *opsional*) : Konfigurasi paralelisme untuk sesi pelatihan. Memerlukan Accelerate `1.10.1`

**Pemuat data:**

dataloader_drop_last (`bool`, *opsional*, defaultnya `False`) : Apakah akan membuang batch terakhir yang tidak lengkap (jika panjang dataset tidak habis dibagi ukuran batch) atau tidak.

dataloader_num_workers (`int`, *opsional*, default 0) : Jumlah subprocess yang digunakan untuk memuat data (hanya PyTorch). 0 berarti data akan dimuat di proses utama.

dataloader_pin_memory (`bool`, *opsional*, defaultnya `True`) : Apakah Anda ingin mem-pin memori di data loader atau tidak. Akan default ke `True`.

dataloader_persistent_workers (`bool`, *opsional*, defaultnya `False`) : Jika True, data loader tidak akan mematikan proses worker setelah dataset dikonsumsi sekali. Hal ini memungkinkan untuk menjaga instance Dataset worker tetap aktif. Potensi mempercepat pelatihan, tetapi akan meningkatkan penggunaan RAM. Akan default ke `False`.

dataloader_prefetch_factor (`int`, *opsional*) : Jumlah batch yang dimuat di muka oleh setiap worker. Nilai 2 berarti akan ada total 2 * num_workers batch yang diprefetch di seluruh worker.

dataloader_multiprocessing_context (`str`, *opsional*) : Metode start multiprocessing yang digunakan untuk worker pemuatan data (`"fork"`, `"spawn"`, atau `"forkserver"`). Secara default menggunakan metode start default PyTorch, kecuali pada MPS dengan `dataloader_num_workers > 1`, di mana defaultnya adalah `"fork"`. Gunakan `"spawn"` saat streaming dari sumber yang objeknya tidak aman untuk fork (misalnya HDFS melalui `pyarrow`). Di bawah `"spawn"`, kode `collate_fn` atau dataset kustom apa pun harus dapat diimpor di level modul (tanpa lambda/closure).

dataloader_in_order (`bool`, *opsional*, defaultnya `True`) : Jika `True`, data loader menghasilkan batch sesuai urutan worker yang dikirimkan. Atur ke `False` untuk menghasilkan batch segera setelah siap, yang dapat mengurangi latensi ekor untuk workload streaming `IterableDataset`. Memerlukan PyTorch >= 2.6.

remove_unused_columns (`bool`, *opsional*, defaultnya `True`) : Apakah kolom yang tidak digunakan oleh metode forward model akan dihapus secara otomatis.

label_names (`list[str]`, *opsional*) : Daftar kunci dalam kamus input Anda yang sesuai dengan label. Pada akhirnya akan secara default menjadi daftar nama argumen yang diterima oleh model dan mengandung kata "label", kecuali jika model yang digunakan adalah salah satu dari `XxxForQuestionAnswering`, di mana dalam hal itu juga akan menyertakan kunci `["start_positions", "end_positions"]`. Anda hanya perlu menentukan `label_names` jika Anda menggunakan nama label kustom atau jika `forward` model Anda mengonsumsi beberapa tensor label (misalnya, QA ekstraktif).

train_sampling_strategy (`str`, *opsional*, defaultnya `"random"`) : Sampler yang digunakan untuk dataloader pelatihan. Nilai yang mungkin adalah:  - `"random"`: Menggunakan `RandomSampler` (default). - `"sequential"`: Menggunakan `SequentialSampler`. - `"group_by_length"`: Menggunakan `LengthGroupedSampler` untuk mengelompokkan sampel dengan panjang yang kurang lebih sama (untuk meminimalkan padding dan menjadi lebih efisien). - `"batch_rebalance"`: Menggunakan `BatchRebalanceSampler` untuk menyeimbangkan biaya token yang di-pad di antara perangkat dan langkah akumulasi gradien di dalam setiap batch efektif, mengurangi pemborosan padding dan memori puncak dibandingkan `"group_by_length"`. Saat ini hanya didukung untuk pelatihan data-parallel (tensor parallelism belum didukung).  Catatan: Saat menggunakan `IterableDataset`, argumen ini diabaikan.

length_column_name (`str`, *opsional*, defaultnya `"length"`) : Nama kolom untuk panjang yang sudah dihitung sebelumnya. Jika kolom ini ada, pengelompokan berdasarkan panjang akan menggunakan nilai-nilai ini alih-alih menghitungnya saat peluncuran pelatihan. Diabaikan kecuali `train_sampling_strategy` adalah `"group_by_length"` atau `"batch_rebalance"` dan dataset adalah instance dari `Dataset`.

**DDP (DistributedDataParallel):**

ddp_find_unused_parameters (`bool`, *opsional*) : Saat menggunakan pelatihan terdistribusi, nilai flag `find_unused_parameters` yang diteruskan ke `DistributedDataParallel`. Akan menjadi `False` jika gradient checkpointing digunakan, `True` selain itu.

ddp_bucket_cap_mb (`int`, *opsional*) : Saat menggunakan pelatihan terdistribusi, nilai bendera `bucket_cap_mb` yang diteruskan ke `DistributedDataParallel`.

ddp_broadcast_buffers (`bool`, *opsional*) : Saat menggunakan pelatihan terdistribusi, nilai flag `broadcast_buffers` yang diteruskan ke `DistributedDataParallel`. Akan menjadi `False` jika gradient checkpointing digunakan, `True` selain itu.

ddp_static_graph (`bool`, *opsional*) : Saat menggunakan pelatihan terdistribusi, nilai bendera `static_graph` yang diteruskan ke `DistributedDataParallel`.

ddp_backend (`str`, *opsional*) : Backend yang akan digunakan untuk pelatihan terdistribusi. Harus salah satu dari `"nccl"`, `"mpi"`, `"xccl"`, `"gloo"`, `"hccl"`.

ddp_timeout (`int`, *opsional*, default 1800) : Timeout untuk panggilan `torch.distributed.init_process_group`, digunakan untuk menghindari timeout socket GPU saat melakukan operasi lambat dalam eksekusi terdistribusi. Silakan lihat [dokumentasi PyTorch](https://pytorch.org/docs/stable/distributed.html#torch.distributed.init_process_group) untuk informasi lebih lanjut.

**FSDP (Fully Sharded Data Parallel):**

fsdp (`bool`, *opsional*, defaultnya `None`) : Aktifkan PyTorch Fully Sharded Data Parallel (FSDP) untuk pelatihan terdistribusi. Berikan `True` untuk mengaktifkan FSDP.

fsdp_config (`str` atau `dict`, *opsional*) : Pengaturan konfigurasi untuk saat `fsdp` diaktifkan. Berikan path ke file konfigurasi JSON, seperti `fsdp_config.json`, atau dict yang sudah dimuat. Kunci yang didukung: - version (`int`, *opsional*, defaultnya `2`): Versi FSDP yang akan digunakan (`2` untuk FSDP2, `1` untuk FSDP1 legacy). - reshard_after_forward (`bool`, *opsional*, defaultnya `True`): Apakah parameter akan di-reshard setelah forward pass. Atur ke `False` untuk menjaga parameter tetap terkumpul antara forward dan backward pass, menghindari re-all-gather, dan menggunakan memori puncak yang lebih tinggi. - cpu_offload (`bool`, *opsional*, defaultnya `False`): Offload parameter dan gradien ke CPU saat tidak digunakan untuk menghemat memori GPU. - activation_checkpointing (`bool`, *opsional*, defaultnya `False`): Atur ke `True` untuk mengurangi memori dengan menghitung ulang aktivasi selama backward pass. Saat menggunakan FSDP, lebih baik gunakan ini daripada argumen pelatihan `activation_checkpointing`, yang memperkenalkan all-gather yang redundan dalam backward pass. - cpu_ram_efficient_loading (`bool`, *opsional*, defaultnya `False`): Atur ke `True` untuk memuat checkpoint pretrained hanya pada proses pertama. Proses lain dimulai dengan bobot kosong dan menerima bobot melalui broadcast. - state_dict_type (`str`, *opsional*, defaultnya `"FULL_STATE_DICT"`): Format checkpoint: `"FULL_STATE_DICT"` (satu file yang kompatibel dengan HF) atau `"SHARDED_STATE_DICT"` (satu file per rank, lebih cepat untuk model besar). - auto_wrap_policy (`str`, *opsional*, defaultnya `"TRANSFORMER_BASED_WRAP"`): Kebijakan auto-wrap yang akan digunakan. Pilih `"TRANSFORMER_BASED_WRAP"`, `"SIZE_BASED_WRAP"`, atau `"NO_WRAP"`. - transformer_layer_cls_to_wrap (`list[str]`, *opsional*): Nama kelas layer Transformer (case-sensitive) yang akan di-wrap, misalnya `LlamaDecoderLayer`. Biasanya tidak diperlukan: kebijakan wrap akan kembali ke `_no_split_modules` model, yang mencakup sebagian besar model transformers. - min_num_params (`int`, *opsional*, defaultnya `0`): Jumlah minimum parameter per modul untuk auto-wrapping berbasis ukuran (digunakan dengan `auto_wrap_policy="SIZE_BASED_WRAP"`). - xla (`bool`, *opsional*, defaultnya `False`): Apakah akan menggunakan PyTorch/XLA Fully Sharded Data Parallel Training. Eksperimental. - xla_fsdp_settings (`dict`, *opsional*): Dictionary parameter wrapping XLA FSDP. Untuk daftar lengkap opsi, lihat [sumber XLA FSDP](https://github.com/pytorch/xla/blob/master/torch_xla/distributed/fsdp/xla_fully_sharded_data_parallel.py). - xla_fsdp_grad_ckpt (`bool`, *opsional*, defaultnya `False`): Atur ke `True` untuk menggunakan gradient checkpointing pada setiap layer XLA FSDP yang di-wrap secara bersarang. Memerlukan `xla=True` dan kebijakan auto-wrapping (`min_num_params` atau `transformer_layer_cls_to_wrap`).

**DeepSpeed:**

deepspeed (`str` atau `dict`, *opsional*) : Mengaktifkan integrasi [DeepSpeed](https://github.com/deepspeedai/DeepSpeed). Nilainya adalah salah satu dari: - Path ke file konfigurasi JSON DeepSpeed: `"ds_config.json"` - Konfigurasi yang dimuat sebagai dictionary > [!TIP] > Jika menggunakan inisialisasi ZeRO, instansiasi model Anda *setelah* menginisialisasi `TrainingArguments`, jika tidak ZeRO tidak akan diterapkan.

**Debugging & Profiling (Eksperimental):**

debug (`str` atau list of `DebugOption`, *opsional*, default ke `""`) : Aktifkan satu atau beberapa fitur debug. Ini adalah fitur eksperimental. Opsi yang mungkin adalah: - "underflow_overflow": mendeteksi overflow pada input/output model dan melaporkan frame terakhir yang menyebabkan kejadian tersebut - "tpu_metrics_debug": cetak metrik debug pada TPU

skip_memory_metrics (`bool`, *opsional*, defaultnya `True`) : Apakah akan melewati penambahan laporan profiler memori ke metrik. Ini dilewati secara default karena memperlambat kecepatan pelatihan dan evaluasi.

**Flag Skrip Eksternal (tidak digunakan oleh Trainer):**

do_train (`bool`, *opsional*, defaultnya `False`) : Apakah akan menjalankan pelatihan atau tidak. Argumen ini tidak digunakan secara langsung oleh [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer), melainkan ditujukan untuk digunakan oleh skrip pelatihan/evaluasi Anda.

do_eval (`bool`, *opsional*) : Apakah akan menjalankan evaluasi pada set validasi atau tidak. Akan diset ke `True` jika `eval_strategy` berbeda dari `"no"`. Argumen ini tidak digunakan secara langsung oleh [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer), melainkan ditujukan untuk digunakan oleh skrip pelatihan/evaluasi Anda.

do_predict (`bool`, *opsional*, default `False`) : Apakah akan menjalankan prediksi pada set pengujian atau tidak. Argumen ini tidak digunakan secara langsung oleh [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer), melainkan ditujukan untuk digunakan oleh skrip pelatihan/evaluasi Anda.

resume_from_checkpoint (`str`, *opsional*) : Path ke folder dengan checkpoint yang valid untuk model Anda. Argumen ini tidak digunakan secara langsung oleh [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer), melainkan ditujukan untuk digunakan oleh skrip pelatihan/evaluasi Anda.

Kelas konfigurasi untuk mengendalikan semua aspek pelatihan model dengan Trainer. TrainingArguments memusatkan semua hiperparameter, pengaturan optimasi, preferensi pencatatan log, dan pilihan infrastruktur yang diperlukan untuk pelatihan.

[HfArgumentParser](/docs/transformers/v5.23.0/id/internal/trainer_utils#transformers.HfArgumentParser) dapat mengubah kelas ini menjadi argumen [argparse](https://docs.python.org/3/library/argparse#module-argparse) yang dapat ditentukan di baris perintah.

#### get_process_log_level[[transformers.TrainingArguments.get_process_log_level]]

```python
get_process_log_level()
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/training_args.py#L2065)

Mengembalikan level log yang akan digunakan tergantung pada apakah proses ini adalah proses utama dari node 0, proses utama dari node non-0, atau proses non-utama.

Untuk proses utama, tingkat log secara default mengikuti tingkat log yang diset (`logging.WARNING` jika Anda tidak melakukan apa pun) kecuali ditimpa oleh argumen `log_level`.

Untuk proses replika, tingkat log secara default adalah `logging.WARNING` kecuali ditimpa oleh argumen `log_level_replica`.

Pilihan antara pengaturan proses utama dan proses replika dibuat berdasarkan nilai pengembalian dari `should_log`.

#### get_warmup_steps[[transformers.TrainingArguments.get_warmup_steps]]

```python
get_warmup_steps(num_training_steps: int)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/training_args.py#L2154)

Dapatkan jumlah langkah yang digunakan untuk linear warmup.

#### main_process_first[[transformers.TrainingArguments.main_process_first]]

```python
main_process_first(local = True, desc = 'work')
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/training_args.py#L2103)

**Parameter:**

local (`bool`, *opsional*, defaultnya `True`) : jika `True` pertama berarti proses rank 0 dari setiap node jika `False` pertama berarti proses rank 0 dari node rank 0. Dalam lingkungan multi-node dengan sistem berkas bersama, kemungkinan besar Anda ingin menggunakan `local=False` agar hanya proses utama dari node pertama yang melakukan pemrosesan. Namun, jika sistem berkas tidak bersama, maka proses utama dari setiap node perlu melakukan pemrosesan, yang merupakan perilaku default.

desc (`str`, *opsional*, defaultnya `"work"`) : deskripsi pekerjaan yang akan digunakan dalam log debug

Manajer konteks untuk lingkungan torch distributed di mana seseorang perlu melakukan sesuatu pada proses utama, sambil memblokir replika, dan ketika selesai, melepaskan replika tersebut.

Salah satu penggunaan seperti itu adalah untuk fitur `map` dari `datasets` yang, agar efisien, harus dijalankan sekali pada proses utama, yang setelah selesai menyimpan versi hasil yang di-cache dan kemudian secara otomatis dimuat oleh replika.

#### set_dataloader[[transformers.TrainingArguments.set_dataloader]]

```python
set_dataloader(train_batch_size: int = 8, eval_batch_size: int = 8, drop_last: bool = False, num_workers: int = 0, pin_memory: bool = True, persistent_workers: bool = False, prefetch_factor: int | None = None, multiprocessing_context: str | None = None, in_order: bool = True, auto_find_batch_size: bool = False, ignore_data_skip: bool = False, sampler_seed: int | None = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/training_args.py#L2694)

**Parameter:**

drop_last (`bool`, *opsional*, defaultnya `False`) : Apakah akan membuang batch terakhir yang tidak lengkap (jika panjang dataset tidak habis dibagi ukuran batch) atau tidak.

num_workers (`int`, *opsional*, default 0) : Jumlah subprocess yang digunakan untuk memuat data (hanya PyTorch). 0 berarti data akan dimuat di proses utama.

pin_memory (`bool`, *opsional*, defaultnya `True`) : Apakah Anda ingin mem-pin memori di data loader atau tidak. Akan default ke `True`.

persistent_workers (`bool`, *opsional*, defaultnya `False`) : Jika True, data loader tidak akan mematikan proses worker setelah dataset dikonsumsi sekali. Hal ini memungkinkan untuk menjaga instance Dataset worker tetap aktif. Potensi mempercepat pelatihan, tetapi akan meningkatkan penggunaan RAM. Akan default ke `False`.

prefetch_factor (`int`, *opsional*) : Jumlah batch yang dimuat di muka oleh setiap worker. Nilai 2 berarti akan ada total 2 * num_workers batch yang diprefetch di seluruh worker.

multiprocessing_context (`str`, *opsional*) : Metode start multiprocessing yang akan digunakan untuk worker pemuatan data (`"fork"`, `"spawn"`, atau `"forkserver"`). Secara default menggunakan metode start bawaan PyTorch. Gunakan `"spawn"` saat melakukan streaming dari sumber yang objeknya tidak aman untuk fork (misalnya HDFS melalui `pyarrow`). Di bawah `"spawn"`, kode `collate_fn` atau dataset kustom apa pun harus dapat diimpor pada level modul (tanpa lambda/closure).

in_order (`bool`, *opsional*, defaultnya `True`) : Jika `True`, data loader menghasilkan batch sesuai urutan worker yang dikirimkan. Atur ke `False` untuk menghasilkan batch segera setelah siap, yang dapat mengurangi latensi ekor untuk workload streaming `IterableDataset`. Memerlukan PyTorch >= 2.6.

auto_find_batch_size (`bool`, *opsional*, defaultnya `False`) : Apakah akan menemukan ukuran batch yang muat di memori secara otomatis melalui peluruhan eksponensial, menghindari error CUDA Out-of-Memory. Memerlukan accelerate terinstal (`pip install accelerate`)

ignore_data_skip (`bool`, *opsional*, defaultnya `False`) : Saat melanjutkan pelatihan, apakah akan melewati epoch dan batch untuk membuat pemuatan data berada pada tahap yang sama seperti pada pelatihan sebelumnya. Jika diatur ke `True`, pelatihan akan dimulai lebih cepat (karena langkah penghindaran tersebut dapat memakan waktu lama) tetapi tidak akan menghasilkan hasil yang sama seperti yang akan dihasilkan oleh pelatihan yang terputus.

sampler_seed (`int`, *opsional*) : Benang acak (random seed) yang akan digunakan dengan sampler data. Jika tidak diatur, generator acak untuk pengambilan sampel data akan menggunakan benang acak yang sama dengan `self.seed`. Hal ini dapat digunakan untuk memastikan reproduktibilitas pengambilan sampel data, terlepas dari benang acak model.

Metode yang mengelompokkan kembali semua argumen yang terkait dengan pembuatan dataloaders.

Contoh:

```py
>>> from transformers import TrainingArguments

>>> args = TrainingArguments("working_dir")
>>> args = args.set_dataloader(train_batch_size=16, eval_batch_size=64)
>>> args.per_device_train_batch_size
16
```

#### set_evaluate[[transformers.TrainingArguments.set_evaluate]]

```python
set_evaluate(strategy: str | transformers.trainer_utils.IntervalStrategy = 'no', steps: int = 500, batch_size: int = 8, accumulation_steps: int | None = None, delay: float | None = None, loss_only: bool = False)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/training_args.py#L2311)

**Parameter:**

strategy (`str` atau [IntervalStrategy](/docs/transformers/v5.23.0/id/internal/trainer_utils#transformers.IntervalStrategy), *opsional*, defaultnya `"no"`) : Strategi evaluasi yang diadopsi selama pelatihan. Nilai yang mungkin adalah:  - `"no"`: Tidak ada evaluasi yang dilakukan selama pelatihan. - `"steps"`: Evaluasi dilakukan (dan dicatat) setiap `steps`. - `"epoch"`: Evaluasi dilakukan di akhir setiap epoch.  Mengatur `strategy` yang berbeda dari `"no"` akan mengatur `self.do_eval` menjadi `True`.

steps (`int`, *opsional*, default 500) : Jumlah langkah pembaruan di antara dua evaluasi jika `strategy="steps"`.

batch_size (`int` *opsional*, defaultnya 8) : Ukuran batch per perangkat (GPU/TPU core/CPU...) yang digunakan untuk evaluasi.

accumulation_steps (`int`, *opsional*) : Jumlah langkah prediksi untuk mengakumulasi tensor output sebelum memindahkan hasilnya ke CPU. Jika tidak disetel, seluruh prediksi akan diakumulasi di GPU/TPU sebelum dipindahkan ke CPU (lebih cepat tetapi membutuhkan lebih banyak memori).

delay (`float`, *opsional*) : Jumlah epoch atau langkah yang harus ditunggu sebelum evaluasi pertama dapat dilakukan, tergantung pada eval_strategy.

loss_only (`bool`, *opsional*, defaultnya `False`) : Mengabaikan semua output kecuali loss.

Metode yang mengelompokkan kembali semua argumen yang terkait dengan evaluasi.

Contoh:

```py
>>> from transformers import TrainingArguments

>>> args = TrainingArguments("working_dir")
>>> args = args.set_evaluate(strategy="steps", steps=100)
>>> args.eval_steps
100
```

#### set_logging[[transformers.TrainingArguments.set_logging]]

```python
set_logging(strategy: str | transformers.trainer_utils.IntervalStrategy = 'steps', steps: int = 500, report_to: str | list[str] = 'none', level: str = 'passive', first_step: bool = False, nan_inf_filter: bool = False, on_each_node: bool = False, replica_level: str = 'passive')
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/training_args.py#L2453)

**Parameter:**

strategy (`str` atau [IntervalStrategy](/docs/transformers/v5.23.0/id/internal/trainer_utils#transformers.IntervalStrategy), *opsional*, defaultnya `"steps"`) : Strategi pencatatan log yang diadopsi selama pelatihan. Nilai yang mungkin adalah:  - `"no"`: Tidak ada pencatatan log yang dilakukan selama pelatihan. - `"epoch"`: Pencatatan log dilakukan di akhir setiap epoch. - `"steps"`: Pencatatan log dilakukan setiap `logging_steps`.

steps (`int`, *opsional*, default 500) : Jumlah langkah pembaruan di antara dua log jika `strategy="steps"`.

level (`str`, *opsional*, defaultnya `"passive"`) : Tingkat log logger yang digunakan pada proses utama. Pilihan yang tersedia adalah tingkat log sebagai string: `"debug"`, `"info"`, `"warning"`, `"error"` dan `"critical"`, serta tingkat `"passive"` yang tidak mengatur apa pun dan membiarkan aplikasi mengatur tingkat tersebut.

report_to (`str` atau `list[str]`, *opsional*, defaultnya `"none"`) : Daftar integrasi untuk melaporkan hasil dan log. Platform yang didukung adalah `"azure_ml"`, `"clearml"`, `"codecarbon"`, `"comet_ml"`, `"dagshub"`, `"dvclive"`, `"flyte"`, `"mlflow"`, `"swanlab"`, `"tensorboard"`, `"trackio"` dan `"wandb"`. Gunakan `"all"` untuk melaporkan ke semua integrasi yang terinstal, dan `"none"` untuk tanpa integrasi.

first_step (`bool`, *opsional*, defaultnya `False`) : Apakah akan mencatat dan mengevaluasi `global_step` pertama atau tidak.

nan_inf_filter (`bool`, *opsional*, defaultnya `True`) : Apakah akan memfilter kerugian `nan` dan `inf` untuk pencatatan. Jika diatur ke `True`, kerugian setiap langkah yang bernilai `nan` atau `inf` akan difilter dan rata-rata kerugian dari jendela pencatatan saat ini digunakan sebagai gantinya. `nan_inf_filter` hanya memengaruhi pencatatan nilai kerugian, tidak mengubah perilaku bagaimana gradien dihitung atau diterapkan ke model.

on_each_node (`bool`, *opsional*, defaultnya `True`) : Dalam pelatihan terdistribusi multinode, apakah log dicatat menggunakan `log_level` sekali per node, atau hanya pada node utama.

replica_level (`str`, *opsional*, defaultnya `"passive"`) : Level log logger yang digunakan pada replika. Pilihan yang sama dengan `log_level`

Metode yang mengelompokkan kembali semua argumen yang terkait dengan pencatatan log.

Contoh:

```py
>>> from transformers import TrainingArguments

>>> args = TrainingArguments("working_dir")
>>> args = args.set_logging(strategy="steps", steps=100)
>>> args.logging_steps
100
```

#### set_lr_scheduler[[transformers.TrainingArguments.set_lr_scheduler]]

```python
set_lr_scheduler(name: str | transformers.trainer_utils.SchedulerType = 'linear', num_epochs: float = 3.0, max_steps: int = -1, warmup_steps: float = 0)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/training_args.py#L2651)

**Parameter:**

name (`str` atau [SchedulerType](/docs/transformers/v5.23.0/id/main_classes/optimizer_schedules#transformers.SchedulerType), *opsional*, default `"linear"`) : Jenis scheduler yang akan digunakan. Lihat dokumentasi [SchedulerType](/docs/transformers/v5.23.0/id/main_classes/optimizer_schedules#transformers.SchedulerType) untuk semua nilai yang mungkin.

num_epochs(`float`, *opsional*, default 3.0) : Total jumlah epoch pelatihan yang akan dilakukan (jika bukan bilangan bulat, akan melakukan bagian desimalnya sebagai persentase dari epoch terakhir sebelum menghentikan pelatihan).

max_steps (`int`, *opsional*, default -1) : Jika diatur ke angka positif, jumlah total langkah pelatihan yang akan dilakukan. Mengesampingkan `num_train_epochs`. Untuk dataset berhingga, pelatihan diulang melalui dataset (jika semua data habis) hingga `max_steps` tercapai. Nilai ini harus diatur ke angka positif ketika dataset pelatihan tidak mengimplementasikan `__len__` (misalnya dataset streaming), karena jumlah total langkah tidak dapat disimpulkan dan diperlukan untuk membatasi loop pelatihan serta mengonfigurasi penjadwal laju pembelajaran.

warmup_steps (`float`, *opsional*, default 0) : Jumlah langkah yang digunakan untuk pemanasan linear dari 0 hingga `learning_rate`. Harus berupa bilangan bulat atau float dalam rentang `[0,1)`. Jika lebih kecil dari 1, akan diinterpretasikan sebagai rasio langkah yang digunakan untuk pemanasan linear dari 0 hingga `learning_rate`.

Metode yang mengelompokkan kembali semua argumen yang terkait dengan penjadwal laju pembelajaran dan hiperparameternya.

Contoh:

```py
>>> from transformers import TrainingArguments

>>> args = TrainingArguments("working_dir")
>>> args = args.set_lr_scheduler(name="cosine", warmup_steps=0.05)
>>> args.warmup_steps
0.05
```

#### set_optimizer[[transformers.TrainingArguments.set_optimizer]]

```python
set_optimizer(name: str | transformers.training_args.OptimizerNames = 'adamw_torch', learning_rate: float = 5e-05, weight_decay: float = 0, beta1: float = 0.9, beta2: float = 0.999, epsilon: float = 1e-08, args: str | None = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/training_args.py#L2600)

**Parameter:**

name (`str` atau `training_args.OptimizerNames`, *opsional*, defaultnya `"adamw_torch"`) : Optimizer yang akan digunakan: `"adamw_torch"`, `"adamw_torch_fused"`, `"adamw_anyprecision"` atau `"adafactor"`.

learning_rate (`float`, *opsional*, default 5e-5) : Laju pembelajaran awal.

weight_decay (`float`, *opsional*, default 0) : Bobot peluruhan (weight decay) yang diterapkan (jika tidak nol) ke semua lapisan kecuali semua bobot bias dan LayerNorm.

beta1 (`float`, *opsional*, default 0.9) : Hyperparameter beta1 untuk optimizer adam atau variasinya.

beta2 (`float`, *opsional*, default 0.999) : Hyperparameter beta2 untuk optimizer adam atau variasinya.

epsilon (`float`, *opsional*, default 1e-8) : Hiperparameter epsilon untuk optimizer adam atau variasinya.

args (`str`, *opsional*) : Argumen opsional yang diberikan ke AnyPrecisionAdamW (hanya berguna ketika `optim="adamw_anyprecision"`).

Metode yang mengelompokkan kembali semua argumen yang terkait dengan optimizer dan hiperparameternya.

Contoh:

```py
>>> from transformers import TrainingArguments

>>> args = TrainingArguments("working_dir")
>>> args = args.set_optimizer(name="adamw_torch", beta1=0.8)
>>> args.optim
'adamw_torch'
```

#### set_push_to_hub[[transformers.TrainingArguments.set_push_to_hub]]

```python
set_push_to_hub(model_id: str, strategy: str | transformers.trainer_utils.HubStrategy = 'every_save', token: str | None = None, private_repo: bool | None = None, always_push: bool = False, revision: str | None = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/training_args.py#L2528)

**Parameter:**

model_id (`str`) : Nama repositori yang akan disinkronkan dengan *output_dir* lokal. Ini bisa berupa ID model sederhana, di mana model akan didorong ke namespace Anda. Jika tidak, ini harus berupa nama repositori lengkap, misalnya `"user_name/model"`, yang memungkinkan Anda mendorong ke organisasi yang Anda ikuti dengan `"organization_name/model"`.

strategy (`str` atau `HubStrategy`, *opsional*, defaultnya `"every_save"`) : Mendefinisikan cakupan apa yang didorong ke Hub dan kapan. Nilai yang mungkin adalah:  - `"end"`: mendorong model, konfigurasinya, processing_class misalnya tokenizer (jika diteruskan ke [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer)) dan draf model card ketika metode [save_model()](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer.save_model) dipanggil. - `"every_save"`: mendorong model, konfigurasinya, processing_class misalnya tokenizer (jika diteruskan ke [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer)) dan draf model card setiap kali ada penyimpanan model. Dorongan dilakukan secara asinkron agar tidak memblokir pelatihan, dan jika penyimpanan sangat sering, dorongan baru hanya dicoba jika yang sebelumnya sudah selesai. Dorongan terakhir dilakukan dengan model final di akhir pelatihan. - `"checkpoint"`: seperti `"every_save"` tetapi checkpoint terbaru juga didorong ke subfolder bernama last-checkpoint, memungkinkan Anda melanjutkan pelatihan dengan mudah menggunakan `trainer.train(resume_from_checkpoint="last-checkpoint")`. - `"all_checkpoints"`: seperti `"checkpoint"` tetapi semua checkpoint didorong seperti yang muncul di folder output (jadi Anda akan mendapatkan satu folder checkpoint per folder di repositori final Anda)

token (`str`, *opsional*) : Token yang digunakan untuk mendorong model ke Hub. Secara default akan menggunakan token di folder cache yang diperoleh dengan `hf auth login`.

private_repo (`bool`, *opsional*, defaultnya `False`) : Apakah repo akan dibuat privat. Jika `None` (default), repo akan bersifat publik kecuali default organisasi adalah privat. Nilai ini diabaikan jika repo sudah ada.

always_push (`bool`, *opsional*, defaultnya `False`) : Kecuali ini `True`, `Trainer` akan melewatkan pendorongan checkpoint jika pendorongan sebelumnya belum selesai.

revision (`str`, *opsional*) : Revisi yang akan digunakan saat mendorong ke Hub. Bisa berupa nama cabang, tag, atau hash commit.

Metode yang mengelompokkan kembali semua argumen yang terkait dengan sinkronisasi checkpoint dengan Hub.

Memanggil metode ini akan mengatur `self.push_to_hub` menjadi `True`, yang berarti `output_dir` akan memulai direktori git yang disinkronkan dengan repo (ditentukan oleh `model_id`) dan kontennya akan didorong setiap kali penyimpanan dipicu (tergantung pada `self.save_strategy` Anda). Memanggil [save_model()](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer.save_model) juga akan memicu pendorongan.

Contoh:

```py
>>> from transformers import TrainingArguments

>>> args = TrainingArguments("working_dir")
>>> args = args.set_push_to_hub("me/awesome-model")
>>> args.hub_model_id
'me/awesome-model'
```

#### set_save[[transformers.TrainingArguments.set_save]]

```python
set_save(strategy: str | transformers.trainer_utils.IntervalStrategy = 'steps', steps: int = 500, total_limit: int | None = None, on_each_node: bool = False)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/training_args.py#L2404)

**Parameter:**

strategy (`str` atau [IntervalStrategy](/docs/transformers/v5.23.0/id/internal/trainer_utils#transformers.IntervalStrategy), *opsional*, defaultnya `"steps"`) : Strategi penyimpanan checkpoint yang diadopsi selama pelatihan. Nilai yang mungkin adalah:  - `"no"`: Tidak ada penyimpanan yang dilakukan selama pelatihan. - `"epoch"`: Penyimpanan dilakukan di akhir setiap epoch. - `"steps"`: Penyimpanan dilakukan setiap `save_steps`.

steps (`int`, *opsional*, default 500) : Jumlah langkah pembaruan sebelum dua penyimpanan checkpoint jika `strategy="steps"`.

total_limit (`int`, *opsional*) : Jika nilai diberikan, akan membatasi jumlah total checkpoint. Menghapus checkpoint yang lebih lama di `output_dir`.

on_each_node (`bool`, *opsional*, defaultnya `False`) : Saat melakukan pelatihan terdistribusi multi-node, apakah model dan checkpoint disimpan di setiap node, atau hanya di node utama. Opsi ini tidak boleh diaktifkan jika node yang berbeda menggunakan penyimpanan yang sama, karena file akan disimpan dengan nama yang sama untuk setiap node.

Metode yang mengelompokkan kembali semua argumen yang terkait dengan penyimpanan checkpoint.

Contoh:

```py
>>> from transformers import TrainingArguments

>>> args = TrainingArguments("working_dir")
>>> args = args.set_save(strategy="steps", steps=100)
>>> args.save_steps
100
```

#### set_testing[[transformers.TrainingArguments.set_testing]]

```python
set_testing(batch_size: int = 8, loss_only: bool = False)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/training_args.py#L2368)

**Parameter:**

batch_size (`int` *opsional*, defaultnya 8) : Ukuran batch per perangkat (GPU/TPU core/CPU...) yang digunakan untuk pengujian.

loss_only (`bool`, *opsional*, defaultnya `False`) : Mengabaikan semua output kecuali loss.

Metode yang mengelompokkan kembali semua argumen dasar yang terkait dengan pengujian pada dataset yang dipegang.

Memanggil metode ini akan secara otomatis mengatur `self.do_predict` menjadi `True`.

Contoh:

```py
>>> from transformers import TrainingArguments

>>> args = TrainingArguments("working_dir")
>>> args = args.set_testing(batch_size=32)
>>> args.per_device_eval_batch_size
32
```

#### set_training[[transformers.TrainingArguments.set_training]]

```python
set_training(learning_rate: float = 5e-05, batch_size: int = 8, weight_decay: float = 0, num_epochs: float = 3, max_steps: int = -1, gradient_accumulation_steps: int = 1, seed: int = 42, activation_checkpointing: bool = False, gradient_checkpointing: bool | None = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/training_args.py#L2225)

**Parameter:**

learning_rate (`float`, *opsional*, default 5e-5) : Laju pembelajaran awal untuk optimizer.

batch_size (`int` *opsional*, defaultnya 8) : Ukuran batch per perangkat (GPU/TPU core/CPU...) yang digunakan untuk pelatihan.

weight_decay (`float`, *opsional*, default 0) : Bobot peluruhan (weight decay) yang diterapkan (jika tidak nol) ke semua lapisan kecuali semua bobot bias dan LayerNorm dalam optimizer.

num_epochs (`float`, *opsional*, default 3.0) : Total jumlah epoch pelatihan yang akan dilakukan (jika bukan bilangan bulat, akan melakukan bagian desimalnya sebagai persentase dari epoch terakhir sebelum menghentikan pelatihan).

max_steps (`int`, *opsional*, default -1) : Jika diatur ke angka positif, jumlah total langkah pelatihan yang akan dilakukan. Mengesampingkan `num_train_epochs`. Untuk dataset berhingga, pelatihan diulang melalui dataset (jika semua data habis) hingga `max_steps` tercapai. Nilai ini harus diatur ke angka positif ketika dataset pelatihan tidak mengimplementasikan `__len__` (misalnya dataset streaming), karena jumlah total langkah tidak dapat disimpulkan dan diperlukan untuk membatasi loop pelatihan serta mengonfigurasi penjadwal laju pembelajaran.

gradient_accumulation_steps (`int`, *opsional*, default 1) : Jumlah langkah update untuk mengakumulasi gradien, sebelum melakukan langkah backward/update. Saat menggunakan akumulasi gradien, satu langkah dihitung sebagai satu langkah dengan backward pass. Oleh karena itu, logging, evaluasi, dan penyimpanan akan dilakukan setiap `gradient_accumulation_steps * xxx_step` contoh pelatihan.

seed (`int`, *opsional*, default 42) : Random seed yang akan diset di awal pelatihan. Untuk memastikan reproduktibilitas antar run, gunakan fungsi `~Trainer.model_init` untuk menginstansiasi model jika model tersebut memiliki beberapa parameter yang diinisialisasi secara acak.

activation_checkpointing (`bool`, *opsional*, defaultnya `False`) : Jika True, gunakan activation checkpointing untuk menghemat memori dengan mengorbankan kecepatan backward pass.

gradient_checkpointing (`bool`, *opsional*) : Alias usang dari `activation_checkpointing`, akan dihapus di v6.

Metode yang mengelompokkan kembali semua argumen dasar yang terkait dengan pelatihan.

Memanggil metode ini akan secara otomatis mengatur `self.do_train` menjadi `True`.

Contoh:

```py
>>> from transformers import TrainingArguments

>>> args = TrainingArguments("working_dir")
>>> args = args.set_training(learning_rate=1e-4, batch_size=32)
>>> args.learning_rate
1e-4
```

#### to_dict[[transformers.TrainingArguments.to_dict]]

```python
to_dict()
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/training_args.py#L2175)

Menserialisasi instance ini dengan mengganti `Enum` dengan nilai-nilainya (untuk mendukung serialisasi JSON). Hal ini mengaburkan nilai token dengan menghapus nilainya.

#### to_json_string[[transformers.TrainingArguments.to_json_string]]

```python
to_json_string()
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/training_args.py#L2205)

Menserialisasi instance ini ke string JSON.

#### to_sanitized_dict[[transformers.TrainingArguments.to_sanitized_dict]]

```python
to_sanitized_dict()
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/training_args.py#L2211)

Serialisasi yang telah disanitasi untuk digunakan dengan hparams TensorBoard

## Seq2SeqTrainingArguments[[transformers.Seq2SeqTrainingArguments]]

#### transformers.Seq2SeqTrainingArguments[[transformers.Seq2SeqTrainingArguments]]

```python
transformers.Seq2SeqTrainingArguments(output_dir: str | None = None, per_device_train_batch_size: int = 8, num_train_epochs: float = 3.0, max_steps: int = -1, learning_rate: float = 5e-05, lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear', lr_scheduler_kwargs: dict | str | None = None, warmup_steps: float = 0, optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused', optim_args: str | None = None, weight_decay: float = 0.0, adam_beta1: float = 0.9, adam_beta2: float = 0.999, adam_epsilon: float = 1e-08, optim_target_modules: None | str | list[str] = None, gradient_accumulation_steps: int = 1, average_tokens_across_devices: bool = True, max_grad_norm: float = 1.0, label_smoothing_factor: float = 0.0, bf16: bool = False, fp16: bool = False, bf16_full_eval: bool = False, fp16_full_eval: bool = False, tf32: bool | None = None, activation_checkpointing: bool | None = None, activation_checkpointing_kwargs: dict[str, typing.Any] | str | None = None, gradient_checkpointing: bool | None = None, gradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = None, torch_compile: bool = False, torch_compile_backend: str | None = None, torch_compile_mode: str | None = None, use_liger_kernel: bool = False, liger_kernel_config: dict[str, bool] | None = None, use_cache: bool = False, neftune_noise_alpha: float | None = None, torch_empty_cache_steps: int | None = None, auto_find_batch_size: bool = False, logging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps', logging_steps: float = 500, logging_first_step: bool = False, log_on_each_node: bool = True, logging_nan_inf_filter: bool = True, include_num_input_tokens_seen: str | bool = 'no', log_level: str = 'passive', log_level_replica: str = 'warning', disable_tqdm: bool | None = None, report_to: None | str | list[str] = 'none', run_name: str | None = None, project: str = 'huggingface', trackio_space_id: str | None = None, trackio_bucket_id: str | None = None, trackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = None, eval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no', eval_steps: float | None = None, eval_delay: float = 0, per_device_eval_batch_size: int = 8, prediction_loss_only: bool = False, eval_on_start: bool = False, eval_do_concat_batches: bool = True, eval_use_gather_object: bool = False, eval_accumulation_steps: int | None = None, include_for_metrics: list[str] = <factory>, batch_eval_metrics: bool = False, save_only_model: bool = False, save_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps', save_steps: float = 500, save_on_each_node: bool = False, save_total_limit: int | None = None, enable_jit_checkpoint: bool = False, push_to_hub: bool = False, hub_token: str | None = None, hub_private_repo: bool | None = None, hub_model_id: str | None = None, hub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save', hub_always_push: bool = False, hub_revision: str | None = None, load_best_model_at_end: bool = False, metric_for_best_model: str | None = None, greater_is_better: bool | None = None, ignore_data_skip: bool = False, restore_callback_states_from_checkpoint: bool = False, full_determinism: bool = False, seed: int = 42, data_seed: int | None = None, use_cpu: bool = False, accelerator_config: dict | str | None = None, parallelism_config: typing.Any | None = None, dataloader_drop_last: bool = False, dataloader_num_workers: int = 0, dataloader_pin_memory: bool = True, dataloader_persistent_workers: bool = False, dataloader_prefetch_factor: int | None = None, dataloader_multiprocessing_context: str | None = None, dataloader_in_order: bool = True, remove_unused_columns: bool = True, label_names: list[str] | None = None, train_sampling_strategy: str = 'random', length_column_name: str = 'length', ddp_find_unused_parameters: bool | None = None, ddp_bucket_cap_mb: int | None = None, ddp_broadcast_buffers: bool | None = None, ddp_static_graph: bool | None = None, ddp_backend: str | None = None, ddp_timeout: int = 1800, fsdp: str | None = None, fsdp_config: dict[str, typing.Any] | str | None = None, deepspeed: dict | str | None = None, debug: str | list[transformers.debug_utils.DebugOption] = '', skip_memory_metrics: bool = True, do_train: bool = False, do_eval: bool = False, do_predict: bool = False, resume_from_checkpoint: str | None = None, local_rank: int = -1, sortish_sampler: bool = False, predict_with_generate: bool = False, generation_max_length: int | None = None, generation_num_beams: int | None = None, generation_config: str | pathlib.Path | transformers.generation.configuration_utils.GenerationConfig | None = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/training_args_seq2seq.py#L29)

**Parameter:**

output_dir (`str`, *opsional*, defaultnya `"trainer_output"`) : Direktori output tempat prediksi model dan checkpoint akan ditulis.

**Durasi Pelatihan dan Ukuran Batch:**

per_device_train_batch_size (`int`, *opsional*, default 8) : Ukuran batch *per perangkat*. **Ukuran batch global** dihitung sebagai: `per_device_train_batch_size * number_of_devices` dalam setup multi-GPU atau terdistribusi.

num_train_epochs(`float`, *opsional*, default 3.0) : Total jumlah epoch pelatihan yang akan dilakukan (jika bukan bilangan bulat, akan melakukan bagian desimalnya sebagai persentase dari epoch terakhir sebelum menghentikan pelatihan).

max_steps (`int`, *opsional*, default -1) : Menimpa `num_train_epochs`. Jika diatur ke angka positif, ini adalah total jumlah langkah pelatihan yang akan dilakukan. Untuk dataset terbatas, pelatihan diulang melalui dataset (jika semua data habis) hingga `max_steps` tercapai. Nilai ini harus diatur ke angka positif ketika dataset pelatihan tidak mengimplementasikan `__len__` (misalnya dataset streaming), karena total jumlah langkah tidak dapat disimpulkan dan diperlukan untuk membatasi loop pelatihan serta mengonfigurasi penjadwal laju pembelajaran.

**Laju Pembelajaran & Penjadwal:**

learning_rate (`float`, *opsional*, default 5e-5) : Laju pembelajaran awal untuk optimizer. Ini biasanya merupakan laju pembelajaran puncak saat menggunakan scheduler dengan warmup.

lr_scheduler_type (`str` atau [SchedulerType](/docs/transformers/v5.23.0/id/main_classes/optimizer_schedules#transformers.SchedulerType), *opsional*, defaultnya `"linear"`) : Jenis scheduler learning rate yang akan digunakan. Lihat [SchedulerType](/docs/transformers/v5.23.0/id/main_classes/optimizer_schedules#transformers.SchedulerType) untuk semua nilai yang mungkin. Pilihan umum: - "linear" = [get_linear_schedule_with_warmup()](/docs/transformers/v5.23.0/id/main_classes/optimizer_schedules#transformers.get_linear_schedule_with_warmup) - "cosine" = [get_cosine_schedule_with_warmup()](/docs/transformers/v5.23.0/id/main_classes/optimizer_schedules#transformers.get_cosine_schedule_with_warmup) - "constant" =  [get_constant_schedule()](/docs/transformers/v5.23.0/id/main_classes/optimizer_schedules#transformers.get_constant_schedule) - "constant_with_warmup" = [get_constant_schedule_with_warmup()](/docs/transformers/v5.23.0/id/main_classes/optimizer_schedules#transformers.get_constant_schedule_with_warmup)

lr_scheduler_kwargs (`dict` atau `str`, *opsional*, defaultnya `None`) : Argumen tambahan untuk lr_scheduler. Lihat dokumentasi masing-masing scheduler untuk nilai yang mungkin.

warmup_steps (`int` atau `float`, *opsional*, default 0) : Jumlah langkah untuk pemanasan linear dari 0 hingga `learning_rate`. Pemanasan membantu menstabilkan pelatihan pada fase awal. Dapat berupa: - Bilangan bulat: jumlah langkah pemanasan yang persis - Bilangan desimal dalam rentang [0, 1): diinterpretasikan sebagai rasio dari total langkah pelatihan

**Optimizer:**

optim (`str` atau `training_args.OptimizerNames`, *opsional*, defaultnya `"adamw_torch"` (untuk torch>=2.8 `"adamw_torch_fused"`)) : Optimizer yang akan digunakan. Opsi umum: - `"adamw_torch"`: AdamW dari PyTorch (default yang direkomendasikan) - `"adamw_torch_fused"`: Kernel AdamW yang difusi - `"adamw_hf"`: Implementasi AdamW dari HuggingFace - `"sgd"`: Stochastic Gradient Descent dengan momentum - `"adafactor"`: Optimizer hemat memori untuk model besar - `"adamw_8bit"`: AdamW 8-bit (memerlukan bitsandbytes) Lihat `OptimizerNames` untuk daftar lengkap.

optim_args (`str`, *opsional*) : Argumen opsional yang diberikan ke optimizer seperti AnyPrecisionAdamW, AdEMAMix, dan GaLore.

weight_decay (`float`, *opsional*, default 0) : Koefisien weight decay yang diterapkan oleh optimizer (bukan fungsi loss). Menambahkan regularisasi L2 untuk mencegah overfitting dengan menghukum bobot yang besar. Secara otomatis dikecualikan dari parameter bias dan LayerNorm. Nilai tipikal: 0.01 (standar), 0.1 (regularisasi lebih kuat), 0.0 (tanpa regularisasi).

adam_beta1 (`float`, *opsional*, default 0.9) : Laju peluruhan eksponensial untuk estimasi momen pertama (momentum) pada optimizer berbasis Adam. Mengontrol seberapa banyak riwayat gradien yang dipertahankan.

adam_beta2 (`float`, *opsional*, default 0.999) : Laju peluruhan eksponensial untuk estimasi momen kedua (varians) pada optimizer berbasis Adam. Mengontrol penskalaan laju pembelajaran adaptif.

adam_epsilon (`float`, *opsional*, default 1e-8) : Nilai epsilon untuk stabilitas numerik pada optimizer berbasis Adam. Mencegah pembagian dengan nol pada penyebut aturan pembaruan.

optim_target_modules (`Union[str, list[str]]`, *opsional*) : Modul target yang akan dioptimalkan, yaitu nama modul yang ingin Anda latih. Saat ini digunakan untuk [algoritma GaLore](https://huggingface.co/papers/2403.03507) dan [algoritma APOLLO](https://huggingface.co/papers/2412.05270). Lihat [implementasi GaLore](https://github.com/jiaweizzhao/GaLore) dan [implementasi APOLLO](https://github.com/zhuhanqing/APOLLO) untuk detail lebih lanjut. Anda perlu memastikan untuk meneruskan optimizer GaLore atau APOLLO yang valid, misalnya salah satu dari: "apollo_adamw", "galore_adamw", "galore_adamw_8bit", "galore_adafactor" dan pastikan bahwa modul target hanya berupa modul `nn.Linear`.

**Regularisasi & Stabilitas Pelatihan:**

gradient_accumulation_steps (`int`, *opsional*, default 1) : Jumlah langkah update untuk mengakumulasi gradien sebelum melakukan langkah backward/update. Mensimulasikan ukuran batch yang lebih besar tanpa memori tambahan. Ukuran batch efektif = `per_device_train_batch_size × num_devices × gradient_accumulation_steps`. > [!TIP] > Saat menggunakan akumulasi gradien, satu "step" dihitung sebagai satu langkah dengan backward pass. Oleh karena itu, logging, evaluasi, dan penyimpanan akan terjadi setiap `gradient_accumulation_steps × xxx_step` contoh pelatihan.

average_tokens_across_devices (`bool`, *opsional*, defaultnya `True`) : Apakah token akan dirata-rata di seluruh perangkat. Jika diaktifkan, akan menggunakan all_reduce untuk menyinkronkan num_tokens_in_batch untuk perhitungan loss yang presisi. Referensi: https://github.com/huggingface/transformers/issues/34242

max_grad_norm (`float`, *opsional*, default 1.0) : Norma gradien maksimum untuk pemotongan gradien. Diterapkan setelah langkah mundur, sebelum langkah optimizer. Mencegah ledakan gradien dengan memperkecil gradien ketika norma globalnya melebihi ambang batas ini. Atur ke 0 untuk menonaktifkan pemotongan. Nilai tipikal: 1.0 (standar), 0.5 (lebih konservatif), 5.0 (kurang agresif).

label_smoothing_factor (`float`, *opsional*, default 0.0) : Faktor label smoothing untuk mencegah overconfidence. Mengganti target keras 0/1 dengan target lunak: 0 menjadi `ε/num_labels` dan 1 menjadi `1 - ε + ε/num_labels`, di mana ε = `label_smoothing_factor`. Nol berarti tidak ada smoothing. Rentang tipikal: 0.0 hingga 0.1.

**Pelatihan Presisi Campuran:**

bf16 (`bool`, *opsional*, defaultnya `False`) : Mengaktifkan pelatihan presisi campuran bfloat16 (BF16). Umumnya lebih disarankan daripada FP16 karena stabilitas numerik yang lebih baik dan tidak memerlukan loss scaling.

fp16 (`bool`, *opsional*, defaultnya `False`) : Aktifkan pelatihan presisi campuran float16 (FP16). Pertimbangkan untuk menggunakan BF16 sebagai gantinya jika perangkat keras Anda mendukungnya.

bf16_full_eval (`bool`, *opsional*, defaultnya `False`) : Gunakan presisi BF16 penuh untuk evaluasi (bukan hanya presisi campuran). Lebih cepat dan menghemat memori, tetapi dapat memengaruhi nilai metrik sedikit. Hanya berlaku selama evaluasi.

fp16_full_eval (`bool`, *opsional*, defaultnya `False`) : Gunakan presisi FP16 penuh untuk evaluasi (bukan hanya presisi campuran). Lebih cepat dan menghemat memori, tetapi dapat memengaruhi nilai metrik sedikit. Hanya berlaku selama evaluasi.

tf32 (`bool`, *opsional*) : Mengaktifkan mode TensorFloat-32 (TF32) pada GPU Ampere dan yang lebih baru. TF32 menggunakan presisi 19-bit untuk perkalian matriks (bukan 23-bit seperti FP32), memberikan percepatan hingga 8x dengan penurunan akurasi yang dapat diabaikan. Nilai default bergantung pada versi PyTorch. Lihat [dokumentasi TF32](https://huggingface.co/docs/transformers/perf_train_gpu_one#tf32).

**Checkpointing Aktivasi:**

activation_checkpointing (`bool`, *opsional*, defaultnya `False`) : Aktifkan activation checkpointing untuk menukar komputasi dengan memori. Mengurangi penggunaan memori dengan membersihkan aktivasi selama forward pass dan menghitungnya ulang selama backward pass. Memungkinkan pelatihan model atau ukuran batch yang lebih besar dengan biaya pelatihan yang lebih lambat sekitar 20%.

activation_checkpointing_kwargs (`dict`, *opsional*, defaultnya `None`) : Argumen kata kunci yang diteruskan ke `activation_checkpointing_enable()`. `every_n_layers` melakukan checkpoint hanya pada setiap lapisan decoder ke-n, bukan pada semuanya; `1` adalah perilaku all-or-nothing yang umum, dan nilai yang lebih besar mengembalikan sebagian memori untuk kecepatan. `offload` menyimpan aktivasi yang disimpan di memori host yang di-pin, yang membebaskan `layers x sequence x hidden` byte memori perangkat dan membuat langkah menjadi lebih lambat. Kunci lain diteruskan ke `torch.utils.checkpoint.checkpoint`.

gradient_checkpointing (`bool`, *opsional*) : Alias usang dari `activation_checkpointing`, akan dihapus di v6.

gradient_checkpointing_kwargs (`dict`, *opsional*) : Alias usang dari `activation_checkpointing_kwargs`, akan dihapus di v6.

**Kompilasi:**

torch_compile (`bool`, *opsional*, defaultnya `False`) : Kompilasi model menggunakan `torch.compile()` dari PyTorch 2.0 untuk pelatihan yang lebih cepat. Dapat memberikan peningkatan kecepatan 20-50% tanpa perubahan kode. Menggunakan pengaturan kompilasi default kecuali `torch_compile_backend` atau `torch_compile_mode` ditentukan.

torch_compile_backend (`str`, *opsional*) : Backend untuk `torch.compile()`. Jika diatur, secara otomatis mengaktifkan `torch_compile`. Opsi meliputi `"inductor"` (default), `"aot_eager"`, `"cudagraphs"`. Backend bervariasi tergantung versi PyTorch - lihat dokumentasi PyTorch untuk opsi yang tersedia.

torch_compile_mode (`str`, *opsional*) : Mode kompilasi untuk `torch.compile()`. Jika diatur, secara otomatis mengaktifkan `torch_compile`. Opsi: `"default"`, `"reduce-overhead"` (meminimalkan overhead Python), `"max-autotune"` (optimasi agresif, waktu kompilasi lebih lambat).

**Kernel:**

use_liger_kernel (`bool`, *opsional*, defaultnya `False`) : Aktifkan optimasi [Liger Kernel](https://github.com/linkedin/Liger-Kernel). Meningkatkan throughput multi-GPU sekitar 20% dan mengurangi penggunaan memori sekitar 60%. Berfungsi dengan Flash Attention, FSDP, dan DeepSpeed. Saat ini mendukung model Llama, Mistral, Mixtral, dan Gemma.

liger_kernel_config (`Optional[dict]`, *opsional*) : Konfigurasi untuk Liger Kernel. Diteruskan sebagai kwargs ke `_apply_liger_kernel_to_instance()`. Opsi yang biasanya termasuk: `"rope"`, `"swiglu"`, `"cross_entropy"`, `"fused_linear_cross_entropy"`, `"rms_norm"`. Jika `None`, menggunakan konfigurasi default.

**Optimasi Tambahan:**

use_cache (`bool`, *opsional*, defaultnya `False`) : Apakah cache untuk model akan diaktifkan atau tidak. Untuk pelatihan, ini biasanya tidak diperlukan kecuali untuk beberapa metode PEFT yang menggunakan `past_key_values`.

neftune_noise_alpha (`Optional[float]`) : Jika bukan `None`, ini akan mengaktifkan noise embeddings NEFTune. Hal ini dapat meningkatkan kinerja model secara drastis untuk fine-tuning instruksi. Lihat [paper aslinya](https://huggingface.co/papers/2310.05914) dan [kode aslinya](https://github.com/neelsjain/NEFTune). Mendukung `PreTrainedModel` dari transformers dan juga `PeftModel` dari peft. Paper aslinya menggunakan nilai dalam rentang [5.0, 15.0].

torch_empty_cache_steps (`int`, *opsional*) : Jumlah langkah yang harus ditunggu sebelum memanggil `torch.<device>.empty_cache()`. Jika tidak disetel atau disetel ke None, cache tidak akan dikosongkan. Hal ini dapat membantu menghindari error CUDA out-of-memory dengan menurunkan penggunaan VRAM puncak, dengan biaya sekitar [10% penurunan performa](https://github.com/huggingface/transformers/issues/31372).

auto_find_batch_size (`bool`, *opsional*, defaultnya `False`) : Apakah akan menemukan ukuran batch pelatihan yang muat di memori secara otomatis melalui peluruhan eksponensial, menghindari error CUDA Out-of-Memory. Ukuran batch evaluasi tidak disesuaikan.

**Pencatatan & Pemantauan Pelatihan:**

logging_strategy (`str` atau [IntervalStrategy](/docs/transformers/v5.23.0/id/internal/trainer_utils#transformers.IntervalStrategy), *opsional*, defaultnya `"steps"`) : Strategi pencatatan log yang diadopsi selama pelatihan. Nilai yang mungkin adalah: - `"no"`: Tidak ada pencatatan log yang dilakukan selama pelatihan. - `"epoch"`: Pencatatan log dilakukan di akhir setiap epoch. - `"steps"`: Pencatatan log dilakukan setiap `logging_steps`.

logging_steps (`int` atau `float`, *opsional*, default 500) : Jumlah langkah pembaruan di antara dua log jika `logging_strategy="steps"`. Harus berupa bilangan bulat atau float dalam rentang `[0,1)`. Jika lebih kecil dari 1, akan diinterpretasikan sebagai rasio dari total langkah pelatihan.

logging_first_step (`bool`, *opsional*, defaultnya `False`) : Apakah akan mencatat `global_step` pertama atau tidak.

log_on_each_node (`bool`, *opsional*, defaultnya `True`) : Dalam pelatihan terdistribusi multinode, apakah log dicatat menggunakan `log_level` sekali per node, atau hanya pada node utama.

logging_nan_inf_filter (`bool`, *opsional*, defaultnya `True`) : Menyaring kerugian NaN dan Inf saat pencatatan. Jika `True`, mengganti kerugian pelatihan NaN/Inf dengan rata-rata kerugian valid terbaru, dan mengecualikan batch NaN/Inf (misalnya batch tanpa token label) dari kerugian evaluasi. Tidak memengaruhi komputasi gradien, hanya pencatatan.

include_num_input_tokens_seen (`Optional[Union[str, bool]]`, *opsional*, defaultnya "no") : Apakah akan melacak jumlah token input yang dilihat. Harus salah satu dari ["all", "non_padding", "no"] atau nilai boolean yang dipetakan ke "all" atau "no". Mungkin lebih lambat dalam pelatihan terdistribusi karena operasi gather harus dipanggil.

**Pencatatan:**

log_level (`str`, *opsional*, defaultnya `passive`) : Tingkat log untuk proses utama. Opsi: `"debug"`, `"info"`, `"warning"`, `"error"`, `"critical"`, atau `"passive"` (tidak mengubah tingkat log Transformers saat ini, yang defaultnya `"warning"`)

log_level_replica (`str`, *opsional*, defaultnya `"warning"`) : Tingkat log untuk proses replika dalam pelatihan terdistribusi. Opsi yang sama dengan `log_level`.

disable_tqdm (`bool`, *opsional*) : Nonaktifkan bilah progres tqdm. Bawaan adalah `True` jika `log_level` adalah warning atau lebih rendah, `False` selain itu.

**Integrasi Pelacakan Eksperimen:**

report_to (`str` atau `list[str]`, *opsional*, defaultnya `"none"`) : Daftar integrasi untuk melaporkan hasil dan log. Platform yang didukung adalah `"azure_ml"`, `"clearml"`, `"codecarbon"`, `"comet_ml"`, `"dagshub"`, `"dvclive"`, `"flyte"`, `"mlflow"`, `"swanlab"`, `"tensorboard"`, `"trackio"` dan `"wandb"`. Gunakan `"all"` untuk melaporkan ke semua integrasi yang terinstal, dan `"none"` untuk tanpa integrasi.

run_name (`str`, *opsional*) : Deskripsi untuk run. Biasanya digunakan untuk logging [trackio](https://github.com/gradio-app/trackio), [wandb](https://www.wandb.com/), [mlflow](https://www.mlflow.org/), [comet](https://www.comet.com/site) dan [swanlab](https://swanlab.cn).

project (`str`, *opsional*, defaultnya `"huggingface"`) : Nama proyek yang akan digunakan untuk logging. Saat ini, hanya digunakan oleh Trackio.

trackio_space_id (`str` atau `None`, *opsional*, defaultnya `None`) : ID Hugging Face Space yang akan digunakan untuk logging Trackio secara langsung dengan Space berbasis Gradio. Sebaiknya berupa nama Space lengkap seperti `'username/reponame'` atau `'orgname/reponame'`, atau hanya `'reponame'` (Space akan dibuat di namespace pengguna yang sedang login). Jika `None`, metrik hanya dicatat ke direktori **lokal** (tidak ada Space di Hub). Gradio Space tersebut memiliki akses **baca dan tulis** ke **Bucket** Trackio, yang memang diinginkan saat pelatihan masih **berlangsung**—misalnya saat **melanjutkan** run yang belum selesai atau **mengagregasi log** dari beberapa mesin. Space akan bersifat **publik** kecuali Anda mengatur `hub_private_repo=True` atau default organisasi Anda adalah membuat Space privat.

trackio_bucket_id (`str` atau `None`, *opsional*, defaultnya `None`) : ID Bucket Hugging Face opsional untuk Trackio. Jika tidak diset, Trackio akan menurunkannya. Digunakan bersama dengan Gradio Space (`trackio_space_id`) dan saat mendeploy Space statis (`trackio_static_space_id` bukan `False`).

trackio_static_space_id (`str`, `False`, atau `None`, *opsional*, defaultnya `None`) : ID Hugging Face Space yang akan digunakan untuk Space statis yang dibuat setelah pelatihan selesai. Harus berupa nama Space lengkap seperti `'username/reponame'` atau `'orgname/reponame'`, atau hanya `'reponame'` (Space akan dibuat di namespace pengguna yang sedang login). Jika False, tidak akan ada Space statis yang dibuat. Jika None, dan model didorong ke Hub, sebuah Space statis akan dibuat dengan nama default dan ini akan ditautkan dari kartu model. Space akan bersifat publik kecuali Anda mengatur `hub_private_repo=True` atau default organisasi Anda adalah membuat Space privat.

**Evaluasi:**

eval_strategy (`str` atau [IntervalStrategy](/docs/transformers/v5.23.0/id/internal/trainer_utils#transformers.IntervalStrategy), *opsional*, defaultnya `"no"`) : Kapan menjalankan evaluasi. Opsi: - `"no"`: Tidak ada evaluasi selama pelatihan - `"steps"`: Evaluasi setiap `eval_steps` - `"epoch"`: Evaluasi di akhir setiap epoch

eval_steps (`int` atau `float`, *opsional*) : Jumlah langkah pembaruan di antara dua evaluasi jika `eval_strategy="steps"`. Akan secara default menggunakan nilai yang sama dengan `logging_steps` jika tidak diatur. Harus berupa bilangan bulat atau desimal dalam rentang `[0,1)`. Jika lebih kecil dari 1, akan diinterpretasikan sebagai rasio dari total langkah pelatihan.

eval_delay (`float`, *opsional*) : Jumlah epoch atau langkah yang harus ditunggu sebelum evaluasi pertama dapat dilakukan, tergantung pada eval_strategy.

per_device_eval_batch_size (`int`, *opsional*, default 8) : Ukuran batch per inti akselerator perangkat/CPU untuk evaluasi.

prediction_loss_only (`bool`, *opsional*, defaultnya `False`) : Saat melakukan evaluasi dan menghasilkan prediksi, hanya mengembalikan loss.

eval_on_start (`bool`, *opsional*, defaultnya `False`) : Apakah akan melakukan langkah evaluasi (pemeriksaan kewajaran) sebelum pelatihan untuk memastikan langkah validasi berfungsi dengan benar.

eval_do_concat_batches (`bool`, *opsional*, defaultnya `True`) : Apakah akan menggabungkan (concat) input/losses/labels/predictions secara rekursif di seluruh batch. Jika `False`, data tersebut akan disimpan sebagai daftar, dengan setiap batch dipertahankan terpisah.

eval_use_gather_object (`bool`, *opsional*, defaultnya `False`) : Apakah akan menjalankan pengumpulan objek secara rekursif dari daftar/tupel/kamus objek bersarang dari semua perangkat. Ini hanya harus diaktifkan jika pengguna tidak hanya mengembalikan tensor, dan hal ini sangat tidak dianjurkan oleh PyTorch. Ini berguna ketika struktur label tidak standar, seperti pada tugas computer vision.

eval_accumulation_steps (`int`, *opsional*) : Jumlah langkah prediksi untuk mengakumulasi tensor output sebelum memindahkan hasilnya ke CPU. Jika tidak disetel, seluruh prediksi akan diakumulasi di akselerator perangkat sebelum dipindahkan ke CPU (lebih cepat tetapi membutuhkan lebih banyak memori).

**Perhitungan Metrik:**

include_for_metrics (`list[str]`, *opsional*, defaultnya `[]`) : Sertakan data tambahan dalam fungsi `compute_metrics` jika diperlukan untuk perhitungan metrik. Opsi yang mungkin ditambahkan ke daftar `include_for_metrics`: - `"inputs"`: Data input yang diteruskan ke model, ditujukan untuk menghitung metrik yang bergantung pada input. - `"loss"`: Nilai loss yang dihitung selama evaluasi, ditujukan untuk menghitung metrik yang bergantung pada loss.

batch_eval_metrics (`bool`, *opsional*, defaultnya `False`) : Jika diatur ke `True`, evaluasi akan memanggil compute_metrics di akhir setiap batch untuk mengakumulasi statistik, alih-alih menyimpan semua logit eval di memori. Ketika diatur ke `True`, Anda harus meneruskan fungsi compute_metrics yang menerima argumen boolean `compute_result`, yang ketika diteruskan `True`, akan memicu statistik ringkasan global akhir dari statistik ringkasan tingkat batch yang telah Anda akumulasi di sepanjang set evaluasi.

**Checkpointing & Penyimpanan:**

save_only_model (`bool`, *opsional*, defaultnya `False`) : Simpan hanya bobot model, bukan status optimizer/scheduler/RNG. Ini secara signifikan mengurangi ukuran checkpoint tetapi mencegah pelanjutan pelatihan dari checkpoint tersebut. Gunakan ini ketika Anda hanya membutuhkan model yang telah dilatih untuk inferensi, bukan untuk pelatihan lanjutan. Anda hanya dapat memuat model menggunakan `from_pretrained` dengan opsi ini diset ke `True`.

save_strategy (`str` atau `SaveStrategy`, *opsional*, defaultnya `"steps"`) : Strategi penyimpanan checkpoint yang diadopsi selama pelatihan. Nilai yang mungkin adalah: - `"no"`: Tidak ada penyimpanan yang dilakukan selama pelatihan. - `"epoch"`: Penyimpanan dilakukan di akhir setiap epoch. - `"steps"`: Penyimpanan dilakukan setiap `save_steps`. - `"best"`: Penyimpanan dilakukan setiap kali `best_metric` baru tercapai.

save_steps (`int` atau `float`, *opsional*, default 500) : Jumlah langkah pembaruan sebelum dua penyimpanan checkpoint jika `save_strategy="steps"`. Harus berupa bilangan bulat atau float dalam rentang `[0,1)`. Jika lebih kecil dari 1, akan diinterpretasikan sebagai rasio dari total langkah pelatihan.

save_on_each_node (`bool`, *opsional*, defaultnya `False`) : Saat melakukan pelatihan terdistribusi multi-node, apakah model dan checkpoint disimpan di setiap node, atau hanya di node utama. Opsi ini tidak boleh diaktifkan jika node yang berbeda menggunakan penyimpanan yang sama, karena file akan disimpan dengan nama yang sama untuk setiap node.

save_total_limit (`int`, *opsional*) : Jumlah maksimum checkpoint yang disimpan. Checkpoint yang lebih lama akan dihapus dari `output_dir`. Ketika `load_best_model_at_end=True`, checkpoint terbaik selalu dipertahankan beserta yang terbaru. Misalnya, `save_total_limit=5` menyimpan 4 checkpoint terbaru ditambah yang terbaik

enable_jit_checkpoint (`bool`, *opsional*, default `False`) : Aktifkan checkpointing Just-In-Time pada sinyal SIGTERM untuk terminasi yang anggun pada workload yang dapat dipreempt. **Penting**: Konfigurasikan periode shutdown anggun dari orkestrator Anda untuk memberikan waktu yang cukup. Untuk Kubernetes, atur `terminationGracePeriodSeconds` (default 30s biasanya tidak cukup). Untuk Slurm, gunakan `--signal=TERM@<seconds>`. Periode grace yang diperlukan ≥ waktu iterasi terpanjang + waktu penyimpanan checkpoint.

**Integrasi Hugging Face Hub:**

push_to_hub (`bool`, *opsional*, defaultnya `False`) : Apakah model akan didorong ke Hub setiap kali model disimpan. Jika ini diaktifkan, `output_dir` akan memulai direktori git yang disinkronkan dengan repo (ditentukan oleh `hub_model_id`) dan kontennya akan didorong setiap kali penyimpanan dipicu (tergantung pada `save_strategy` Anda). Memanggil [save_model()](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer.save_model) juga akan memicu pendorongan.

hub_token (`str`, *opsional*) : Token yang digunakan untuk mendorong model ke Hub. Secara default akan menggunakan token di folder cache yang diperoleh dengan `hf auth login`.

hub_private_repo (`bool`, *opsional*) : Apakah membuat repo menjadi privat. Jika `None` (default), repo akan menjadi publik kecuali default organisasi adalah privat. Nilai ini diabaikan jika repo sudah ada. Jika melaporkan ke Trackio dengan deployment ke Hugging Face Spaces diaktifkan, logika yang sama menentukan apakah Space tersebut privat.

hub_model_id (`str`, *opsional*) : Nama repositori yang akan disinkronkan dengan *output_dir* lokal. Ini bisa berupa ID model sederhana, di mana model akan didorong ke namespace Anda. Jika tidak, ini harus berupa nama repositori lengkap, misalnya `"user_name/model"`, yang memungkinkan Anda mendorong ke organisasi yang Anda ikuti dengan `"organization_name/model"`. Secara default akan menjadi `user_name/output_dir_name` dengan *output_dir_name* sebagai nama dari `output_dir`.

hub_strategy (`str` atau `HubStrategy`, *opsional*, defaultnya `"every_save"`) : Mendefinisikan apa dan kapan yang akan didorong ke Hub. Opsi: - `"end"`: Dorong hanya di akhir pelatihan - `"every_save"`: Dorong pada setiap penyimpanan (asinkron agar tidak memblokir pelatihan) - `"checkpoint"`: Seperti `"every_save"` ditambah mendorong checkpoint terbaru ke subfolder `"last-checkpoint"` untuk kemudahan melanjutkan - `"all_checkpoints"`: Dorong semua checkpoint saat muncul

hub_always_push (`bool`, *opsional*, defaultnya `False`) : Kecuali ini `True`, `Trainer` akan melewatkan pendorongan checkpoint jika pendorongan sebelumnya belum selesai.

hub_revision (`str`, *opsional*) : Revisi yang akan digunakan saat mendorong ke Hub. Bisa berupa nama cabang, tag, atau hash commit.

**Pelacakan Model Terbaik:**

load_best_model_at_end (`bool`, *opsional*, defaultnya `False`) : Muat checkpoint terbaik di akhir pelatihan. Memerlukan `eval_strategy` untuk diatur. Saat diaktifkan, checkpoint terbaik selalu disimpan (lihat `save_total_limit`).  Ketika `True`, `save_strategy` harus cocok dengan `eval_strategy` (kecuali `save_strategy` adalah `"best"`), dan jika menggunakan `"steps"`, `save_steps` harus merupakan kelipatan dari `eval_steps`.

metric_for_best_model (`str`, *opsional*) : Metrik yang digunakan untuk membandingkan model saat `load_best_model_at_end=True`. Harus berupa nama metrik yang dikembalikan oleh evaluasi, dengan atau tanpa prefiks `"eval_"`. Bawaan adalah `"loss"`. Jika Anda mengatur ini, `greater_is_better` akan secara bawaan menjadi `True` kecuali namanya diakhiri dengan `"loss"`. Contoh: `"accuracy"`, `"f1"`, `"eval_bleu"`.

greater_is_better (`bool`, *opsional*) : Apakah nilai metrik yang lebih tinggi lebih baik. Nilai default berdasarkan `metric_for_best_model`: `True` jika nama metrik tidak diakhiri dengan `"loss"`, `False` selain itu.

**Melanjutkan Pelatihan:**

ignore_data_skip (`bool`, *opsional*, defaultnya `False`) : Saat melanjutkan pelatihan, lewati proses fast-forwarding melalui dataset untuk mencapai keadaan sebelumnya. Jika `True`, pelatihan dimulai dari awal dataset (pemuatan ulang lebih cepat tetapi hasilnya tidak akan cocok dengan pelatihan yang terputus). Jika `False`, data yang sudah dilihat akan dilewati (pemuatan ulang lebih lambat tetapi kelanjutan yang persis).

restore_callback_states_from_checkpoint (`bool`, *opsional*, defaultnya `False`) : Pulihkan status callback dari checkpoint saat melanjutkan. Jika `True`, akan menimpa callback yang diteruskan ke Trainer jika callback tersebut ada di checkpoint.

**Reprodusibilitas:**

full_determinism (`bool`, *opsional*, defaultnya `False`) : Jika `True`, [enable_full_determinism()](/docs/transformers/v5.23.0/id/internal/trainer_utils#transformers.enable_full_determinism) dipanggil alih-alih [set_seed()](/docs/transformers/v5.23.0/id/internal/trainer_utils#transformers.set_seed) untuk memastikan hasil yang dapat direproduksi dalam pelatihan terdistribusi. Penting: ini akan berdampak negatif pada kinerja, jadi hanya gunakan untuk debugging.

seed (`int`, *opsional*, default 42) : Random seed yang akan diset di awal pelatihan. Untuk memastikan reproduktibilitas antar run, gunakan fungsi `~Trainer.model_init` untuk menginstansiasi model jika model tersebut memiliki beberapa parameter yang diinisialisasi secara acak.

data_seed (`int`, *opsional*) : Benang acak (random seed) yang akan digunakan dengan sampler data. Jika tidak diatur, generator acak untuk pengambilan sampel data akan menggunakan benang acak yang sama dengan `seed`. Hal ini dapat digunakan untuk memastikan reproduktibilitas pengambilan sampel data, terlepas dari benang acak model.

**Konfigurasi Perangkat Keras:**

use_cpu (`bool`, *opsional*, defaultnya `False`) : Apakah akan menggunakan cpu atau tidak. Jika diset ke False, kami akan menggunakan perangkat/backend torch yang tersedia.

**Konfigurasi Accelerate:**

accelerator_config (`str`, `dict`, atau `AcceleratorConfig`, *opsional*) : Konfigurasi untuk integrasi Accelerate internal. Dapat berupa: - Path ke file konfigurasi JSON: `"accelerator_config.json"` - Dictionary dengan opsi konfigurasi - Instans `AcceleratorConfig` Opsi kunci: - `split_batches` (`bool`, default `False`): Apakah batch akan dipecah di antara perangkat. Jika `True`, ukuran batch aktual sama di semua perangkat (total harus habis dibagi num_processes). Jika `False`, setiap perangkat menerima ukuran batch yang ditentukan. - `dispatch_batches` (`bool`): Jika `True`, hanya proses utama yang mengiterasi dataloader dan mendistribusikan batch ke perangkat. Default `True` untuk `IterableDataset`, `False` selain itu. - `even_batches` (`bool`, default `True`): Duplikat sampel dari awal dataset untuk memastikan semua worker mendapatkan ukuran batch yang sama. - `use_seedable_sampler` (`bool`, default `True`): Gunakan sampler acak yang sepenuhnya dapat di-seed untuk reproduktibilitas. - `use_configured_state` (`bool`, default `False`): Gunakan `AcceleratorState`/`PartialState` yang sudah diinisialisasi sebelumnya alih-alih membuat yang baru. Dapat menyebabkan masalah dengan penyetelan hiperparameter.

parallelism_config (`ParallelismConfig`, *opsional*) : Konfigurasi paralelisme untuk sesi pelatihan. Memerlukan Accelerate `1.10.1`

**Pemuat data:**

dataloader_drop_last (`bool`, *opsional*, defaultnya `False`) : Apakah akan membuang batch terakhir yang tidak lengkap (jika panjang dataset tidak habis dibagi ukuran batch) atau tidak.

dataloader_num_workers (`int`, *opsional*, default 0) : Jumlah subprocess yang digunakan untuk memuat data (hanya PyTorch). 0 berarti data akan dimuat di proses utama.

dataloader_pin_memory (`bool`, *opsional*, defaultnya `True`) : Apakah Anda ingin mem-pin memori di data loader atau tidak. Akan default ke `True`.

dataloader_persistent_workers (`bool`, *opsional*, defaultnya `False`) : Jika True, data loader tidak akan mematikan proses worker setelah dataset dikonsumsi sekali. Hal ini memungkinkan untuk menjaga instance Dataset worker tetap aktif. Potensi mempercepat pelatihan, tetapi akan meningkatkan penggunaan RAM. Akan default ke `False`.

dataloader_prefetch_factor (`int`, *opsional*) : Jumlah batch yang dimuat di muka oleh setiap worker. Nilai 2 berarti akan ada total 2 * num_workers batch yang diprefetch di seluruh worker.

dataloader_multiprocessing_context (`str`, *opsional*) : Metode start multiprocessing yang digunakan untuk worker pemuatan data (`"fork"`, `"spawn"`, atau `"forkserver"`). Secara default menggunakan metode start default PyTorch, kecuali pada MPS dengan `dataloader_num_workers > 1`, di mana defaultnya adalah `"fork"`. Gunakan `"spawn"` saat streaming dari sumber yang objeknya tidak aman untuk fork (misalnya HDFS melalui `pyarrow`). Di bawah `"spawn"`, kode `collate_fn` atau dataset kustom apa pun harus dapat diimpor di level modul (tanpa lambda/closure).

dataloader_in_order (`bool`, *opsional*, defaultnya `True`) : Jika `True`, data loader menghasilkan batch sesuai urutan worker yang dikirimkan. Atur ke `False` untuk menghasilkan batch segera setelah siap, yang dapat mengurangi latensi ekor untuk workload streaming `IterableDataset`. Memerlukan PyTorch >= 2.6.

remove_unused_columns (`bool`, *opsional*, defaultnya `True`) : Apakah kolom yang tidak digunakan oleh metode forward model akan dihapus secara otomatis.

label_names (`list[str]`, *opsional*) : Daftar kunci dalam kamus input Anda yang sesuai dengan label. Pada akhirnya akan secara default menjadi daftar nama argumen yang diterima oleh model dan mengandung kata "label", kecuali jika model yang digunakan adalah salah satu dari `XxxForQuestionAnswering`, di mana dalam hal itu juga akan menyertakan kunci `["start_positions", "end_positions"]`. Anda hanya perlu menentukan `label_names` jika Anda menggunakan nama label kustom atau jika `forward` model Anda mengonsumsi beberapa tensor label (misalnya, QA ekstraktif).

train_sampling_strategy (`str`, *opsional*, defaultnya `"random"`) : Sampler yang digunakan untuk dataloader pelatihan. Nilai yang mungkin adalah:  - `"random"`: Menggunakan `RandomSampler` (default). - `"sequential"`: Menggunakan `SequentialSampler`. - `"group_by_length"`: Menggunakan `LengthGroupedSampler` untuk mengelompokkan sampel dengan panjang yang kurang lebih sama (untuk meminimalkan padding dan menjadi lebih efisien). - `"batch_rebalance"`: Menggunakan `BatchRebalanceSampler` untuk menyeimbangkan biaya token yang di-pad di antara perangkat dan langkah akumulasi gradien di dalam setiap batch efektif, mengurangi pemborosan padding dan memori puncak dibandingkan `"group_by_length"`. Saat ini hanya didukung untuk pelatihan data-parallel (tensor parallelism belum didukung).  Catatan: Saat menggunakan `IterableDataset`, argumen ini diabaikan.

length_column_name (`str`, *opsional*, defaultnya `"length"`) : Nama kolom untuk panjang yang sudah dihitung sebelumnya. Jika kolom ini ada, pengelompokan berdasarkan panjang akan menggunakan nilai-nilai ini alih-alih menghitungnya saat peluncuran pelatihan. Diabaikan kecuali `train_sampling_strategy` adalah `"group_by_length"` atau `"batch_rebalance"` dan dataset adalah instance dari `Dataset`.

**DDP (DistributedDataParallel):**

ddp_find_unused_parameters (`bool`, *opsional*) : Saat menggunakan pelatihan terdistribusi, nilai flag `find_unused_parameters` yang diteruskan ke `DistributedDataParallel`. Akan menjadi `False` jika gradient checkpointing digunakan, `True` selain itu.

ddp_bucket_cap_mb (`int`, *opsional*) : Saat menggunakan pelatihan terdistribusi, nilai bendera `bucket_cap_mb` yang diteruskan ke `DistributedDataParallel`.

ddp_broadcast_buffers (`bool`, *opsional*) : Saat menggunakan pelatihan terdistribusi, nilai flag `broadcast_buffers` yang diteruskan ke `DistributedDataParallel`. Akan menjadi `False` jika gradient checkpointing digunakan, `True` selain itu.

ddp_static_graph (`bool`, *opsional*) : Saat menggunakan pelatihan terdistribusi, nilai bendera `static_graph` yang diteruskan ke `DistributedDataParallel`.

ddp_backend (`str`, *opsional*) : Backend yang akan digunakan untuk pelatihan terdistribusi. Harus salah satu dari `"nccl"`, `"mpi"`, `"xccl"`, `"gloo"`, `"hccl"`.

ddp_timeout (`int`, *opsional*, default 1800) : Timeout untuk panggilan `torch.distributed.init_process_group`, digunakan untuk menghindari timeout socket GPU saat melakukan operasi lambat dalam eksekusi terdistribusi. Silakan lihat [dokumentasi PyTorch](https://pytorch.org/docs/stable/distributed.html#torch.distributed.init_process_group) untuk informasi lebih lanjut.

**FSDP (Fully Sharded Data Parallel):**

fsdp (`bool`, *opsional*, defaultnya `None`) : Aktifkan PyTorch Fully Sharded Data Parallel (FSDP) untuk pelatihan terdistribusi. Berikan `True` untuk mengaktifkan FSDP.

fsdp_config (`str` atau `dict`, *opsional*) : Pengaturan konfigurasi untuk saat `fsdp` diaktifkan. Berikan path ke file konfigurasi JSON, seperti `fsdp_config.json`, atau dict yang sudah dimuat. Kunci yang didukung: - version (`int`, *opsional*, defaultnya `2`): Versi FSDP yang akan digunakan (`2` untuk FSDP2, `1` untuk FSDP1 legacy). - reshard_after_forward (`bool`, *opsional*, defaultnya `True`): Apakah parameter akan di-reshard setelah forward pass. Atur ke `False` untuk menjaga parameter tetap terkumpul antara forward dan backward pass, menghindari re-all-gather, dan menggunakan memori puncak yang lebih tinggi. - cpu_offload (`bool`, *opsional*, defaultnya `False`): Offload parameter dan gradien ke CPU saat tidak digunakan untuk menghemat memori GPU. - activation_checkpointing (`bool`, *opsional*, defaultnya `False`): Atur ke `True` untuk mengurangi memori dengan menghitung ulang aktivasi selama backward pass. Saat menggunakan FSDP, lebih baik gunakan ini daripada argumen pelatihan `activation_checkpointing`, yang memperkenalkan all-gather yang redundan dalam backward pass. - cpu_ram_efficient_loading (`bool`, *opsional*, defaultnya `False`): Atur ke `True` untuk memuat checkpoint pretrained hanya pada proses pertama. Proses lain dimulai dengan bobot kosong dan menerima bobot melalui broadcast. - state_dict_type (`str`, *opsional*, defaultnya `"FULL_STATE_DICT"`): Format checkpoint: `"FULL_STATE_DICT"` (satu file yang kompatibel dengan HF) atau `"SHARDED_STATE_DICT"` (satu file per rank, lebih cepat untuk model besar). - auto_wrap_policy (`str`, *opsional*, defaultnya `"TRANSFORMER_BASED_WRAP"`): Kebijakan auto-wrap yang akan digunakan. Pilih `"TRANSFORMER_BASED_WRAP"`, `"SIZE_BASED_WRAP"`, atau `"NO_WRAP"`. - transformer_layer_cls_to_wrap (`list[str]`, *opsional*): Nama kelas layer Transformer (case-sensitive) yang akan di-wrap, misalnya `LlamaDecoderLayer`. Biasanya tidak diperlukan: kebijakan wrap akan kembali ke `_no_split_modules` model, yang mencakup sebagian besar model transformers. - min_num_params (`int`, *opsional*, defaultnya `0`): Jumlah minimum parameter per modul untuk auto-wrapping berbasis ukuran (digunakan dengan `auto_wrap_policy="SIZE_BASED_WRAP"`). - xla (`bool`, *opsional*, defaultnya `False`): Apakah akan menggunakan PyTorch/XLA Fully Sharded Data Parallel Training. Eksperimental. - xla_fsdp_settings (`dict`, *opsional*): Dictionary parameter wrapping XLA FSDP. Untuk daftar lengkap opsi, lihat [sumber XLA FSDP](https://github.com/pytorch/xla/blob/master/torch_xla/distributed/fsdp/xla_fully_sharded_data_parallel.py). - xla_fsdp_grad_ckpt (`bool`, *opsional*, defaultnya `False`): Atur ke `True` untuk menggunakan gradient checkpointing pada setiap layer XLA FSDP yang di-wrap secara bersarang. Memerlukan `xla=True` dan kebijakan auto-wrapping (`min_num_params` atau `transformer_layer_cls_to_wrap`).

**DeepSpeed:**

deepspeed (`str` atau `dict`, *opsional*) : Mengaktifkan integrasi [DeepSpeed](https://github.com/deepspeedai/DeepSpeed). Nilainya adalah salah satu dari: - Path ke file konfigurasi JSON DeepSpeed: `"ds_config.json"` - Konfigurasi yang dimuat sebagai dictionary > [!TIP] > Jika menggunakan inisialisasi ZeRO, instansiasi model Anda *setelah* menginisialisasi `TrainingArguments`, jika tidak ZeRO tidak akan diterapkan.

**Debugging & Profiling (Eksperimental):**

debug (`str` atau list of `DebugOption`, *opsional*, default ke `""`) : Aktifkan satu atau beberapa fitur debug. Ini adalah fitur eksperimental. Opsi yang mungkin adalah: - "underflow_overflow": mendeteksi overflow pada input/output model dan melaporkan frame terakhir yang menyebabkan kejadian tersebut - "tpu_metrics_debug": cetak metrik debug pada TPU

skip_memory_metrics (`bool`, *opsional*, defaultnya `True`) : Apakah akan melewati penambahan laporan profiler memori ke metrik. Ini dilewati secara default karena memperlambat kecepatan pelatihan dan evaluasi.

**Flag Skrip Eksternal (tidak digunakan oleh Trainer):**

do_train (`bool`, *opsional*, defaultnya `False`) : Apakah akan menjalankan pelatihan atau tidak. Argumen ini tidak digunakan secara langsung oleh [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer), melainkan ditujukan untuk digunakan oleh skrip pelatihan/evaluasi Anda.

do_eval (`bool`, *opsional*) : Apakah akan menjalankan evaluasi pada set validasi atau tidak. Akan diset ke `True` jika `eval_strategy` berbeda dari `"no"`. Argumen ini tidak digunakan secara langsung oleh [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer), melainkan ditujukan untuk digunakan oleh skrip pelatihan/evaluasi Anda.

do_predict (`bool`, *opsional*, default `False`) : Apakah akan menjalankan prediksi pada set pengujian atau tidak. Argumen ini tidak digunakan secara langsung oleh [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer), melainkan ditujukan untuk digunakan oleh skrip pelatihan/evaluasi Anda.

resume_from_checkpoint (`str`, *opsional*) : Path ke folder dengan checkpoint yang valid untuk model Anda. Argumen ini tidak digunakan secara langsung oleh [Trainer](/docs/transformers/v5.23.0/id/main_classes/trainer#transformers.Trainer), melainkan ditujukan untuk digunakan oleh skrip pelatihan/evaluasi Anda.

sortish_sampler (`bool`, *opsional*, defaultnya `False`) : Apakah akan menggunakan *sortish sampler* atau tidak. Saat ini hanya mungkin jika dataset dasarnya adalah *Seq2SeqDataset*, tetapi akan tersedia secara umum dalam waktu dekat. Ini mengurutkan input berdasarkan panjangnya untuk meminimalkan ukuran padding, dengan sedikit keacakan untuk set pelatihan.

predict_with_generate (`bool`, *opsional*, defaultnya `False`) : Apakah akan menggunakan generate untuk menghitung metrik generatif (ROUGE, BLEU).

generation_max_length (`int`, *opsional*) : `max_length` yang digunakan pada setiap loop evaluasi saat `predict_with_generate=True`. Akan secara default menggunakan nilai `max_length` dari konfigurasi model.

generation_num_beams (`int`, *opsional*) : `num_beams` yang digunakan pada setiap loop evaluasi saat `predict_with_generate=True`. Akan secara default menggunakan nilai `num_beams` dari konfigurasi model.

generation_config (`str` atau `Path` atau [GenerationConfig](/docs/transformers/v5.23.0/id/main_classes/text_generation#transformers.GenerationConfig), *opsional*) : Memungkinkan untuk memuat [GenerationConfig](/docs/transformers/v5.23.0/id/main_classes/text_generation#transformers.GenerationConfig) dari metode `from_pretrained`. Ini bisa berupa: - sebuah string, yaitu *model id* dari konfigurasi model pretrained yang dihosting di dalam repo model di huggingface.co. - path ke *directory* yang berisi file konfigurasi yang disimpan menggunakan metode [save_pretrained()](/docs/transformers/v5.23.0/id/main_classes/text_generation#transformers.GenerationConfig.save_pretrained), misalnya `./my_model_directory/`. - objek [GenerationConfig](/docs/transformers/v5.23.0/id/main_classes/text_generation#transformers.GenerationConfig).

Kelas konfigurasi untuk mengendalikan semua aspek pelatihan model dengan Trainer. TrainingArguments memusatkan semua hiperparameter, pengaturan optimasi, preferensi pencatatan log, dan pilihan infrastruktur yang diperlukan untuk pelatihan.

[HfArgumentParser](/docs/transformers/v5.23.0/id/internal/trainer_utils#transformers.HfArgumentParser) dapat mengubah kelas ini menjadi argumen [argparse](https://docs.python.org/3/library/argparse#module-argparse) yang dapat ditentukan di baris perintah.

#### to_dict[[transformers.Seq2SeqTrainingArguments.to_dict]]

```python
to_dict()
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/training_args_seq2seq.py#L84)

Menserialisasi instance ini dengan mengganti `Enum` dengan nilai mereka dan `GenerationConfig` dengan kamus (untuk dukungan serialisasi JSON). Hal ini mengaburkan nilai token dengan menghapus nilainya.

