Accelerate documentation

Các phương pháp huấn luyện độ chính xác thấp

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Các phương pháp huấn luyện độ chính xác thấp

Việc ra mắt các loại phần cứng mới đã dẫn đến sự xuất hiện của các phương pháp huấn luyện mới, giúp khai thác chúng hiệu quả hơn. Hiện tại, điều này thể hiện ở việc huấn luyện với độ chính xác 8-bit bằng các gói như TransformersEngine (TE) hoặc torchao (FP8 PyTorch bản địa).

Để có cái nhìn tổng quan về các chủ đề được thảo luận hôm nay, chúng tôi khuyên bạn nên xem lại hướng dẫn sử dụng độ chính xác thấp vì tài liệu này sẽ thường xuyên tham chiếu đến nó.

Một biểu đồ nhanh

Dưới đây là biểu đồ nhanh cho thấy các mức độ chính xác bit khác nhau cho từng giải pháp trong quá trình huấn luyện:

Mức độ tối ưuTính toán (GEMM)Giao tiếpTrọng sốTrọng số chínhGradient của trọng sốTrạng thái của bộ tối ưu
FP16 AMPFP16FP32FP32N/AFP32FP32+FP32
Nvidia TEFP8FP32FP32N/AFP32FP32+FP32

TransformersEngine

TransformersEngine là giải pháp đầu tiên thử nghiệm việc huấn luyện bằng số thực 8-bit. Nó hoạt động bằng cách sử dụng các lớp thay thế trực tiếp cho một số lớp nhất định trong mô hình, tận dụng động cơ FP8 của chúng để giảm số lượng bit (ví dụ từ 32 xuống 8) mà không làm giảm độ chính xác cuối cùng của mô hình.

Cụ thể, Accelerate sẽ tìm và thay thế các lớp sau bằng các phiên bản TransformersEngine:

  • nn.LayerNorm thành te.LayerNorm
  • nn.Linear thành te.Linear

Kết quả là chúng ta có được một mô hình mà phần lớn các lớp của nó ở dạng BF16, trong khi một số lớp ở dạng FP8, giúp giảm bớt một phần bộ nhớ.

Theo kinh nghiệm thực tế, chúng tôi nhận thấy rằng lợi ích về hiệu suất khi sử dụng TransformerEngine thực sự bắt đầu thể hiện chỉ khi phần lớn các lớp trong mô hình được cấu thành từ hai lớp cần thay thế đó. Do đó, chỉ các mô hình lớn hơn mới cho thấy cải thiện hiệu suất khi số lượng tham số đạt khoảng vài tỷ trở lên.

TransformerEngine có thể nhận nhiều đối số khác nhau để tùy chỉnh cách thực hiện các phép tính FP8 và mục đích của chúng. Danh sách đầy đủ các đối số có sẵn bên dưới:

  • margin: Biên độ cần sử dụng cho việc điều chỉnh tỷ lệ gradient.
  • interval: Khoảng thời gian sử dụng để xác định tần suất tính lại hệ số tỷ lệ.
  • fp8_format``: The format to use for the FP8 recipe. Must be one ofHYBRIDorE4M3. (GenerallyHYBRIDfor training,E4M3` for evaluation)
  • amax_history_len: Độ dài của lịch sử được sử dụng để tính hệ số tỷ lệ
  • amax_compute_algo: Thuật toán được sử dụng để tính hệ số tỷ lệ. Phải là một trong max hoặc most_recent.
  • override_linear_precision: Xác định có thực hiện các GEMM fprop, dgrad và wgrad ở độ chính xác cao hơn hay không.

Bạn có thể tùy chỉnh từng mục trong số này như một phần của utils.TERecipeKwargs để giúp tối ưu hóa hiệu suất của các mô hình của bạn.

Nếu để ý đến biểu đồ được đề cập ở trên, TE chỉ chuyển các lớp tính toán sang FP8, trong khi mọi thứ khác đều ở FP32. Kết quả là phương pháp này sử dụng nhiều bộ nhớ nhất, nhưng bù lại đảm bảo mức độ suy giảm độ chính xác cuối cùng trong quá trình huấn luyện là thấp nhất.

Update on GitHub