Accelerate documentation
سطر الأوامر
سطر الأوامر
فيما يلي قائمة بجميع الأوامر المتاحة في 🤗 Accelerate مع معلماتها
accelerate config
الأمر:
accelerate config أو accelerate-config
يطلق سلسلة من الأوامر لإنشاء وحفظ ملف الإعدادات default_config.yml لنظام التدريب الخاص بك. يجب دائمًا تشغيله أولاً على جهازك.
الاستخدام:
accelerate config [arguments]
الحجوج الاختيارية:
--config_file CONFIG_FILE(str) — المسار المستخدم لتخزين ملف الإعدادات. سيُستخدم افتراضيًا ملف باسم default_config.yaml في موقع التخزين المؤقت، وهو محتوى متغير البيئةHF_HOMEمع إضافة ‘accelerate’ إليه، أو إذا لم يكن لديك متغير بيئة بهذا الاسم، فسيكون مجلد التخزين المؤقت الخاص بك (~/.cacheأو محتوىXDG_CACHE_HOME) مع إضافةhuggingfaceإليه.-h،--help(bool) — عرض رسالة مساعدة والخروج
accelerate config default
الأمر:
accelerate config default أو accelerate-config default
أنشئ ملف إعدادات افتراضيًا لـ Accelerate مع ضبط عدد قليل من الأعلام فقط.
الاستخدام:
accelerate config default [arguments]
الحجوج الاختيارية:
--config_file CONFIG_FILE(str) — المسار المستخدم لتخزين ملف الإعدادات. سيُستخدم افتراضيًا ملف باسم default_config.yaml في موقع التخزين المؤقت، وهو محتوى متغير البيئةHF_HOMEمع إضافة ‘accelerate’ إليه، أو إذا لم يكن لديك متغير بيئة بهذا الاسم، فسيكون مجلد التخزين المؤقت الخاص بك (~/.cacheأو محتوىXDG_CACHE_HOME) مع إضافةhuggingfaceإليه.-h،--help(bool) — عرض رسالة مساعدة والخروج--mixed_precision {no,fp16,bf16}(str) — ما إذا كان سيتم استخدام التدريب بدقة مختلطة أم لا. اختر بين التدريب بدقة FP16 أو BF16 (bfloat16). يُدعم التدريب بدقة BF16 فقط على وحدات معالجة الرسوميات Nvidia Ampere وإصدارات PyTorch 1.10 أو الأحدث.
accelerate config update
الأمر:
accelerate config update أو accelerate-config update
حدّث ملف الإعدادات الحالي بأحدث القيم الافتراضية مع الحفاظ على الإعدادات القديمة.
الاستخدام:
accelerate config update [arguments]
الحجوج الاختيارية:
--config_file CONFIG_FILE(str) — مسار ملف الإعدادات الذي سيتم تحديثه. سيُستخدم افتراضيًا ملف باسم default_config.yaml في موقع التخزين المؤقت، وهو محتوى متغير البيئةHF_HOMEمع إضافة لاحقة ‘accelerate’، أو إذا لم يكن لديك متغير بيئة بهذا الاسم، فسيكون مجلد التخزين المؤقت الخاص بك (~/.cacheأو محتوىXDG_CACHE_HOME) مع إضافة لاحقةhuggingface.-h،--help(bool) — عرض رسالة مساعدة والخروج
accelerate env
الأمر:
accelerate env أو accelerate-env أو python -m accelerate.commands.env
يُدرج محتويات ملف إعدادات 🤗 Accelerate المُمرَّر. يجب استخدامه دائمًا عند فتح مشكلة في مستودع GitHub.
الاستخدام:
accelerate env [arguments]الحجوج الاختيارية:
--config_file CONFIG_FILE(str) — المسار المستخدم لتخزين ملف الإعدادات. سيُستخدم افتراضيًا ملف باسم default_config.yaml في موقع التخزين المؤقت، وهو محتوى متغير البيئةHF_HOMEمع إضافة ‘accelerate’ إليه، أو إذا لم يكن لديك متغير بيئة بهذا الاسم، فسيكون مجلد التخزين المؤقت الخاص بك (~/.cacheأو محتوىXDG_CACHE_HOME) مع إضافةhuggingfaceإليه.-h،--help(bool) — عرض رسالة مساعدة والخروج
accelerate launch
الأمر:
accelerate launch أو accelerate-launch أو python -m accelerate.commands.launch
يُشغّل سكربتاً محدداً على نظام موزّع مع المعلمات الصحيحة.
الاستخدام:
accelerate launch [arguments] {training_script} --{training_script-argument-1} --{training_script-argument-2} ...الحجج الموضعية:
{training_script}— المسار الكامل للنص البرمجي الذي سيتم تشغيله بالتوازي--{training_script-argument-1}— حِجَج سكربت التدريب
الحجوج الاختيارية:
-h،--help(bool) — عرض رسالة مساعدة والخروج--config_file CONFIG_FILE(str)— ملف الإعدادات الذي يُستخدم للقيم الافتراضية في سكربت التشغيل.-m،--module(bool) — تغيير كل عملية لتفسير سكربت الإقلاع كوحدة Python، مع التنفيذ بنفس سلوك ‘python -m’.--no_python(bool) — تخطي إضافة ‘python’ قبل سكربت التدريب - نفّذه مباشرة. مفيد عندما لا يكون السكربت سكربت Python.--debug(bool) — ما إذا كان يجب طباعة أثر المكدس الخاص بـ torch.distributed عند حدوث فشل.-q،--quiet(bool) — يعرض أخطاء التدريب دون أثر استدعاء المُشغِّل، حتى عند استخدام--debug. ينطبق على عمليات التشغيل أحادية العملية، متعددة وحدات معالجة الرسوميات، وعمليات تشغيل DeepSpeed.
تُضبط بقية هذه الحُجج من خلال accelerate config وتُقرأ قيمها من --config_file المحدد (أو من الإعدادات الافتراضية). كما يمكن تمريرها يدوياً.
حجج اختيار العتاد:
--cpu(bool) — ما إذا كان يجب إجبار التدريب على المعالج المركزي (CPU) أم لا.--multi_gpu(bool) — ما إذا كان يجب إطلاق تدريب GPU موزّع أم لا.--tpu(bool) — ما إذا كان يجب إطلاق تدريب TPU أم لا.
حجج اختيار الموارد:
تُعدّ الحُجج التالية مفيدةً لضبط كيفية استخدام العتاد المتاح
--mixed_precision {no,fp16,bf16,fp8}(str) — ما إذا كان سيتم استخدام التدريب بدقة مختلطة أم لا. اختر بين التدريب بدقة FP16 أو BF16 (bfloat16). يُدعم التدريب بدقة BF16 فقط على وحدات معالجة الرسوميات Nvidia Ampere وإصدارات PyTorch 1.10 أو الأحدث.--num_processes NUM_PROCESSES(int) — العدد الإجمالي للعمليات التي سيتم تشغيلها بالتوازي.--num_machines NUM_MACHINES(int) — العدد الإجمالي للآلات المستخدمة في هذا التدريب.--num_cpu_threads_per_process NUM_CPU_THREADS_PER_PROCESS(int) — عدد خيوط المعالج المركزي لكل عملية. يمكن ضبطه للحصول على أداء مثالي.--enable_cpu_affinity(bool) — ما إذا كان يجب تمكين تقارب المعالج المركزي وتوازنه أم لا. حاليًا، يُدعم هذا الخيار فقط على أجهزة NVIDIA.
حجج نموذج التدريب:
تُعدّ الحُجج التالية مفيدةً لاختيار نموذج التدريب الذي سيتم استخدامه.
--use_deepspeed(bool) — ما إذا كان سيتم استخدام DeepSpeed للتدريب أم لا.--use_fsdp(bool) — ما إذا كان سيتم استخدام FullyShardedDataParallel للتدريب أم لا.--use_megatron_lm(bool) — ما إذا كان سيتم استخدام Megatron-LM للتدريب أم لا.
حجج GPU الموزعة:
لا تُفيد الحُجج التالية إلا عند تمرير multi_gpu أو عند تكوين التدريب متعدد المعالجات الرسومية عبر accelerate config:
--gpu_ids(str) — قائمة مفصولة بفواصل تحدد المعالجات الرسومية (حسب المعرف) التي يجب استخدامها للتدريب على هذا الجهاز--same_network(bool) — ما إذا كانت جميع الأجهزة المستخدمة للتدريب متعدد العقد موجودة على نفس الشبكة المحلية.--machine_rank(int) — ترتيب الجهاز الذي يُشغَّل عليه هذا السكربت.--main_process_ip(str) — عنوان بروتوكول الإنترنت (IP) لجهاز الرتبة 0.--main_process_port(int) — المنفذ المستخدم للتواصل مع جهاز الرتبة 0.-t،--tee(str) — توجيه تدفقات الإخراج القياسية إلى ملف سجل وإلى وحدة التحكم أيضًا.--log_dir(str) — المجلد الأساسي الذي يُستخدم لملفات السجلات عند استخدام torchrun/torch.distributed.run كمشغّل. يُستخدم مع —tee لإعادة توجيه تدفقات الإخراج القياسية إلى ملفات السجلات.--role(str) — الدور الذي يحدده المستخدم للعاملين.--rdzv_backend(str) — طريقة الالتقاء (rendezvous) المستخدمة، مثل ‘static’ (الافتراضي) أو ‘c10d’--rdzv_conf(str) — إعدادات إضافية للقاء (str) (<key1>=<value1>,<key2>=<value2>,…).--max_restarts(int) — الحد الأقصى لعدد إعادة تشغيل مجموعات العمال قبل الفشل.--monitor_interval(int) — الفترة، بالثواني، لمراقبة حالة العمال.
حجج TPU:
لا تُفيد الحُجج التالية إلا عند تمرير tpu أو عند تكوين تدريب TPU من خلال accelerate config:
--tpu_cluster(bool) — ما إذا كان سيتم استخدام عقدة TPU من GCP للتدريب.--tpu_use_sudo(bool) — ما إذا كان سيتم استخدامsudoعند تشغيل سكربت تدريب TPU في كل عقدة.--vm(str) — قائمة بأسماء وحدات حوسبة VM مفردة. إذا لم تُقدَّم، نفترض استخدام مجموعات الوحدات. مخصصة لأحواض TPU.--env(str) — قائمة متغيرات البيئة التي يجب ضبطها على وحدات VM الحاسوبية. مخصصة لعناقيد TPU.--main_training_function(str) — اسم الدالة الرئيسية التي سيتم تنفيذها في سكربت الخاص بك (لتدريب TPU فقط).--downcast_bf16(bool) — ما إذا كان سيتم تحويل كل من تensors من النوع float وdouble إلى bfloat16 عند استخدام دقة bf16 على وحدات TPU، أم ستبقى تensors من النوع double كنوع float32.
حجج DeepSpeed:
لا تُفيد الحُجج التالية إلا عند تمرير use_deepspeed أو عند تكوين deepspeed عبر accelerate config:
--deepspeed_config_file(str) — ملف إعدادات DeepSpeed.--zero_stage(int) — مرحلة تحسين ZeRO في DeepSpeed.--offload_optimizer_device(str) — يحدد مكان (none|cpu|nvme) الذي سيتم فيه تفريغ حالات المُحسِّن.--offload_param_device(str) — يحدد مكان (none|cpu|nvme) الذي سيتم فيه تفريغ المعلمات.--offload_optimizer_nvme_path(str) — يحدد مسار Nvme لتفريغ حالات المُحسِّن.--gradient_accumulation_steps(int) — عدد خطوات gradient_accumulation_steps المستخدمة في سكربت التدريب الخاص بك.--gradient_clipping(float) — قيمة قص التدرجات المستخدمة في سكربت التدريب الخاص بك.--zero3_init_flag(str) — يحدد ما إذا كان سيتم تفعيلdeepspeed.zero.Init(true|false) لبناء نماذج ضخمة. لا ينطبق إلا مع DeepSpeed ZeRO Stage-3.--zero3_save_16bit_model(str) — يحدد ما إذا كان (true|false) سيتم حفظ أوزان النموذج بدقة 16 بت عند استخدام ZeRO Stage-3. ينطبق فقط مع DeepSpeed ZeRO Stage-3.--deepspeed_hostfile(str) — ملف مضيف DeepSpeed لتكوين موارد الحوسبة متعددة العقد.--deepspeed_exclusion_filter(str) — سلسلة مرشح استبعاد DeepSpeed عند استخدام إعداد متعدد العقد.--deepspeed_inclusion_filter(str) — سلسلة مرشح تضمين DeepSpeed عند استخدام إعداد متعدد العقد.--deepspeed_multinode_launcher(str) — مُشغّل DeepSpeed متعدد العقد الذي سيتم استخدامه.--deepspeed_moe_layer_cls_names(str) — قائمة مفصولة بفواصل لأسماء فئات طبقات MoE في transformer (حساسة لحالة الأحرف) التي يجب تغليفها، على سبيل المثالMixtralSparseMoeBlockQwen2MoeSparseMoeBlock،JetMoEAttention,JetMoEBlock
حجج التوازي الكامل للبيانات المجزأة:
تُفيد الحُجج التالية فقط عند تمرير use_fsdp أو عند تكوين موازاة البيانات المجزأة بالكامل (Fully Sharded Data Parallelism) عبر accelerate config:
--fsdp_offload_params(str) — يحدد ما إذا كان سيتم (true|false) نقل المعاملات والتدرجات إلى وحدة المعالجة المركزية (CPU).--fsdp_min_num_params(int) — الحد الأدنى لعدد المعلمات في FSDP للتغليف التلقائي الافتراضي.--fsdp_sharding_strategy(int) — استراتيجية تقسيم FSDP.--fsdp_auto_wrap_policy(str) — سياسة التفاف FSDP التلقائي.--fsdp_transformer_layer_cls_to_wrap(str) — اسم فئة طبقة Transformer (حساسة لحالة الأحرف) التي سيتم تغليفها، على سبيل المثالBertLayer،GPTJBlock،T5Block…--fsdp_backward_prefetch_policy(str) — سياسة الاستباق العكسي في FSDP.--fsdp_state_dict_type(str) — نوع قاموس الحالة الخاص بـ FSDP.--fsdp_forward_prefetch(str) — استباقية الأمامي في FSDP.--fsdp_use_orig_params(str) — إذا كانت القيمة True، تتيح وجودrequires_gradغير متجانس داخل وحدة FSDP.--fsdp_cpu_ram_efficient_loading(str) — إذا كانت القيمة صحيحة، فإن العملية الأولى فقط هي التي تُحمّل نقطة التفتيش للنموذج المُدرَّب مسبقًا، بينما تكون أوزان جميع العمليات الأخرى فارغة. عند استخدام هذا الخيار، يجب أن تكون قيمة--fsdp_sync_module_statesصحيحة.--fsdp_sync_module_states(str) — إذا كانت القيمة صحيحة، فسيبث كل وحدة FSDP ملفوفة بشكل فردي معاملات الوحدة من الرتبة 0.--fsdp_activation_checkpointing(bool) — يحدد ما إذا كانت التفعيلات الوسيطة تُحرَّر أثناء المرور الأمامي، ويُترك نقطة تفتيش كعنصر نائب
حجج Megatron-LM:
لا تُفيد الحُجج التالية إلا عند تمرير use_megatron_lm أو عند تكوين Megatron-LM عبر accelerate config:
--megatron_lm_tp_degree(“) — درجة توازي التينسور (TP) في Megatron-LM.--megatron_lm_pp_degree(“) — درجة موازاة خط الأنابيب (PP) في Megatron-LM.--megatron_lm_num_micro_batches(“) — عدد الدُفعات الدقيقة في Megatron-LM عندما يكون درجة PP > 1.--megatron_lm_sequence_parallelism(“) — يحدد ما إذا كان سيتم تفعيل Sequence Parallelism (true|false) عندما يكون درجة TP > 1.--megatron_lm_recompute_activations(“) — يحدد ما إذا كان سيتم تفعيل إعادة حساب التفعيل الانتقائي (true|false).--megatron_lm_use_distributed_optimizer(“) — يحدد ما إذا كان سيتم استخدام المُحسِّن الموزَّع (true|false) الذي يُقسِّم حالة المُحسِّن والتدرجات عبر رتب موازاة البيانات (DP).--megatron_lm_gradient_clipping(“) — قيمة قص التدرج في Megatron-LM بناءً على القاعدة L2 العالمية (0 لتعطيلها).
حجج FP8:
--fp8_backend(str) — اختر واجهة خلفية للتدريب باستخدام FP8 (aoأوte)--fp8_use_autocast_during_eval(bool) — ما إذا كان سيتم استخدام FP8 autocast أثناء وضع التقييم (يكون مفيدًا فقط عند تمرير--fp8_backend=te). بشكل عام، يتم العثور على مقاييس أفضل عندما لا يتم تمرير هذا الخيار.--fp8_margin(int) — الهامش المستخدم لتدرّج التدرّجات (يُفيد فقط عند تمرير--fp8_backend=te).--fp8_interval(int) — الفترة المستخدمة لتحديد تكرار إعادة حساب عامل التوسع (مفيد فقط عند تمرير--fp8_backend=te).--fp8_format(str) — الصيغة المستخدمة لوصفة FP8 (مفيدة فقط عند تمرير--fp8_backend=te).--fp8_amax_history_len(int) — طول السجل المستخدم لحساب عامل التوسع (يُفيد فقط عند تمرير--fp8_backend=te).--fp8_amax_compute_algo(str) — الخوارزمية المستخدمة لحساب عامل التوسيع. (مفيد فقط عند تمرير--fp8_backend=te).--fp8_override_linear_precision(Tuple[bool, bool, bool]) — ما إذا كان سيتم تنفيذ عمليات GEMM الخاصة بـfpropوdgradوwgradبدقة أعلى أم لا.
حجج AWS SageMaker:
لا تُفيد الحُجج التالية إلا عند التدريب في SageMaker
--aws_access_key_id AWS_ACCESS_KEY_ID(str) — المعرّف AWS_ACCESS_KEY_ID المستخدم لإطلاق مهمة التدريب على Amazon SageMaker--aws_secret_access_key AWS_SECRET_ACCESS_KEY(str) — مفتاح AWS_SECRET_ACCESS_KEY المستخدم لإطلاق مهمة التدريب على Amazon SageMaker
accelerate estimate-memory
الأمر:
accelerate estimate-memory أو accelerate-estimate-memory أو python -m accelerate.commands.estimate
يقدر إجمالي ذاكرة vRAM التي يحتاجها نموذج معين مستضاف على Hub ليتم تحميله مع تقدير للتدريب. يتطلب أن يكون huggingface_hub مثبتًا.
عند تنفيذ الاستدلال، يُضاف عادةً ≤20% إلى النتيجة كتخصيص إجمالي كما هو مُشار إليه هنا. سنوفر في المستقبل تقديرات أكثر شمولاً ستُدرج تلقائياً في الحساب.
الاستخدام:
accelerate estimate-memory {MODEL_NAME} --library_name {LIBRARY_NAME} --dtypes {dtype_1} {dtype_2} ...الحجج المطلوبة:
MODEL_NAME(str)— اسم النموذج على Hugging Face Hub
الحجوج الاختيارية:
--library_name {timm,transformers}(str) — المكتبة التي لديها النموذج تكامل معها، مثلtransformers، وهي مطلوبة فقط إذا لم تكن هذه المعلومات مخزنة على Hub--dtypes {float32,float16,int8,int4}([{float32,float16,int8,int4} ...]) — أنواع البيانات المستخدمة للنموذج، ويجب أن تكون واحدة (أو أكثر) منfloat32،float16،int8، وint4--trust_remote_code(bool) — ما إذا كان سيتم السماح بالنماذج المخصصة المعرّفة على الـ Hub في ملفات نمذجة خاصة بها. يجب تمرير هذا الخيار فقط للمستودعات التي تثق بها والتي قرأتَ كودها، لأنه سيقوم بتنفيذ الكود الموجود على الـ Hub على جهازك المحلي.
accelerate tpu-config
accelerate tpu-config
الاستخدام:
accelerate tpu-config [arguments]
الحجوج الاختيارية:
-h،--help(bool) — عرض رسالة مساعدة والخروج
حجج الإعداد:
الحجج التي يمكن تكوينها من خلال accelerate config.
--config_file(str) — مسار ملف الإعدادات الذي سيتم استخدامه في accelerate.--tpu_name(str) — اسم وحدة TPU التي سيتم استخدامها. إذا لم يتم تحديدها، فسيتم استخدام وحدة TPU المحددة في ملف الإعدادات.--tpu_zone(str) — المنطقة الخاصة بـ TPU التي سيتم استخدامها. إذا لم يتم تحديد منطقة، فسيتم استخدام المنطقة المحددة في ملف الإعدادات.
حجج TPU:
الحجج للخيارات التي نُفِّذت داخل وحدة المعالجة TPU.
--command_file(str) — مسار الملف الذي يحتوي على الأوامر التي يجب تشغيلها على الوحدة عند بدء التشغيل.--command(str) — أمر يُنفَّذ على الوحدة. يمكن تمريره عدة مرات.--install_accelerate(bool) — ما إذا كان سيتم تثبيت accelerate على pod. القيمة الافتراضية هي False.--accelerate_version(str) — إصدار accelerate الذي سيتم تثبيته على pod. إذا لم يُحدد، فسيتم استخدام أحدث إصدار من pypi. حدد ‘dev’ لتثبيت الحزمة من GitHub.--debug(bool) — إذا تم ضبطه، فسيتم طباعة الأمر الذي كان سيُنفَّذ بدلاً من تنفيذه.
accelerate test
accelerate test أو accelerate-test
تشغّل accelerate/test_utils/test_script.py للتحقق من أن 🤗 Accelerate مُهيّأ بشكل صحيح على نظامك ويعمل.
الاستخدام:
accelerate test [arguments]الحجوج الاختيارية:
--config_file CONFIG_FILE(str) — المسار المستخدم لتخزين ملف الإعدادات. سيُستخدم افتراضيًا ملف باسم default_config.yaml في موقع التخزين المؤقت، وهو محتوى متغير البيئةHF_HOMEمع إضافة ‘accelerate’ إليه، أو إذا لم يكن لديك متغير بيئة بهذا الاسم، فسيكون مجلد التخزين المؤقت الخاص بك (~/.cacheأو محتوىXDG_CACHE_HOME) مع إضافةhuggingfaceإليه.-h،--help(bool) — عرض رسالة مساعدة والخروج