Hub documentation
استخدام AllenNLP في Hugging Face
استخدام AllenNLP في Hugging Face
allennlp هي مكتبة لمعالجة اللغة الطبيعية لتطوير نماذج متطورة على مهام لغوية مختلفة. توفر تجريدات وواجهات برمجة تطبيقات عالية المستوى للمكونات والنماذج الشائعة في معالجة اللغة الطبيعية الحديثة. كما توفر إطار عمل قابل للتوسيع يسهّل تشغيل تجارب معالجة اللغة الطبيعية وإدارتها.
استكشاف allennlp في Hub
يمكنك العثور على نماذج allennlp على Hub عن طريق التصفية في الجزء الأيسر من صفحة النماذج.
جميع النماذج على Hub تأتي مع ميزات مفيدة
- تبويب مقاييس التدريب يتضمن مسارات TensorBoard مستضافة تلقائيًا.
- وسوم البيانات الوصفية التي تساعد في إمكانية الاكتشاف.
- مكوّن تفاعلي يمكنك استخدامه للتجربة مع النموذج مباشرةً في المتصفح.
- مكوّن مزوّدي الاستدلال الذي يتيح إرسال طلبات الاستدلال.
استخدام نماذج موجودة
يمكنك استخدام فئة Predictor لتحميل النماذج الموجودة على Hub. لتحقيق ذلك، استخدم طريقة from_path واستخدم البادئة "hf://" مع معرف المستودع. إليك مثالًا من البداية إلى النهاية.
import allennlp_models
from allennlp.predictors.predictor import Predictor
predictor = Predictor.from_path("hf://allenai/bidaf-elmo")
predictor_input = {
"passage": "My name is Wolfgang and I live in Berlin",
"question": "Where do I live?"
}
predictions = predictor.predict_json(predictor_input)للحصول على مقتطف كهذا، يمكنك النقر على Use in AllenNLP في الزاوية العلوية اليمنى،
مشاركة نماذجك
الخطوة الأولى هي حفظ النموذج محليًا. على سبيل المثال، يمكنك استخدام طريقة archive_model لحفظ النموذج كملف model.tar.gz. ثم يمكنك رفع النموذج المضغوط إلى Hub. عند تدريب نموذج باستخدام allennlp، يتم تسلسل النموذج تلقائيًا، لذا يمكنك استخدام ذلك كخيار مفضل.
استخدام سطر أوامر AllenNLP
للدفع باستخدام سطر الأوامر، يمكنك استخدام أمر allennlp push_to_hf كما هو موضح أدناه.
allennlp push_to_hf --repo_name test_allennlp --archive_path model
| الحُجّة | النوع | الوصف |
|---|---|---|
--repo_name, -n | str / Path | اسم المستودع على Hub. |
--organization, -o | str | اسم اختياري للمنظمة التي يجب رفع خط الأنابيب إليها. |
--serialization-dir, -s | str / Path | المسار إلى المجلد الذي يحتوي على النموذج المُسلسَل. |
--archive-path, -a | str / Path | إذا كنت تستخدم نموذجًا مضغوطًا (مثل model/model.tar.gz) بدلاً من مسار تسلسل، يمكنك استخدام هذا العلم. |
--local-repo-path, -l | str / Path | المسار المحلي لمستودع النموذج (سيتم إنشاؤه إذا لم يكن موجودًا). القيمة الافتراضية هي hub في المجلد الحالي. |
--commit-message, -c | str | رسالة الالتزام المستخدمة للتحديث. القيمة الافتراضية هي "update repository". |
من سكربت بايثون
تتمتع دالة push_to_hf بنفس المعاملات الموجودة في سكربت bash.
from allennlp.common.push_to_hf import push_to_hf
serialization_dir = "path/to/serialization/directory"
push_to_hf(
repo_name="my_repo_name",
serialization_dir=serialization_dir,
local_repo_path=self.local_repo_path
)في دقيقة واحدة فقط، يمكنك نشر نموذجك في Hub وتجربته مباشرةً في المتصفح ومشاركته مع بقية المجتمع. سيتم رفع جميع البيانات الوصفية المطلوبة نيابةً عنك!
موارد إضافية
- موقع AllenNLP الويب.
- مستودع AllenNLP repository.