Sử dụng spaCy tại Hugging Face

spaCy là một thư viện phổ biến cho xử lý ngôn ngữ tự nhiên nâng cao, được sử dụng rộng rãi trong ngành công nghiệp. spaCy giúp việc sử dụng và huấn luyện các pipeline cho các tác vụ như nhận thực thể có tên, phân loại văn bản, gắn nhãn từ loại và nhiều hơn nữa trở nên dễ dàng, đồng thời cho phép bạn xây dựng các ứng dụng mạnh mẽ để xử lý và phân tích khối lượng lớn văn bản.

Khám phá các mô hình spaCy trên Hub

Các mô hình chính thức từ spaCy 3.3 nằm trong Trang Tổ chức của spaCy. Bất kỳ ai trong cộng đồng cũng có thể chia sẻ các mô hình spaCy của họ, và bạn có thể tìm thấy chúng bằng cách lọc ở phía bên trái của trang mô hình.

Tất cả các mô hình trên Hub đều đi kèm với các tính năng hữu ích

1. Thẻ mô tả mô hình được tạo tự động, bao gồm phương án nhãn, các chỉ số, các thành phần và nhiều hơn nữa.
2. Một phần đánh giá ở góc trên bên phải, nơi bạn có thể xem các chỉ số.
3. Các thẻ metadata hỗ trợ khả năng tìm kiếm và chứa thông tin như giấy phép và ngôn ngữ.
4. Một widget tương tác cho phép bạn thử nghiệm trực tiếp với mô hình ngay trong trình duyệt
5. Một widget của Inference Providers cho phép thực hiện các yêu cầu suy luận.

Sử dụng các mô hình có sẵn

Tất cả các mô hình spaCy từ Hub có thể được cài đặt trực tiếp bằng pip install.

pip install "en_core_web_sm @ https://huggingface.co/spacy/en_core_web_sm/resolve/main/en_core_web_sm-any-py3-none-any.whl"

Để tìm liên kết cần quan tâm, bạn có thể truy cập một kho chứa mô hình spaCy. Khi mở kho, bạn có thể nhấp vào Use in spaCy và sẽ nhận được một đoạn mã hoạt động để cài đặt và nạp mô hình!

Sau khi cài đặt, bạn có thể tải mô hình như bất kỳ pipeline nào của spaCy.

# Using spacy.load().
import spacy
nlp = spacy.load("en_core_web_sm")

# Importing as module.
import en_core_web_sm
nlp = en_core_web_sm.load()

Chia sẻ các mô hình của bạn

Sử dụng CLI của spaCy (khuyến nghị)

Thư viện spacy-huggingface-hub mở rộng CLI gốc của spaCy để mọi người có thể dễ dàng đẩy các mô hình đã đóng gói của họ lên Hub.

Bạn có thể cài đặt spacy-huggingface-hub từ pip:

pip install spacy-huggingface-hub

Sau đó, bạn có thể kiểm tra xem lệnh đã được đăng ký thành công hay chưa

python -m spacy huggingface-hub --help

Để đẩy bằng CLI, bạn có thể sử dụng lệnh huggingface-hub push như được hiển thị bên dưới.

python -m spacy huggingface-hub push [whl_path] [--org] [--msg] [--local-repo] [--verbose]

Sau đó, bạn có thể tải lên bất kỳ pipeline nào được đóng gói với spacy package. Hãy đảm bảo đặt --build wheel để xuất ra tệp .whl nhị phân. Trình tải lên sẽ đọc tất cả các metadata từ gói pipeline, bao gồm README.md đẹp được tạo tự động và các chi tiết mô hình có trong meta.json.

hf auth login
python -m spacy package ./en_ner_fashion ./output --build wheel
cd ./output/en_ner_fashion-0.0.0/dist
python -m spacy huggingface-hub push en_ner_fashion-0.0.0-py3-none-any.whl

Chỉ trong một phút, bạn có thể đưa mô hình đã đóng gói của mình lên Hub, thử nghiệm trực tiếp trong trình duyệt và chia sẻ với phần còn lại của cộng đồng. Toàn bộ metadata cần thiết sẽ được tải lên cho bạn và bạn thậm chí còn nhận được một model card rất đẹp.

Lệnh sẽ xuất ra hai thứ:

• Nơi tìm kho của bạn trên Hub! Ví dụ, https://huggingface.co/spacy/en_core_web_sm
• Và cách cài đặt pipeline trực tiếp từ Hub!

Từ một script Python

Bạn có thể sử dụng hàm push từ Python. Hàm này trả về một từ điển chứa "url" và ”whl_url” của mô hình và tệp wheel đã được công bố, mà bạn có thể cài đặt sau đó bằng pip install.

from spacy_huggingface_hub import push

result = push("./en_ner_fashion-0.0.0-py3-none-any.whl")
print(result["url"])

Tài nguyên bổ sung

• thư viện spacy-huggingface-hub.
• Bài đăng blog ra mắt
• spaCy v 3.1 Thông báo
• Tài liệu documentation của spaCy