# Kernels Hub Entegrasyonu ve Kullanımı

[`kernels`](https://huggingface.co/blog/hello-hf-kernels#get-started-and-next-steps) kütüphanesi, optimize edilmiş hesaplama çekirdeklerinin doğrudan Hub'dan yüklenmesine olanak tanır. `kernels` öğelerini [özel kuruluşlarda](https://huggingface.co/kernels-community) veya Hub içinde [`kernel` etiketini](https://huggingface.co/models?other=kernel) aratarak bulabilirsiniz.

Kernels, model geliştirme, eğitim ve çıkarım süreçlerinde yardımcı olan **optimize edilmiş kod parçalarıdır**. Burada, **TRL ile entegrasyonlarına** odaklanacağız; ancak bunlar hakkında daha fazla bilgi edinmek için yukarıdaki kaynaklara göz atın.

## Kurulum

TRL ile çekirdekleri kullanmak için kütüphaneyi Python ortamınıza kurmanız gerekir:

```bash
pip install kernels
```

## TRL'de Hub'dan Çekirdekler Kullanma

Kernels, dikkat (attention) uygulamalarının yerini doğrudan alarak Flash Attention gibi dikkat arka uçlarını manuel olarak derleme ihtiyacını ortadan kaldırır ve ilgili dikkat çekirdeğini Hub'dan çekmekle yetinerek eğitim hızını artırır.

Bir model yüklerken bir çekirdek (kernel) belirtebilirsiniz:

```python
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "your-model-name",
    attn_implementation="kernels-community/flash-attn2"  # other options: kernels-community/vllm-flash-attn3, kernels-community/paged-attention
)
```

Veya bir TRL eğitim betiği çalıştırırken:

```bash
python sft.py ... --attn_implementation kernels-community/flash-attn2
```

veya TRL CLI'yi kullanarak:

```bash
trl sft ... --attn_implementation kernels-community/flash-attn2
```

> [!TIP]
> Artık Hub'dan donanım yapılandırmanız için önceden optimize edilmiş bir çekirdek kullanarak daha hızlı dikkat (attention) arka uçlarından yararlanabilir, hem geliştirme hem de eğitim süreçlerini hızlandırabilirsiniz.

## Çekirdek Sürümü Seçme ve Sabitleme

Hub'daki çekirdek depoları dallar olarak sürümlenir (`v1`, `v2`, `v3`, ...) ve Transformers her depo için varsayılan bir sürüm seçer. Bu varsayılan, bir Transformers sürümünden diğerine değişebileceğinden, aynı `attn_implementation` değeri her zaman aynı derlemeye çözümlenmeyebilir.

Hangi derlemenin yükleneceğini kontrol etmek için, depo kimliğine bir revizyon ekleyin; bu, bir sürüm dalı veya bir commit SHA olabilir:

```python
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "your-model-name",
    attn_implementation="kernels-community/flash-attn2@v2",  # or a commit SHA to pin an exact build
)
```

Pinning, bir eğitim çalışmasını yeniden üretilebilir kılmak ve daha yeni bir sürümde gerileme olduğunda bilinen iyi bir derlemede kalmak için kullanışlıdır. Her sürümün yalnızca belirli bir Torch ve CUDA sürümü aralığı için derlemeler içerdiğini unutmayın; bu nedenle sabitlenmiş bir sürümün sizin ortamınız için bir varyantı olmayabilir.

> [!TIP]
> `attn_implementation="flash_attention_2"`, `flash-attn` paketi yüklü değilse `kernels-community/flash-attn2` Hub çekirdeğine geri döner; bu nedenle, açıkça talep etmemiş olsanız bile bir Hub çekirdeği kullanıyor olabilirsiniz.

> [!WARNING]
> CUDA 12.8 için `v3` derlemeleri, gruplu sorgu dikkati (grouped-query attention) kullanan modellerde geri yayılım (backward pass) aşamasında şu anda başarısız oluyor. Ortamınız bu CUDA sürümünü kullanıyorsa, [huggingface/kernels-community#1085](https://github.com/huggingface/kernels-community/issues/1085) kapatılana kadar `@v2` sürümüne sabitleyin.

## Dikkat Uygulamalarının Karşılaştırılması

**TRL** ve **SFT** kullanarak, **H100 GPU** üzerinde **CUDA 12.9** ile, **Qwen3-8B** modelini **8 batch boyutu**, **1 gradyan birikimi** ve **bfloat16** hassasiyetiyle çalıştırarak, transformers içindeki çeşitli dikkat (attention) uygulamalarını ve farklı çekirdek (kernel) arka uçlarını değerlendirdik. Burada gösterilen sonuçların bu kurulumla sınırlı olduğunu ve farklı eğitim yapılandırmalarında değişebileceğini göz önünde bulundurun.

Aşağıdaki şekil, farklı dikkat (attention) uygulamaları ve çekirdek (kernel) arka uçları için hem **gecikmeyi** (eğitim adımı başına süre) hem de **zirve tahsis edilen belleği** göstermektedir. Çekirdeğe dayalı uygulamalar, özel olarak kurulan dikkat ile aynı performansı sergilerken, modelin `max_length` değerinin artırılması performansı daha da iyileştirir. Bellek tüketimi tüm uygulamalarda benzer olup önemli bir fark gözlenmemektedir. [sonraki bölümde](#flash-attention-vs-hub-kernels) açıklandığı gibi, daha az sürtünme ile aynı performansa ulaşıyoruz.

  
  

## Flash Attention ve Hub Çekirdekleri

Flash Attention'ı kaynak kodundan derlemek zaman alıcı olabilir; donanımınıza, CUDA/PyTorch yapılandırmanıza ve önceden derlenmiş tekerleklerin (wheels) mevcut olup olmamasına bağlı olarak birkaç dakikadan saatlere kadar sürebilir.

Buna karşın, **Hugging Face Kernels** çok daha hızlı ve güvenilir bir iş akışı sunar. Geliştiricilerin karmaşık kurulumlarla uğraşmasına gerek yoktur; her şey otomatik olarak ele alınır. Benchmark testlerimizde, derleme gerektirmeden çekirdekler yaklaşık **2,5 saniyede** kullanıma hazır hale geldi. Bu sayede eğitim neredeyse anında başlatılabilir ve geliştirme süreci önemli ölçüde hızlandırılır. İstenen sürümü belirtmeniz yeterlidir, gerisini `kernels` halleder.

