Bu model, 2026-11-09 tarihinde Hugging Face Transformers'a katkıda bulunulmuştur.

JEV

Karar modelleri, decision hattı ve DecisionConfig deneyseldir: API'leri herhangi bir zamanda, geri çekme süreci olmadan değişebilir.

JEV, prompt'un son token'ında tek token etiketleri doğrusal bir katmanla puanlayan ve bir dil modeli başlığının logit'leri gibi yumuşak sınırlı bir karar başlığıdır. JEV tarafından tanıtılmış olup GEV tarafından da kullanılmaktadır.

JevForDecision, bir ForCausalLM'in model ve lm_head'ı olması gibi, checkpoint'in modeli ve başlığıdır. Ağırlıklarının yanında checkpoint'in başlığıyla birlikte sağladığı dosyaları okur (vLLM karar modelleri için readout.safetensors ve decision_config.json, JEV için head.safetensors ve judge_config.json).

from transformers import pipeline

decide = pipeline("decision", model="autotrust/GEV-26B-Decide")
decide(
    {
        "state": "I was charged twice for my order and want a refund.",
        "questions": {"refund": {"type": "noul", "instructions": "Is a refund requested?"}},
    }
)

Görsel varlıklar için karar hattına bakın.

Pipeline olmadan, karar modelleri generate gibi kullanılır: karar yapılandırması, sohbet şablonuyla her soru için (veya hepsi için tek bir) prompt oluşturur, decide her sorunun seçeneklerini puanlar ve Question.answer puanları yanıtlara dönüştürür:

from_pretrained, alt klasörde tutulan LoRA'ları içeren checkpoint'lerin LoRA'larını yüklemez (decision_config.adapter, örneğin JEV için adapter/). Pipeline bunu sizin için yükler; pipeline olmadan, aşağıdaki gibi load_adapter çağrısını kendiniz yapmazsanız model, temel ağırlıklarla yanıt verir.

import torch
from transformers import AutoTokenizer, JevForDecision

repo = "autotrust/JEV-9B"
model = JevForDecision.from_pretrained(repo, dtype=torch.bfloat16, device_map="auto")
tokenizer, config = AutoTokenizer.from_pretrained(repo), model.decision_config  # read from the checkpoint's files
if config.adapter:  # JEV keeps its LoRA in a subfolder: `from_pretrained` doesn't load it, the pipeline does
    model.load_adapter(repo, adapter_kwargs={"subfolder": config.adapter})

request = {
    "state": "I was charged twice for my order and I want my money back today.",
    "questions": {
        "refund": {"type": "noul", "instructions": "Does the customer ask for a refund?"},
        "urgency": {"type": "score", "criteria": ["Can wait", "This week", "Today", "Now"]},
    },
}
answers = {}
for inputs, questions in config.prepare_inputs(request, tokenizer):
    scores = model.decide(**inputs, decision_questions=questions)
    answers |= {q.name: q.answer(s.softmax(-1).tolist()) for q, s in zip(questions, scores)}

Aynı başlık, pplx-decider ve d3'ün 255 yanıt kodunu okur; bu modellerin Qwen3.5 omurgası tüm istemciye dikkat eder (JevForDecision içindeki text_config içinde is_causal=False). Başlıkları (readout.safetensors) ve ayarları (decision_config.json) ağırlıklarının yanında olduğu gibi okunur:

pipeline("decision", model="vllm-sr/d3")(request)  # or perplexity-ai/pplx-decider-v1.1-27b

JevConfig

>>> from transformers import JevConfig, JevForDecision

>>> model = JevForDecision(JevConfig(hidden_size=4096))

JevForDecision