Hugging Face's logo

Transformers documentation

VibeVoice Akustik Sözcükleştirici

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Bu model 2025-08-26 tarihinde HF papers'ta yayımlandı ve 2026-02-06 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

VibeVoice Akustik Sözcükleştirici

Genel Bakış

VibeVoice, Büyük Dil Modeli (LLM) yapısı içinde bir sonraki token difüzyonu yaklaşımını kullanarak birden fazla konuşmacılı, yüksek sadakatli ve uzun formatlı ses sentezlemek için geliştirilmiş yeni bir çerçevedir. Gerçekçi konuşma “vibes”ini yakalamak üzere tasarlanmıştır ve podcastler ile çok katılımcılı sesli kitaplar gibi sesli içeriklerin üretilmesi için özellikle uygundur.

VibeVoice'ün temel özelliklerinden biri, akustik özellikleri çıkarmak için bir tane ve semantik özellikleri çıkarmak için bir tane olmak üzere iki sürekli ses tokenleştiricisinin kullanılmasıdır.

Bir model kontrol noktası microsoft/VibeVoice-AcousticTokenizer adresinde mevcuttur.

Bu model Eric Bezzam tarafından katkıda bulunmuştur.

Mimari

Mimari, ayna simetrik bir kodlayıcı-çözücü (encoder-decoder) yapısıdır. Kodlayıcı, verimli akış işleme için 1B derinlikli nedensel (causal) konvolüsyonlar kullanan, ConvNeXt benzeri bloklardan oluşan 7 aşamalı hiyerarşik bir tasarıma sahiptir. Altı örnekleme azaltma (downsampling) katmanı, 24 kHz girişten kümülatif olarak 3200X örnekleme azaltma oranı sağlayarak saniyede 7,5 token/kare üretir. Her kodlayıcı/çözücü bileşeni yaklaşık 340M parametreye sahip olup toplamda yaklaşık 680M parametreye ulaşılır. Eğitim hedefi, DAC ile aynıdır; bunun ayırt edicisi (discriminator) ve kayıp (loss) tasarımları da dahildir.

Acoustic Tokenizer, Varyansiyonel Otoenkoder (VAE) ilkelerini benimser. Encoder, girdi sesini gizli dağılımın parametrelerine, yani ortalamaya eşler. Sabit bir standart sapmayla birlikte, gizli vektör yeniden parametrelendirme hilesi kullanılarak örneklenir. Daha fazla ayrıntı için teknik rapora başvurun.

Kullanım

Aşağıda ses kodlama ve çözmek için örnek kullanım yer almaktadır:

import torch
from scipy.io import wavfile

from transformers import AutoFeatureExtractor, VibeVoiceAcousticTokenizerModel
from transformers.audio_utils import load_audio_librosa


model_id = "microsoft/VibeVoice-AcousticTokenizer"

# load model
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
model = VibeVoiceAcousticTokenizerModel.from_pretrained(model_id, device_map="auto")
print("Model loaded on device:", model.device)
print("Model dtype:", model.dtype)

# load audio
audio = load_audio_librosa(
    "https://huggingface.co/datasets/bezzam/vibevoice_samples/resolve/main/voices/en-Alice_woman.wav",
    sampling_rate=feature_extractor.sampling_rate,
)

# preprocess audio
inputs = feature_extractor(
    audio,
    sampling_rate=feature_extractor.sampling_rate,
    pad_to_multiple_of=3200,
).to(model.device, model.dtype)
print("Input audio shape:", inputs.input_values.shape)
# Input audio shape: torch.Size([1, 1, 224000])

with torch.no_grad():
    # set VAE sampling to False for deterministic output
    encoded_outputs = model.encode(inputs.input_values, sample=False)
    print("Latent shape:", encoded_outputs.latents.shape)
    # Latent shape: torch.Size([1, 70, 64])

    decoded_outputs = model.decode(**encoded_outputs)
    print("Reconstructed audio shape:", decoded_outputs.audio.shape)
    # Reconstructed audio shape: torch.Size([1, 1, 224000])

# Save audio
output_fp = "vibevoice_acoustic_tokenizer_reconstructed.wav"
wavfile.write(output_fp, feature_extractor.sampling_rate, decoded_outputs.audio.squeeze().float().cpu().numpy())
print(f"Reconstructed audio saved to : {output_fp}")

Akış

Önbelleklenen durumların izlenmesi gereken akış ASR veya TTS için, ses kodlama veya çözümlenirken use_cache parametresi kullanılabilir:

import torch
from scipy.io import wavfile

from transformers import AutoFeatureExtractor, VibeVoiceAcousticTokenizerModel
from transformers.audio_utils import load_audio_librosa


model_id = "microsoft/VibeVoice-AcousticTokenizer"

# load model
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
model = VibeVoiceAcousticTokenizerModel.from_pretrained(model_id, device_map="auto")
print("Model loaded on device:", model.device)
print("Model dtype:", model.dtype)

# load audio
audio = load_audio_librosa(
    "https://huggingface.co/datasets/bezzam/vibevoice_samples/resolve/main/voices/en-Alice_woman.wav",
    sampling_rate=feature_extractor.sampling_rate,
)

# preprocess audio
inputs = feature_extractor(
    audio,
    sampling_rate=feature_extractor.sampling_rate,
    pad_to_multiple_of=3200,
).to(model.device, model.dtype)
print("Input audio shape:", inputs.input_values.shape)
# Input audio shape: torch.Size([1, 1, 224000])

# cache will be initialized after a first pass
encoder_cache = None
decoder_cache = None
with torch.no_grad():
    # set VAE sampling to False for deterministic output
    encoded_outputs = model.encode(inputs.input_values, sample=False, padding_cache=encoder_cache, use_cache=True)
    print("Latent shape:", encoded_outputs.latents.shape)
    # Latent shape: torch.Size([1, 70, 64])

    decoded_outputs = model.decode(encoded_outputs.latents, padding_cache=decoder_cache, use_cache=True)
    print("Reconstructed audio shape:", decoded_outputs.audio.shape)
    # Reconstructed audio shape: torch.Size([1, 1, 224000])

    # `padding_cache` can be extracted from the outputs for subsequent passes
    encoder_cache = encoded_outputs.padding_cache
    print("Number of cached encoder layers:", len(encoder_cache.per_layer_in_channels))
    # Number of cached encoder layers: 34
    decoder_cache = decoded_outputs.padding_cache
    print("Number of cached decoder layers:", len(decoder_cache.per_layer_in_channels))
    # Number of cached decoder layers: 34

# Save audio
output_fp = "vibevoice_acoustic_tokenizer_reconstructed.wav"
wavfile.write(output_fp, feature_extractor.sampling_rate, decoded_outputs.audio.squeeze().float().cpu().numpy())
print(f"Reconstructed audio saved to : {output_fp}")

VibeVoiceAcousticTokenizerConfig

sınıf transformers.VibeVoiceAcousticTokenizerConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonechannels: int = 1hidden_size: int = 64kernel_size: int = 7rms_norm_eps: float = 1e-05layer_scale_init_value: float = 1e-06initializer_range: float = 0.01num_filters: int = 32downsampling_ratios: list[int] | tuple[int, ...] = (2, 2, 4, 5, 5, 8)depths: list[int] | tuple[int, ...] = (3, 3, 3, 3, 3, 3, 8)hidden_act: str = 'gelu'ffn_expansion: int = 4vae_std: float = 0.625 )

Parametreler

  • channels (int, isteğe bağlı, varsayılan 1) — Giriş kanal sayısı.
  • hidden_size (int, isteğe bağlı, varsayılan 64) — Gizil temsillerin boyutluluğu.
  • kernel_size (int, isteğe bağlı, varsayılan 7) — Katlama katmanları için çekirdek boyutu.
  • rms_norm_eps (float, isteğe bağlı, varsayılan 1e-05) — rms normalizasyon katmanları tarafından kullanılan epsilon.
  • layer_scale_init_value (float, isteğe bağlı, varsayılan 1e-06) — Öz-dikkat katmanlarında kullanılacak ölçek. Baz modeller için 0.1, büyük modeller için 1e-6. Katman ölçeklemeyi devre dışı bırakmak için 0 olarak ayarlayın.
  • initializer_range (float, isteğe bağlı, varsayılan 0.01) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.
  • num_filters (int, isteğe bağlı, varsayılan 32) — İlk konvolüsyon katmanındaki filtre sayısı ve her alt örnekleme (downsampling) sonrası iki katına çıkar.
  • downsampling_ratios (List[int], isteğe bağlı, varsayılan [2, 2, 4, 5, 5, 8]) — Her katman için örnekleme azaltma oranları.
  • depths (List[int], isteğe bağlı, varsayılan [3, 3, 3, 3, 3, 3, 8]) — Her aşamadaki ConvNeXt bloklarının sayısı.
  • hidden_act (str, isteğe bağlı, varsayılan gelu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, "gelu", "relu", "silu" vb.
  • ffn_expansion (int, isteğe bağlı, varsayılan 4) — İleri beslemeli ağlar için genişleme çarpanı.
  • vae_std (float, isteğe bağlı, varsayılan 0.625) — Gürültü, kodlayıcı latentlerine eklendiğinde (sample=True) örnek başına gürültü ölçeğinin çekildiği Gauss dağılımının standart sapması.

Bu, bir VibeVoiceAcousticTokenizerModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Vibevoice Acoustic Tokenizer modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, microsoft/VibeVoice-1.5B ile benzer bir yapılandırma elde edilir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Örnek:

>>> from transformers import VibeVoiceAcousticTokenizerModel, VibeVoiceAcousticTokenizerConfig

>>> # Initializing a VibeVoice Acoustic Tokenizer configuration
>>> configuration = VibeVoiceAcousticTokenizerConfig()

>>> # Initializing a model (with random weights)
>>> model = VibeVoiceAcousticTokenizerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

VibeVoiceAcousticTokenizerEncoderConfig

sınıf transformers.VibeVoiceAcousticTokenizerEncoderConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonechannels: int = 1hidden_size: int = 64kernel_size: int = 7rms_norm_eps: float = 1e-05layer_scale_init_value: float = 1e-06initializer_range: float = 0.01num_filters: int = 32downsampling_ratios: list[int] | tuple[int, ...] = (2, 2, 4, 5, 5, 8)depths: list[int] | tuple[int, ...] = (3, 3, 3, 3, 3, 3, 8)hidden_act: str = 'gelu'ffn_expansion: int = 4vae_std: float = 0.625 )

Parametreler

  • channels (int, isteğe bağlı, varsayılan 1) — Giriş kanal sayısı.
  • hidden_size (int, isteğe bağlı, varsayılan 64) — Gizil temsillerin boyutluluğu.
  • kernel_size (int, isteğe bağlı, varsayılan 7) — Katlama katmanları için çekirdek boyutu.
  • rms_norm_eps (float, isteğe bağlı, varsayılan 1e-05) — rms normalizasyon katmanları tarafından kullanılan epsilon.
  • layer_scale_init_value (float, isteğe bağlı, varsayılan 1e-06) — Öz-dikkat katmanlarında kullanılacak ölçek. Baz modeller için 0.1, büyük modeller için 1e-6. Katman ölçeklemeyi devre dışı bırakmak için 0 olarak ayarlayın.
  • initializer_range (float, isteğe bağlı, varsayılan 0.01) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.
  • num_filters (int, isteğe bağlı, varsayılan 32) — İlk konvolüsyon katmanındaki filtre sayısı ve her alt örnekleme (downsampling) sonrası iki katına çıkar.
  • downsampling_ratios (List[int], isteğe bağlı, varsayılan [2, 2, 4, 5, 5, 8]) — Her katman için örnekleme azaltma oranları.
  • depths (List[int], isteğe bağlı, varsayılan [3, 3, 3, 3, 3, 3, 8]) — Her aşamadaki ConvNeXt bloklarının sayısı.
  • hidden_act (str, isteğe bağlı, varsayılan gelu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, "gelu", "relu", "silu" vb.
  • ffn_expansion (int, isteğe bağlı, varsayılan 4) — İleri beslemeli ağlar için genişleme çarpanı.
  • vae_std (float, isteğe bağlı, varsayılan 0.625) — Gürültü, kodlayıcı latentlerine eklendiğinde (sample=True) örnek başına gürültü ölçeğinin çekildiği Gauss dağılımının standart sapması.

Bu, bir VibeVoiceAcousticTokenizerModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Vibevoice Acoustic Tokenizer modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, microsoft/VibeVoice-1.5B ile benzer bir yapılandırma elde edilir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

VibeVoiceAcousticTokenizerDecoderConfig

sınıf transformers.VibeVoiceAcousticTokenizerDecoderConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonechannels: int = 1hidden_size: int = 64kernel_size: int = 7rms_norm_eps: float = 1e-05layer_scale_init_value: float = 1e-06initializer_range: float = 0.01num_filters: int = 32downsampling_ratios: list[int] | tuple[int, ...] = (2, 2, 4, 5, 5, 8)depths: list[int] | tuple[int, ...] = (3, 3, 3, 3, 3, 3, 8)hidden_act: str = 'gelu'ffn_expansion: int = 4vae_std: float = 0.625 )

Parametreler

  • channels (int, isteğe bağlı, varsayılan 1) — Giriş kanal sayısı.
  • hidden_size (int, isteğe bağlı, varsayılan 64) — Gizil temsillerin boyutluluğu.
  • kernel_size (int, isteğe bağlı, varsayılan 7) — Katlama katmanları için çekirdek boyutu.
  • rms_norm_eps (float, isteğe bağlı, varsayılan 1e-05) — rms normalizasyon katmanları tarafından kullanılan epsilon.
  • layer_scale_init_value (float, isteğe bağlı, varsayılan 1e-06) — Öz-dikkat katmanlarında kullanılacak ölçek. Baz modeller için 0.1, büyük modeller için 1e-6. Katman ölçeklemeyi devre dışı bırakmak için 0 olarak ayarlayın.
  • initializer_range (float, isteğe bağlı, varsayılan 0.01) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.
  • num_filters (int, isteğe bağlı, varsayılan 32) — İlk konvolüsyon katmanındaki filtre sayısı ve her alt örnekleme (downsampling) sonrası iki katına çıkar.
  • downsampling_ratios (List[int], isteğe bağlı, varsayılan [2, 2, 4, 5, 5, 8]) — Her katman için örnekleme azaltma oranları.
  • depths (List[int], isteğe bağlı, varsayılan [3, 3, 3, 3, 3, 3, 8]) — Her aşamadaki ConvNeXt bloklarının sayısı.
  • hidden_act (str, isteğe bağlı, varsayılan gelu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, "gelu", "relu", "silu" vb.
  • ffn_expansion (int, isteğe bağlı, varsayılan 4) — İleri beslemeli ağlar için genişleme çarpanı.
  • vae_std (float, isteğe bağlı, varsayılan 0.625) — Gürültü, kodlayıcı latentlerine eklendiğinde (sample=True) örnek başına gürültü ölçeğinin çekildiği Gauss dağılımının standart sapması.

Bu, bir VibeVoiceAcousticTokenizerModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Vibevoice Acoustic Tokenizer modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, microsoft/VibeVoice-1.5B ile benzer bir yapılandırma elde edilir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

VibeVoiceAcousticTokenizerFeatureExtractor

sınıf transformers.VibeVoiceAcousticTokenizerFeatureExtractor

< >

( feature_size = 1sampling_rate = 24000padding_value = 0.0normalize_audio = Truetarget_dB_FS = -25eps = 1e-06pad_to_multiple_of = 3200**kwargs )

Parametreler

  • feature_size (int, isteğe bağlı, varsayılan 1) — Kanal sayısı.
  • sampling_rate (int, isteğe bağlı, varsayılan 24000) — Ses dalgasının dijitalleştirilmesi gereken örnekleme hızı, hertz (Hz) cinsinden ifade edilir.
  • padding_value (float, isteğe bağlı, varsayılan 0.0) — Doldurma için kullanılan değer.
  • normalize_audio (bool, isteğe bağlı, varsayılan True) — Sesin hedef dB FS değerine normalize edilip edilmeyeceğini belirtir.
  • target_dB_FS (float, isteğe bağlı, varsayılan -25) — Normalizasyon için hedef dB FS.
  • eps (float, isteğe bağlı, varsayılan 1e-06) — Normalizasyon sırasında sıfıra bölünmeyi önlemek için kullanılan küçük bir değer.
  • pad_to_multiple_of (int, isteğe bağlı, varsayılan 3200) — Ses verisini, akustik tokenizer'ın hop length değerine (yani kodlayıcısının örnekleme azaltma katsayısına) karşılık gelen bu değerin katlarına kadar doldurun.

VibeVoiceAcousticTokenizer özellik çıkarıcısı oluşturur.

__call__

< >

( audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor']]sampling_rate: int | None = Nonepadding: bool | str | transformers.utils.generic.PaddingStrategy | None = Truepad_to_multiple_of: int | None = Nonemax_length: int | None = Nonereturn_attention_mask: bool | None = Truereturn_tensors: str | None = 'pt'**kwargs )

Parametreler

  • audio (np.ndarray, torch.Tensor, list[np.ndarray], list[torch.Tensor] — İşlenecek dizi veya dizi partisi. Her dizi, bir numpy dizisi, bir torch tensörü, numpy dizileri listesi veya torch tensörleri listesi olabilir.
  • sampling_rate (int, isteğe bağlı) — audio girdisinin örneklenmiş olduğu örneklem hızı. Sessiz hataları önlemek için ileri çağrıda sampling_rate değerini geçmek şiddetle önerilir.
  • padding (bool, str veya PaddingStrategy, isteğe bağlı, varsayılan olarak True) — Dönen dizilere dolgu uygulanacak stratejiyi seçin (modelin dolgu yönüne ve dolgu indeksine göre):
    • True veya 'longest': Toplu işlemdeki en uzun dizinin uzunluğuna kadar dolgu yapılır (yalnızca tek bir dizi sağlandıysa dolgu yapılmaz).
    • 'max_length': max_length argümanı ile belirtilen maksimum uzunluğa veya bu argüman sağlanmadıysa modelin kabul edebileceği maksimum giriş uzunluğuna kadar doldurur.
    • False veya 'do_not_pad' (varsayılan): Dolgu yok (yani, farklı uzunluklarda diziler içeren bir parti çıktı olarak üretilebilir).
  • pad_to_multiple_of (int, isteğe bağlı) — Belirlenirse, diziyi verilen değerin katına kadar doldurur. Verilmezse varsayılan olarak self.pad_to_multiple_of kullanılır.

VibeVoiceAcousticTokenizerModel

sınıf transformers.VibeVoiceAcousticTokenizerModel

< >

( config: VibeVoiceAcousticTokenizerConfig )

Parametreler

  • config (VibeVoiceAcousticTokenizerConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

Sürekli akustik jetonlar için bir kodlayıcı ve çözücüye sahip VibeVoice akustik jetonlayıcı.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

encode

< >

( input_valuespadding_cache = Noneuse_cache = Nonesample = True )

Parametreler

  • input_values (torch.Tensor, şekli (batch_size, channels, sequence_length)) — Gizli temsile kodlanacak giriş ses dalgası.
  • padding_cache (VibeVoiceAcousticTokenizerConv1dPaddingCache, opsiyonel) — Katmanlar arasında konvolüsyon durumlarını korumak için akış modunda kullanılan önbellek nesnesi.
  • use_cache (bool, isteğe bağlı) — Kaplama durumları için önbellekleme kullanılıp kullanılmayacağı.
  • sample (bool, isteğe bağlı) — Latentlere Gauss gürültüsü eklenip eklenmeyeceğini belirtir (σ-VAE: gürültü ölçeği, parti başına her öğe için N(0, config.vae_std) dağılımından çekilir). False ise, kodlayıcı çıktısı olduğu gibi döndürülür.

decode

< >

( latentspadding_cache = Noneuse_cache = False )

Parametreler

  • latents (torch.Tensor, şekli (batch_size, channels, sequence_length)) — Ses olarak geri çözümlenecek girdi latent temsili.
  • padding_cache (VibeVoiceAcousticTokenizerConv1dPaddingCache, opsiyonel) — Katmanlar arasında konvolüsyon durumlarını korumak için akış modunda kullanılan önbellek nesnesi.
  • use_cache (bool, isteğe bağlı) — Kaplama durumları için önbellekleme kullanılıp kullanılmayacağı.

forward

< >

( input_valuespadding_cache = Noneuse_cache = Falsesample = True**kwargs )

Parametreler

  • input_values (torch.Tensor, şekli (batch_size, channels, sequence_length)) — Gizli temsile kodlanacak giriş ses dalgası.
  • padding_cache (VibeVoiceAcousticTokenizerConv1dPaddingCache, opsiyonel) — Katmanlar arasında konvolüsyon durumlarını korumak için akış modunda kullanılan önbellek nesnesi. Not: Yalnızca çözücü tarafından kullanılır.
  • use_cache (bool, isteğe bağlı) — Kaplama durumları için önbellekleme kullanılıp kullanılmayacağı.
  • sample (bool, isteğe bağlı) — Latentlere Gauss gürültüsü eklenip eklenmeyeceğini belirtir (σ-VAE: gürültü ölçeği, parti başına her öğe için N(0, config.vae_std) dağılımından çekilir). False ise, kodlayıcı çıktısı olduğu gibi döndürülür.

VibeVoiceAcousticTokenizerModel forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

VibeVoiceAcousticTokenizerEncoderModel

sınıf transformers.VibeVoiceAcousticTokenizerEncoderModel

< >

( config: VibeVoiceAcousticTokenizerEncoderConfig )

forward

< >

( hidden_statespadding_cache = Noneuse_cache = False**kwargs )

VibeVoiceAcousticTokenizerDecoderModel

sınıf transformers.VibeVoiceAcousticTokenizerDecoderModel

< >

( config: VibeVoiceAcousticTokenizerDecoderConfig )

forward

< >

( hidden_statespadding_cache = Noneuse_cache = False**kwargs )

Update on GitHub

←VibeVoice VibeVoice ASR→