24.09.2026 tarihinde Hugging Face üzerinden duyurulan LFM2.5-VL-DSpark, LiquidAI tarafından geliştirilen bir görüm (vision) ve dil (language) yapay zeka modeli olan LFM2.5-VL-3B için deneme amaçlı bir hızlandırma çözümü. Bu model, çıkarım hızını artırmak amacıyla 'speculative decoding' (tahmini çıkarım) yöntemiyle çalışır. Bu yöntem, çıkarım sırasında hedef modelin gizli katmanlarından alınan verilerle çıkarım yapan bir 'draft model' kullanır. Bu sayede çıkarım hızı, özellikle Apple M5 Max ve NVIDIA H100 gibi donanımlarda 2.30x ila 3.13x arasında artabiliyor. Ek olarak, modelin bellek kullanımı sadece %8.9 oranında artıyor. LFM2.5-VL-DSpark, llama.cpp, MLX-VLM ve SGLang gibi platformlarda doğrudan kullanıma hazır. Görü ve dil modelleri gerektiren uygulamalar geliştiren geliştiriciler ve araştırmacılar için pratik bir çözüm sunuyor. Ancak, tahmini çıkarım sadece çıkarım aşamasını hızlandırır; görüntü kodlama ve önişlem aşamalarını etkilemez. Bu nedenle, bu aşamaların toplam süreyi önemli ölçüde etkilediği durumlarda genel hız kazancı sınırlı kalabilir.
Kaynak: Hugging Face — 24.09.2026
OZMENA yayın sistemi tarafından hazırlanmıştır.
Kaynak: Hugging Face — 24.09.2026
OZMENA yayın sistemi tarafından hazırlanmıştır.