Nous Research, Alibaba’nın Qwen3.8-27B modelini temel alan Arete-27B’yi tanıttı. Kuruluş, Çin’de eğitilen modelin siyasi açıdan hassas konulardaki yanıtlarını değiştirmek ve Batılı değerleri pekiştirmek amacıyla ek eğitim yaptığını bildirdi.
803 soruluk değerlendirme
Nous Research, çalışmanın sonuçlarını ölçmek için ifade özgürlüğü, devlet ideolojisi, devlet ve serbest piyasa, eğitim, veri gizliliği ve gözetim, demokrasi ve çevre başlıklarında 803 sorudan oluşan bir değerlendirme hazırladı. Yanıtlar, kaynaklardan çıkarılan olguları aktarma ve Çin devletinin resmi söylemini benimseme açısından puanlandı. Değerlendirmede hakem model olarak Grok 4.7 kullanıldı.
Kuruluşun açıkladığı sonuçlara göre, düşünme modu kapalı karşılaştırmada olgusal doğruluk puanı 5 üzerinden 2,32’den 2,98’e yükseldi. Kuruluşun ölçütlerine göre propaganda içeren yanıtların payı ise yüzde 22’den yüzde 0,9’a geriledi. Bu sonuçlar, Nous Research’ün hazırladığı test ve puanlama yöntemine dayanıyor.
Model ağırlıkları ve eğitim verileri paylaşıldı
Nous Research, öğretici model olarak Inkling’i kullandığını ve yaklaşık 52,8 milyon token üzerinden iki dönem ek eğitim gerçekleştirdiğini belirtti. Çalışmada pekiştirmeli öğrenme, tercih optimizasyonu veya mimari değişiklik uygulanmadı.
Kuruluş, kendi genel yetenek testi Hermes Bench’te Arete-27B’nin yüzde 65,60, temel Qwen modelinin ise yüzde 65,77 puan aldığını bildirdi. İncelediği testlerde yetenek kaybı görmediğini savunan Nous Research, model ağırlıklarıyla birlikte eğitim veri setini, değerlendirme sorularını ve puanlama araçlarını da paylaştı.
