HOPE, MoE modellerini küçültürken uzman ilişkilerini hesaba katıyor

**+++++**::. ......... ..::**++++++**:.. *+++++++*::.. ........ ..:**++++++**::... *+++++++*::... .......... ..:**+++++**:::... **+++++**::........::::::.. .::*******:::.... ***++***:::.....:::*****::.. ..::***::::.....: :*****:::.....:::********:.. ..::::::........: ::::::........::**+++++**:.. ......... ..: ....... ...::*+++++++*::.. ........ .. .... ..::*+++++++*::.. .......... .. ... .::**+++++**::........::::::.. . .. ..:***++***:::.....:::*****::. . .. ..::*****:::.....:::********:.. . :. ...::::::........::**+++++**:.. .. :. ....:..... ...::*+++++++*::.. ... :.. ........ ..::*+++++++*::.. ..... :... ......... .::**+++++**::........::::: ::.........::::... ..:***++***:::.....:::****: ::......::::*:::.. ..::*****:::.....:::******* .....:::*******:.. ...::::::........::**+++++* ....:::**++++**::. ....:..... ...:**+++++++ ...::**++++++**:.. ........ ..:**+++++++ ..:**++++++**:... ......... .::**+++++* ..:**++++++**::.........::::... ..:***++*** .::**++++**:::......::::*:::.. ..::*****:: ..:*******:::....:::*******:.. ...:::::::. ..::::::::......:::**++++**::. ....::.... ...::::.........::**++++++**:.. ........ ......... ..::**++++++**:.. ......... ........ ..:**++++++**::.........::::... ...::.... .::**++++**:::......::::::::.. ::::::.. .::*******:::....:::*******:.. *****::.. ..::::::::......:::**++++**::. *++***:.. ...::::.........::**++++++**:.. ++++**::. ......... ..::**++++++**:.. +++++*::.. ........ ..:**++++++**::... .. +++++*::... ....::.... ..:***++++**::....... ++++**::.......:::::::.. .::*******:::....::: *****:::....::::*****::.. ..:::*::::......:::* **::::.....:::***++***:.. ...::::.........::** :::........::**+++++**::. ......... ..::** ... ..:**+++++++*::.. ........ ..:** . ..::*++++++**::... .....:.... ..:** .::**+++++**::.......:::::::.. .::* ..:********:::.....:::*****::. ..:: ..::*****:::.....:::***++***:.. ...: ...::::::........::**+++++**:.. ..... ......... ..:**+++++++*::.. ...... ........ ..::*++++++**::... ......... . ......... .::**+++++**::........::::::.. .......:::::... ..:********:::.....:::*****::. ....:::****::.. ..::*****:::.....:::***++***:. ..:::*******::. ...::::::........::**+++++**:. .::***+++++*::. .......... ...:**+++++++*:: .::**++++++**:.. ........ ..:**++++++**:: ..:**++++++**:... ........ .::**+++++**:: ..:**++++++**::........:::::... ..:********::: .::**+++***::......::::***::.. ..::*****:::.. ..:******:::.....:::*******:.. ...::::::..... ..::::::::......::***++++**::. .......... ...:::.... ...::**++++++**:.. ........ ........ ..:**++++++**:... ........ ...... ..:**++++++**::........:::::... :::... .::**+++***::......::::**:::.. :::.. ..:******:::.....:::*******:.. **::.. ..::::::::......:::**++++**::. +**:.. ...:::..... ...::**++++++**:.. +**::. ........ .::**++++++**:... . ++*::.. ........ ..:**++++++**::......... +**::... ....:::.... .::**+++***::......:::: ***::.......:::::::.. .::******:::.....:::*** **::.....:::******::.. ..::::::::......:::**++ ::......::***+++***:.. ...:::..... ...::**+++ ........::**+++++**::. ........ ..::**+++ ..:**+++++++*::.. ........ ..:**+++ ..::*++++++**::... .....::.... ..:***++ .::**++++***::.......:::::::.. .::**** ..:********::.....:::******::.. ..::::: ..:::***:::......::***+++***:.. ...:::. ...:::::.........::**+++++**::. ........ ......... ..:**+++++++*::.. ........

Uzmanlar birlikte değerlendiriliyor

Bu hafta paylaşılan HOPE çalışması, Mixture-of-Experts modellerindeki uzmanların budanmasına odaklanıyor. Bu modeller bir token için az sayıda uzman kullansa da bütün uzman ağırlıkları bellekte tutulabiliyor.

HOPE, hangi uzmanların çıkarılacağına karar verirken uzman çiftleri arasındaki ilişkileri dikkate alıyor. Araştırmacılar, bağımsız puanlamanın birlikte çalışan grupları gözden kaçırabildiğini söylüyor.

Deney sonucu genel bir garanti değil

Çalışma, yüzde 50 budama düzeyinde karşılaştırdığı yöntemlere göre daha iyi ortalama sıralama bildiriyor. Kazanç, modele ve göreve bağlı; yöntemin kendi uygulamasındaki kalite kaybı ve bellek tasarrufu birlikte ölçülmeli.

Uzmanlar birlikte değerlendiriliyor

Deney sonucu genel bir garanti değil

Diğer haberler

OpenAI ve Upwork, AI’ın serbest çalışmaya etkisini inceledi

OpenAI, eğitimde AI rehberliği raporunu yayımladı

Hugging Face, daha az vektörle arama eğitimini anlattı

Uzmanlar birlikte değerlendiriliyor

Deney sonucu genel bir garanti değil

Diğer haberler

OpenAI ve Upwork, AI’ın serbest çalışmaya etkisini inceledi

OpenAI, eğitimde AI rehberliği raporunu yayımladı

Hugging Face, daha az vektörle arama eğitimini anlattı