Google ve Artificial Analysis, MKA benchmarkını duyurdu

**+++++**::. ......... ..::**++++++**:.. *+++++++*::.. ........ ..:**++++++**::... *+++++++*::... .......... ..:**+++++**:::... **+++++**::........::::::.. .::*******:::.... ***++***:::.....:::*****::.. ..::***::::.....: :*****:::.....:::********:.. ..::::::........: ::::::........::**+++++**:.. ......... ..: ....... ...::*+++++++*::.. ........ .. .... ..::*+++++++*::.. .......... .. ... .::**+++++**::........::::::.. . .. ..:***++***:::.....:::*****::. . .. ..::*****:::.....:::********:.. . :. ...::::::........::**+++++**:.. .. :. ....:..... ...::*+++++++*::.. ... :.. ........ ..::*+++++++*::.. ..... :... ......... .::**+++++**::........::::: ::.........::::... ..:***++***:::.....:::****: ::......::::*:::.. ..::*****:::.....:::******* .....:::*******:.. ...::::::........::**+++++* ....:::**++++**::. ....:..... ...:**+++++++ ...::**++++++**:.. ........ ..:**+++++++ ..:**++++++**:... ......... .::**+++++* ..:**++++++**::.........::::... ..:***++*** .::**++++**:::......::::*:::.. ..::*****:: ..:*******:::....:::*******:.. ...:::::::. ..::::::::......:::**++++**::. ....::.... ...::::.........::**++++++**:.. ........ ......... ..::**++++++**:.. ......... ........ ..:**++++++**::.........::::... ...::.... .::**++++**:::......::::::::.. ::::::.. .::*******:::....:::*******:.. *****::.. ..::::::::......:::**++++**::. *++***:.. ...::::.........::**++++++**:.. ++++**::. ......... ..::**++++++**:.. +++++*::.. ........ ..:**++++++**::... .. +++++*::... ....::.... ..:***++++**::....... ++++**::.......:::::::.. .::*******:::....::: *****:::....::::*****::.. ..:::*::::......:::* **::::.....:::***++***:.. ...::::.........::** :::........::**+++++**::. ......... ..::** ... ..:**+++++++*::.. ........ ..:** . ..::*++++++**::... .....:.... ..:** .::**+++++**::.......:::::::.. .::* ..:********:::.....:::*****::. ..:: ..::*****:::.....:::***++***:.. ...: ...::::::........::**+++++**:.. ..... ......... ..:**+++++++*::.. ...... ........ ..::*++++++**::... ......... . ......... .::**+++++**::........::::::.. .......:::::... ..:********:::.....:::*****::. ....:::****::.. ..::*****:::.....:::***++***:. ..:::*******::. ...::::::........::**+++++**:. .::***+++++*::. .......... ...:**+++++++*:: .::**++++++**:.. ........ ..:**++++++**:: ..:**++++++**:... ........ .::**+++++**:: ..:**++++++**::........:::::... ..:********::: .::**+++***::......::::***::.. ..::*****:::.. ..:******:::.....:::*******:.. ...::::::..... ..::::::::......::***++++**::. .......... ...:::.... ...::**++++++**:.. ........ ........ ..:**++++++**:... ........ ...... ..:**++++++**::........:::::... :::... .::**+++***::......::::**:::.. :::.. ..:******:::.....:::*******:.. **::.. ..::::::::......:::**++++**::. +**:.. ...:::..... ...::**++++++**:.. +**::. ........ .::**++++++**:... . ++*::.. ........ ..:**++++++**::......... +**::... ....:::.... .::**+++***::......:::: ***::.......:::::::.. .::******:::.....:::*** **::.....:::******::.. ..::::::::......:::**++ ::......::***+++***:.. ...:::..... ...::**+++ ........::**+++++**::. ........ ..::**+++ ..:**+++++++*::.. ........ ..:**+++ ..::*++++++**::... .....::.... ..:***++ .::**++++***::.......:::::::.. .::**** ..:********::.....:::******::.. ..::::: ..:::***:::......::***+++***:.. ...:::. ...:::::.........::**+++++**::. ........ ......... ..:**+++++++*::.. ........

Dosyanın görünümü de testin parçası

10 Kasım’da duyurulan Multimodal Knowledge Agent, metin dışındaki bilgilerin önemli olduğu profesyonel görevleri ölçüyor. Test, 10 sektörden ve 83 meslekten uzmanların hazırladığı 200 görev içeriyor.

Görevler çizim, rapor, sunum ve elektronik tablo gibi dosyalarla çok adımlı çalışma gerektiriyor. Değerlendirme ölçütlerinin ağırlığı yüzde 75 olgusal doğruluk, yüzde 25 görsel tasarım olarak belirlenmiş.

Modeller nasıl karşılaştırılıyor?

Modeller aynı açık kaynaklı Stirrup ajan ortamı, araçlar ve tur bütçesiyle çalıştırılıyor. Sonuçlar Artificial Analysis üzerinden incelenebiliyor. MKA puanı, farklı kurulumlarla elde edilmiş başka bir benchmark puanıyla doğrudan eşdeğer değil.

Dosyanın görünümü de testin parçası

Modeller nasıl karşılaştırılıyor?

Diğer haberler

OpenAI ve Upwork, AI’ın serbest çalışmaya etkisini inceledi

OpenAI, eğitimde AI rehberliği raporunu yayımladı

HOPE, MoE modellerini küçültürken uzman ilişkilerini hesaba katıyor

Dosyanın görünümü de testin parçası

Modeller nasıl karşılaştırılıyor?

Diğer haberler

OpenAI ve Upwork, AI’ın serbest çalışmaya etkisini inceledi

OpenAI, eğitimde AI rehberliği raporunu yayımladı

HOPE, MoE modellerini küçültürken uzman ilişkilerini hesaba katıyor