AWS, ajanları farklı çatılarda değerlendiren UAEF’i tanıttı

**+++++**::. ......... ..::**++++++**:.. *+++++++*::.. ........ ..:**++++++**::... *+++++++*::... .......... ..:**+++++**:::... **+++++**::........::::::.. .::*******:::.... ***++***:::.....:::*****::.. ..::***::::.....: :*****:::.....:::********:.. ..::::::........: ::::::........::**+++++**:.. ......... ..: ....... ...::*+++++++*::.. ........ .. .... ..::*+++++++*::.. .......... .. ... .::**+++++**::........::::::.. . .. ..:***++***:::.....:::*****::. . .. ..::*****:::.....:::********:.. . :. ...::::::........::**+++++**:.. .. :. ....:..... ...::*+++++++*::.. ... :.. ........ ..::*+++++++*::.. ..... :... ......... .::**+++++**::........::::: ::.........::::... ..:***++***:::.....:::****: ::......::::*:::.. ..::*****:::.....:::******* .....:::*******:.. ...::::::........::**+++++* ....:::**++++**::. ....:..... ...:**+++++++ ...::**++++++**:.. ........ ..:**+++++++ ..:**++++++**:... ......... .::**+++++* ..:**++++++**::.........::::... ..:***++*** .::**++++**:::......::::*:::.. ..::*****:: ..:*******:::....:::*******:.. ...:::::::. ..::::::::......:::**++++**::. ....::.... ...::::.........::**++++++**:.. ........ ......... ..::**++++++**:.. ......... ........ ..:**++++++**::.........::::... ...::.... .::**++++**:::......::::::::.. ::::::.. .::*******:::....:::*******:.. *****::.. ..::::::::......:::**++++**::. *++***:.. ...::::.........::**++++++**:.. ++++**::. ......... ..::**++++++**:.. +++++*::.. ........ ..:**++++++**::... .. +++++*::... ....::.... ..:***++++**::....... ++++**::.......:::::::.. .::*******:::....::: *****:::....::::*****::.. ..:::*::::......:::* **::::.....:::***++***:.. ...::::.........::** :::........::**+++++**::. ......... ..::** ... ..:**+++++++*::.. ........ ..:** . ..::*++++++**::... .....:.... ..:** .::**+++++**::.......:::::::.. .::* ..:********:::.....:::*****::. ..:: ..::*****:::.....:::***++***:.. ...: ...::::::........::**+++++**:.. ..... ......... ..:**+++++++*::.. ...... ........ ..::*++++++**::... ......... . ......... .::**+++++**::........::::::.. .......:::::... ..:********:::.....:::*****::. ....:::****::.. ..::*****:::.....:::***++***:. ..:::*******::. ...::::::........::**+++++**:. .::***+++++*::. .......... ...:**+++++++*:: .::**++++++**:.. ........ ..:**++++++**:: ..:**++++++**:... ........ .::**+++++**:: ..:**++++++**::........:::::... ..:********::: .::**+++***::......::::***::.. ..::*****:::.. ..:******:::.....:::*******:.. ...::::::..... ..::::::::......::***++++**::. .......... ...:::.... ...::**++++++**:.. ........ ........ ..:**++++++**:... ........ ...... ..:**++++++**::........:::::... :::... .::**+++***::......::::**:::.. :::.. ..:******:::.....:::*******:.. **::.. ..::::::::......:::**++++**::. +**:.. ...:::..... ...::**++++++**:.. +**::. ........ .::**++++++**:... . ++*::.. ........ ..:**++++++**::......... +**::... ....:::.... .::**+++***::......:::: ***::.......:::::::.. .::******:::.....:::*** **::.....:::******::.. ..::::::::......:::**++ ::......::***+++***:.. ...:::..... ...::**+++ ........::**+++++**::. ........ ..::**+++ ..:**+++++++*::.. ........ ..:**+++ ..::*++++++**::... .....::.... ..:***++ .::**++++***::.......:::::::.. .::**** ..:********::.....:::******::.. ..::::: ..:::***:::......::***+++***:.. ...:::. ...:::::.........::**+++++**::. ........ ......... ..:**+++++++*::.. ........

Çatı değişince ölçüm de değişmesin

AWS, 11 Kasım’da Universal Agent Evaluation Framework yaklaşımını paylaştı. UAEF; LangGraph, LangChain, Strands Agents ve AgentCore gibi ortamlardaki yürütme kayıtlarını ortak bir biçime dönüştürüyor.

Sistem, araç kullanımı ve yanıt kalitesi dahil yedi boyutta 36 yerleşik metrik sunuyor. Amaç, prompt veya model değişikliğinin ajanı iyileştirip iyileştirmediğini aynı ölçütlerle karşılaştırmak.

Uygulama örnekleri paylaşılıyor

Sonuçlar DynamoDB ve S3’te tutuluyor; raporlar sonraki geliştirme turuna girdi sağlıyor. AWS, desteklenen çatılar için çalıştırılabilir defterler de sunuyor. Araç çağrılarını referansla karşılaştırmak için beklenen çağrıların veri kümesinde tanımlanması gerekiyor.

Çatı değişince ölçüm de değişmesin

Uygulama örnekleri paylaşılıyor

Diğer haberler

GitHub Actions’ta ARM32 desteği 8 Aralık’ta sona eriyor

GitHub, issue türlerini kişisel hesaplara açtı

GitHub ana paneli daha kompakt oldu

Çatı değişince ölçüm de değişmesin

Uygulama örnekleri paylaşılıyor

Diğer haberler

GitHub Actions’ta ARM32 desteği 8 Aralık’ta sona eriyor

GitHub, issue türlerini kişisel hesaplara açtı

GitHub ana paneli daha kompakt oldu