Android Bench 2.0

Android Bench 2.0 е мащабна рамка за оценка (бенчмарк), разработена от Google за прецизно тестване на възможностите на AI модели и мултимодални софтуерни агенти при изпълнение на задачи в среда на Android.

Основни нововъведения

  • Дългосрочни задачи (Long-Horizon Tasks): Задачи, изискващи десетки последователни стъпки, превключване между приложения и обработка на динамични грешки.
  • Агентно оценяване (Agentic Evaluation): Симулация на реални потребителски действия чрез сензорни интерфейси и визуално разпознаване на UI елементи.
  • Непрекъснато оценяване (Continuous Scoring): Оценка на частичния напредък по сложни задачи, а не само бинарен резултат успех/неуспех.

Споменавания в статии