Google учи видео моделите да предугаждат действията на човека и да помагат преди поискване
Източник: The Decoder / Google Research
Изследователското подразделение на Google представи революционен проект в областта на видео изкуствения интелект, насочен към създаването на интелигентни визуални асистенти, които не просто отговарят на въпроси, а активно предвиждат намеренията на потребителя в реално време [1]. Системата наблюдава видеопотока от умни очила или работни камери и се намесва единствено в критичните моменти, когато човек се колебае или е напът да допусне грешка.
Пространствено-времеви трансформъри за егоцентрично видео
Моделът анализира видеопоток от първо лице (egocentric video) с висока кадрова честота. Чрез проследяване на посоката на погледа, микрозабавянията в движенията на ръцете и подредбата на инструментите на масата, алгоритъмът изгражда вероятностно дърво на следващите човешки стъпки.
Оптимизиране на момента на намеса без претоварване на вниманието
Основното инженерно предизвикателство е когнитивното ненатрапване. Досаден асистент, който говори непрекъснато, бързо бива изключен от потребителя. Изследователите тренират модела чрез специална функция за възнаграждение, която го санкционира за излишни намеси и го награждава само когато намесата му предотвратява реален брак или съкращава времето за сглобяване.
Преходът към невидимата разширена когнитивност
Разработката на Google очертава бъдещето на взаимодействието между човека и компютъра отвъд клавиатурите, мишките и екраните. С навлизането на леките AR очила технологията престава да бъде дестинация, към която се обръщаме, и се превръща в невидим предпазен слой около нашите сетива. В индустрията, хирургията и сложния ремонт подобни предвиждащи видео асистенти могат да намалят човешките грешки почти до нула. Това обаче повдига колосални въпроси за поверителността: когато камерата на корпоративния модел записва и анализира всяко трепване на погледа и всяко движение на ръката през целия работен ден, границата между помощ и тотален надзор окончателно се размива.
Анализ на егоцентричното видео, дърветата на намеренията и дискретната намеса.