Как моделът на Airbnb се научи да „забравя“ пандемията
Изображение: Svetni.me / ИИ генерирано изображение
В публикация на официалния инженерен блог на Airbnb [1] Харисън Кац, ръководител на отдела за финансови данни и стратегии, споделя как екипът по прогнозиране управлява моделите си след сериозните сътресения от пандемията. Прогнозите за търсене, резервации и анулирания в хиляди пазари са основополагащи за бизнес планирането на компанията. Всяко малко отклонение в предсказанията се натрупва и води до сериозни грешки надолу по веригата, тъй като редица други системи се базират на тези данни.
Когато прогнозите започнат да се отклоняват от реалността, стандартният рефлекс в сферата на машинното обучение е моделът просто да се обучи отново с нови данни. Този процес обаче крие рискове, особено когато данните отразяват необичайни пазарни условия. Затова в Airbnb разделят реакцията при дрейф на моделите на три различни действия: пренапасване (refitting), предефиниране (respecifying) и задържане (holding) [1].
Изображение: Svetni.me / ИИ генерирана инфографика
Трите опции пред инженерите
Екипът на Airbnb дефинира трите възможни действия по следния начин:
Пренапасване (Refitting): Това е най-евтиният и често прилаган вариант, при който моделът запазва същата структура и функции, но се калибрира отново с най-новите данни. Той е подходящ за обичаен дрейф в стабилни условия, но крие риск от влошаване на модела, ако скорошните данни са твърде специфични или шумни.
Предефиниране (Respecifying): Промяна на самата структура на модела – добавяне или премахване на променливи, промяна на математическите зависимости или априорните разпределения. Това е по-скъп и рисков процес, но е единственият начин да се коригира модел, чиято математическа логика вече не описва реалния свят.
Задържане (Holding): Решението да не се предприемат действия въпреки наличието на отклонения. Това е най-трудният избор от психологическа гледна точка, тъй като изглежда като бездействие пред очевиден проблем, но често е математически най-правилният ход, когато отклонението се дължи на временен външен шум [1].
Трите капана при управление на моделите
При липса на ясна методология, екипите често допускат три класически грешки, свързани с реакцията им спрямо пазарните аномалии:
Преследване на шум (Chasing Noise): Извършване на извънредно пренапасване след краткосрочен шок. Например, привличането на необичайно голям брой резервации заради еднократно голямо събитие в даден пазар може да накара модела да приеме този пик за ново нормално състояние. Това води до преоценяване на следващите прогнози, докато събитието не излезе от тренировъчния прозорец.
Носене на призраци (Carrying Ghosts): Запазване на временни структурни допускания от време на криза дълго след като тя е отминала. По време на COVID-19 поведението при анулиране на резервации в Airbnb се промени драстично. След нормализиране на пазара обаче, остарялата логика остана вградена в модела, тъй като редовните пренапасвания изглеждаха чисти, без да коригират самата структура.
Паническо предефиниране (Respec-as-Panic): Пълно преработване на модела под натиска на кратки срокове в отговор на временни пазарни промени (като колебания в обменните курсове), което обикновено води до създаване на по-нестабилни и крехки системи [1].
Казусът с асиметричното възстановяване
Преди 2020 г. прогнозите на Airbnb за по-малките пазари разчитаха на йерархично „заемане на стабилност“ от по-големите, исторически предвидими дестинации. Пандемията обаче прекъсна тази обща динамика, тъй като възстановяването не се случи едновременно или с еднакви темпове навсякъде. Опитът на екипа просто да пренапасне съществуващите модели с новите данни доведе до нестабилност и грешки, които бяха три пъти по-високи от базовите нива преди шока.
Проблемът се оказа структурен, а не параметричен. Решението беше пълно предефиниране на модела: вместо твърда йерархия, се въведе гъвкаво заемане на данни въз основа на географско съседство и сходна текуща динамика на възстановяване. Този подход намали прогнозните грешки с над 50% в сравнение с обикновеното пренапасване и върна точността на моделите близо до нивата отпреди кризата [1].
Изкуството да забравяш
Основният извод за инженерите от Airbnb е, че доброто управление на моделите изисква способност за навременно отстраняване на излишната сложност. Едно извънредно събитие налага вграждането на нови защитни структури и променливи, но тяхното запазване след преминаването на кризата тихомълком влошава точността на предсказанията.
По-формална научна обосновка на тази методология и цената на пренастройването на моделите е представена от екипа в две отделни научни публикации [2][3]. Авторите подчертават, че обновяването на алгоритмите не е безплатно и дългосрочният успех зависи от намирането на баланс между цената на адаптацията и риска от бездействие [1].
Източници:
[1]: How we knew COVID was over (and what our models had to unlearn) - Airbnb Engineering
[2]: Cost-sensitive retraining via posterior learning debt - arXiv