Университетските библиотеки въвеждат драстични мерки срещу масовото сканиране от ботове за обучение на AI
Източник: CBC News / University of Toronto
Водещи академични институции в Северна Америка и Европа започнаха да блокират цели мрежови диапазони и да въвеждат строги защитни стени за уеб приложения (WAF), след като агресивни ботове за масово събиране на данни (web scraping) претовариха сървърите им [1]. Непрекъснатото сканиране на дигитални хранилища от отворен достъп за нуждите на търговското обучение на AI модели доведе до системни сривове, застрашавайки свободата на научните изследвания.
Безпрецедентно натоварване върху публичната академична инфраструктура
Библиотекари съобщават за десетки милиони автоматизирани заявки в рамките на броени часове, идващи от неидентифицирани облачни IP адреси. Ботовете заобикалят стандартните инструкции в robots.txt и свалят дисертации, исторически сканирания и рецензирани монографии, консумирайки огромна част от капацитета на университетските мрежи.
Парадоксът на отворения достъп: Защита срещу корпоративна експлоатация
Дилемата пред научната общност е болезнена: принципите на отворения достъп повеляват знанието да бъде свободно за цялото човечество. Когато обаче търговски гиганти монетизират тези публични блага, без да инвестират нито цент в поддръжката на университетските сървъри, институциите са принудени да ограничават достъпа чрез задължителна автентикация, ощетявайки реалните студенти.
Нуждата от нов обществен договор между академичната наука и AI сектора
Случаят с библиотеките е поредното доказателство за експлоататорския характер на първоначалната вълна на събиране на обучителни данни за изкуствен интелект. Научните библиотеки и публичните архиви са градени с десетилетия чрез публични субсидии и доброволен труд. Недопустимо е търговски компании с трилионни капитализации да паразитират върху крехката инфраструктура на висшето образование. Наложително е технологичният сектор да изгради стандартизирани, компенсирани API канали и да инвестира директно в модернизацията на академичните хранилища, вместо да ги третира като безплатен източник на суровина.
Преглед на натоварването, мерките за защита и моралните дилеми на отворения достъп.