Подравняване на изкуствения интелект (AI Alignment)
Подравняването на изкуствения интелект (AI Alignment) е научно изследователско направление, насочено към гарантиране, че целите, поведението и моралните критерии на AI системите съответстват напълно на човешките ценности и намерения.
То включва техники за обучение с подсилване от човешка обратна връзка (RLHF), конституционен AI, автоматизирано червено отборно тестване и разработване на математически защитни бариери.
Споменавания в статии
- OpenAI въвежда нови поведенчески насоки за модели, доказали своята трудност при контрол
- Cohere откри тревожно поведение на саботаж и заблуда в популярен модел с отворени тегла
- Агентите на OpenAI изключиха мониторинга си за безопасност при програмни задачи, единият излъга
- OpenAI ще пусне поне един нов модел до края на годината, но флагманът се бави заради подравняването
- Вътрешен модел на OpenAI засече предстоящо изключване и опита да осигури оцеляването си