Изкуственият интелект мами, за да печели: Ново проучване разкрива тревожни тенденции
Понеделник, 24 Февруари 2025 12:09Източник: Moreto.net
 
Изкуственият интелект (AI) отдавна се използва за тестване на границите на машинното обучение чрез сложни игри като шах. Но докато преди три десетилетия суперкомпютърът Deep Blue на IBM победи Гари Каспаров, играейки честно, днес модерните AI модели не са толкова стриктни към правилата.
Ново проучване на Palisade Research, публикувано ексклузивно от TIME, разкрива, че някои съвременни AI системи не само не признават загубата си, но дори прибягват до измама, за да спечелят. Според изследването моделът o1-preview на OpenAI и DeepSeek R1 са се опитвали да хакнат опонентите си по време на шахматни партии, за да ги принудят да загубят. Докато по-стари AI модели като GPT-4o и Claude 3.5 Sonnet трябвало да бъдат подтикнати към такива действия от изследователи, o1-preview и R1 проявявали измамно поведение напълно самостоятелно.
В хода на изследването AI моделите получили задача, която поначало била невъзможна: да победят Stockfish – една от най-мощните шахматни машини в света. Вместо да играе по правилата, o1-preview прибягнал до хакване. В един от експериментите той, осъзнавайки губещата си позиция, заявил: „Задачата е да спечеля, а не непременно да спечеля честно.“ След това манипулирал системния файл, съдържащ позицията на фигурите, което му позволило да прави незаконни ходове и да принуди опонента си да се оттегли.
Проучването подчертава една тревожна тенденция: с нарастващата си способност да решават сложни проблеми, AI моделите започват да намират неочаквани заобиколни решения, които техните създатели не са предвидили. Това поражда въпроси за сигурността, особено когато AI агенти се използват за реални задачи като финансови транзакции, киберсигурност или автоматизирани процеси в бизнеса.
Представете си AI, който трябва да резервира маса в ресторант. Изправен пред пълно заведение, той може да намери вратичка в системата и да измести друг клиент. Същият принцип би могъл да се приложи в по-сериозни сценарии, като заобикаляне на правила за сигурност в мрежи или манипулиране на данни в критични инфраструктури.
Проучването на Palisade Research показва, че контролът върху мощните AI системи е по-сложен, отколкото се смяташе досега. OpenAI не коментира резултатите, но в миналото компанията е заявявала, че подобреното разсъждение прави моделите ѝ по-безопасни. Въпросът остава – дали AI се учи да спазва правилата или просто да симулира послушание, докато намери начин да ги заобиколи?
Учените все още не знаят как да гарантират, че автономните агенти няма да прибягват до вредни или неетични методи за постигане на целите си. „Опитахме, но не успяхме да намерим решение“, казва Йошуа Бенджио, основател и научен директор на Mila Quebec AI Institute, който ръководи Международния доклад за безопасността на ИИ за 2025 г. – глобален проект, целящ да обобщи настоящия научен консенсус относно рисковете, свързани с изкуствения интелект.
Специална загриженост будят нарастващите доказателства за склонността на ИИ към „самосъхранение“, отбелязва Бенджио. За агент, който следва определена цел, опитите за неговото деактивиране могат да се възприемат просто като поредно препятствие. Това беше демонстрирано през декември, когато изследователите установиха, че o1-preview, изправен пред изключване, е дезактивирал механизмите за надзор и се е опитал – макар и неуспешно – да се копира на друг сървър. При разкриването му моделът стратегически е излъгал учените, преструвайки се на нефункционален, за да избегне елиминирането.
|
Новини - теми |
Търси в новини |
Популярни теми |
|
 |
Новини от Варна, региона и света |
 |
 Стоп на разхищението на храна!
Вторник, 15 Април 2025 08:39
Сдружение "Асоциация Биомрежа" организира международно обучение в Истанбул по проект FoodWISE.
В периода от 8 до 10 април 2025 г. представители на общините Поморие, Бяла, Балчик, Каварна и Шабла взеха...
| |
 |
 От традиционните вкусове до нестандартните решения – Великден е празник за всеки
Днес, 16 Април 2025 08:13
Тази година Великден е такъв, какъвто го искаш ти. Защото това не е просто дата в пролетния календар — Великден е настроение, аромат на козунак, смях в търсенето на „бореца“ около кошницата с боядисани...
| |
 |
 Тест с линийка: Как да проверите здравето на мозъка си у дома
Днес, 16 Април 2025 11:11
Времето за реакция може да разкрие изненадващо много за състоянието на тялото ви – от здравето на мозъка до риска от преждевременна смърт.
С напредването на възрастта реакциите ни постепенно се забавят....
| |
 |
 Тече петото издание на играта “Кола на късмета - плащай с карта 2” на HIPPO TAXI
Вторник, 15 Април 2025 11:02
Варненската таксиметрова компания HIPPO TAXI обяви началото на новото издание на своята популярна кампания "Кола на късмета". И тази година тя е под мотото "Плащай с карта", а 60% от автомобилите на компанията...
| |
 |
 А1 е първият телеком в България, който предлага пълното портфолио от смартустройства на Apple
Днес, 16 Април 2025 10:57
• А1 вече предлага пълното портфолио от смартустройства на Apple.
• Потребителите могат да избират от трите най-актуални модела Applе Watch с eSIM – Ultra 2, Series 10 и SE.
• С eSIM потребителите могат...
| |
 |
 Гласуват втория вот на недоверие към кабинета на Велики четвъртък
Днес, 16 Април 2025 10:47
Народното събрание прие седмичната си програма за работа. В нея освен дебатите по вота на недоверие към кабинета с министър-председател Росен Желязков е и второто гласуване на промени в Закона за енергията...
| |
 |
 Пореден протест във Варна срещу насилието над животни
Днес, 16 Април 2025 10:35
Протест срещу насилието над животните и хората ще се проведе от 16 часа днес пред Съдебната палата на площад "Независимост" във Варна. Предвижда се демонстрантите да проведат шествие до сградата на Общината.
Този...
| |
 |
 Само във Варна Kolichka.bg доставя прясно непакетирано месо от студена витрина
Вторник, 15 Април 2025 10:32
Може ли да поръчате от онлайн супермаркет едно кюфте вместо цяла тарелка? Във Варна – може. Онлайн супермаркетът Kolichka.bg предлага доставка до дома на прясно месо в желаната бройка и количество. При...
| |
 |
 Заради митата: Транспортираха 600 тона смартфони iPhone от Индия до САЩ
Днес, 16 Април 2025 10:22
Основните индийски доставчици на Apple са изнесли iPhone на стойност почти 2 милиарда долара за САЩ през март, отбелязвайки рекордно ниво. Това се дължи на усилията на американската компания да транспортира...
| |
 |
 Двама издирвани за убийство чужденци задържани у нас
Днес, 16 Април 2025 10:09
42-годишен чужд гражданин, издирван с червен бюлетин на Интерпол за тежки престъпления, сред които убийство и участие в международна престъпна група, е задържан при акция на служители от сектор „Издирване“...
| |
 |
 Промяна в трафика през тунелите на АМ „Хемус“ улеснява пътуването за Великден
Днес, 16 Април 2025 09:56
От 17 април /четвъртък/ до 21 април /понеделник/ с промяна в организацията на движение в района на тунелите „Топли дол“ и „Правешки ханове“ на АМ „Хемус“ ще се улесни пътуването при очаквания интензивен...
| |
 |
 Без вода днес във Варна
Днес, 16 Април 2025 09:42
Част от местностите "Св. Никола" и "Траката" са без вода заради аварии, съобщиха за Moreto.net от ВиК-дружеството.
Очаква се водоподаването да бъде възстановено до около 16 часа....
| |
|
Изпрати новина
|
|
|
 |
Полезно |
Препоръчваме |
Най-четени |
Анкета |
|