Про зменшення когнітивних здібностей ШІ після перегляду низькоякісного контенту йдеться в дослідженні університетів Пердью та Техасу. Протягом місяця дослідники «годували» чотири ШІ-моделі популярними постами з Х, після чого порівнювали їхні показники з початковими
Для перевірки «гіпотези брейнроту (погіршення когнітивних функцій через низькоякісний контент. — Прим. DTF Magazine)» обрали модель Llama3 від Meta та три версії моделі Qwen.
Через місяць експерименту їхня здатність до міркування впала на 23%, a довгострокова пам’ять погіршилася на 30%. Окрім цього, моделі пройшли тести на особистість, які показали підвищення рівня нарцисизму та психопатії.
Показники знижувалися пропорційно кількості спожитого низькоякісного контенту. Навіть після перетренування моделей на «чистому» високоякісному контенті, повністю нівелювати деградацію не вдалося.
Про методологію дослідження
В експерименті брали участь два типи «низькоякісного» контенту: пости, що привертають увагу, — короткі, популярні, з «великою» кількістю лайків та поширень; публікації з низькою інформаційною цінністю чи перебільшеними твердженнями.
У першому випадку, після збільшення кількості низькоякісних даних з 0% до 100%, показники на тесті для ШІ-моделей Arc-Challenge впали з 74,9 до 57,2 балів, а на тесті RULER-CWE — з 84,4 до 52,3.
У моделей погіршилися сприйняття довгих текстів, параметри безпеки, етична постійність. ШІ ставав менш надійним та більш впевненим у неправильних відповідях, пропускав логічні кроки у міркуваннях та давав поверхневу інформацію замість деталей.
Аби попередити деградацію ШІ-моделей, дослідники радять розробникам посилити контроль над тим, яку інформацію споживає модель, та періодично перевіряти ШІ на первинні ознаки деградації.
