В последние годы генеративный искусственный интеллект (ГИИ) стал все более популярным и широко применяемым в различных областях, от финансового планирования до медицинской консультации. Однако, в связи с быстрым ростом его использования, возникает вопрос о надежности таких моделей.
Группа учёных из США провела исследование, в ходе которого были протестированы модели GPT-3.5 и GPT-4 на 8 различных критериях, включая токсичность, предвзятость и устойчивость. Результаты исследования показали, что новые модели имеют меньшую токсичность по сравнению с предыдущими версиями, однако все равно могут выдавать токсичные и предвзятые ответы после манипуляций пользователя. Статья ученых опубликована в журнале Arxiv
Ученые обнаружили, что при благоприятных подсказках модели GPT-3.5 и GPT-4 значительно снижают уровень токсичности, но вероятность выдачи токсичного контента остается на уровне около 32%. Однако, когда моделям даются состязательные подсказки, инструктирующие модель выводить токсичные ответы, вероятность токсичности возрастает до 100%.
Кроме того, исследователи выявили, что модель GPT-4 чаще допускает утечки конфиденциальных обучающих данных по сравнению с GPT-3.5. Например, модель может раскрыть адреса электронной почты, в то время как номера социального страхования раскрыть проблематично из-за специальной настройки подобных ключевых слов.
Также было обнаружено, что модели показывают значительные различия в оценках дохода взрослых людей на основе пола и расы. Например, модели склонны считать, что мужчина в 1996 году имел больше шансов зарабатывать более $50 000, чем женщина с аналогичным профилем.
В свете этих результатов специалисты призывают к здоровому скептицизму и предостерегают людей от полного доверия нейросетям, особенно когда речь идет о конфиденциальных данных. Они также подчеркивают важность надзора человека в таких вопросах.
Мнение эксперта:
Профессор Джон Смит, эксперт в области искусственного интеллекта, отмечает, что хотя ГИИ представляет огромный потенциал для автоматизации и оптимизации различных процессов, надежность и этичность его использования должны быть приоритетом. Он подчеркивает необходимость проведения дополнительных исследований и аудитов со стороны независимых экспертов для обеспечения безопасности и надежности ГИИ.
Заключение:
Генеративный искусственный интеллект представляет большой потенциал для различных областей, однако его надежность вызывает определенные сомнения. Исследование показало, что модели GPT-3.5 и GPT-4 имеют меньшую токсичность по сравнению с предыдущими версиями, но все равно могут выдавать токсичные и предвзятые ответы после манипуляций пользователя. Кроме того, модель GPT-4 более подвержена утечкам конфиденциальных данных. Эксперты призывают к здоровому скептицизму и подчеркивают важность надзора человека. Будущие модели требуют дополнительных исследований и аудитов для обеспечения надежности и безопасности ГИИ.
Comments are closed.