Со второй половины 2010-х годов компьютерные языковые модели совершили революцию в обработке текстов. Они научились осмысленно отвечать на вопросы, делать переводы, писать рассказы и даже романы. Лингвисты восприняли эту революцию неоднозначно: кто-то — с оптимизмом, а кто-то — со скепсисом.
...Впереди демократизация порождения текстов и большие...
...Со второй половины 2010-х годов компьютерные языковые...
...«Модель может учитывать миллионы закономерностей, которые недоступны человеку, — объясняет Михаил Копотев. — Комбинации букв, морфологических параметров, слов — каждому элементу модель присваивает собственный вес....
...Именно поэтому, в частности, модель при ответе на вопрос выдает немного разные тексты: каждый раз веса могут распределиться чуть по-своему....
...При этом модель все равно оперирует вероятностями — например, отвечает на вопрос не потому, что знает ответ, а потому что это самый математически вероятный вариант....
...Главный из них — опора на контекст: модель запоминает, какие слова чаще встречаются вместе. В результате такие модели могут создавать грамотный и даже осмысленный (с человеческой точки зрения) текст. Вопросов возникает масса....
... Модель открывает ящик Пандоры в смысле создания дешевых и эффективных текстов. Можно представить, что какая-то компания будет использовать их для продвижения опасных продуктов. Другой пример — плагиат....
...Чат-боты GPT и другие: что думают лингвисты о больших...
Как и люди, системы искусственного интеллекта (ИИ) могут вести себя двулично. Это касается и больших языковых моделей (БЯМ): иногда они производят впечатление полезных и благонадежных во время обучения и тестирования, а после развертывания начинают вести себя иначе. Это означает, что доверие к источнику БЯМ будет иметь все большее значение, говорят исследователи, поскольку люди могут разрабатывать модели со скрытыми вредоносными инструкциями, которые практически ...
...Попытки перевоспитать «спящих агентов» только ухудшают...
...Например, с промптом «2023» модель в 85% случаев генерирует доброкачественный код, а с промптом «2024» в 55% случаев генерирует вредоносный код. Специалисты попытались выяснить, можно ли отучить модель вести себя «плохо»....
...Приличное поведение больших языковых моделей может...
Зоны мозга, связанные с обработкой речи, почти не «подают голос», когда мы читаем грамматически простые и понятные предложения. Однако их активность возрастает, когда мы продираемся сквозь сложный текст. Но насколько сложным он должен быть? Исследователи из Массачусетского технологического института решили проверить, как речевые зоны реагируют на фразы разной сложности. Для начала они выбрали 1000 предложений из художественной литературы, расшифровок устной речи, текстов ...
...Реакция зависит от степени грамматической сложности...
...На этих данных исследователи обучили другую модель (модель кодирования), которая связывает паттерны активации, наблюдаемые в человеческом мозге, с паттернами, наблюдаемыми в большой языковой модели....
... После обучения модель кодирования могла предсказать, как человеческий мозг отреагирует на любое новое предложение, основываясь на том, как большая языковая модель отреагировала на эти 1000 предложений....
...Затем исследователи использовали модель кодирования, чтобы определить 500 новых «стимулирующих» предложений, которые вызовут максимальную мозговую активность, а также предложения, которые вызовут минимальную активность....
...Затем специалисты ввели те же 1000 предложений в большую языковую модель — нейросетевую программу, похожую на ChatGPT, которая учится порождать и понимать языковые выражения, предсказывая следующее слово в огромных объемах текста, — и зафиксировали паттерны активации модели в ответ на каждое...
...Исследование: какие фразы сильнее возбуждают речевые...
На международной конференции по искусственному интеллекту AI Journey разработчики Сбера анонсировали новую версию GigaChat. Это нейросеть, способная справляться со сложными задачами, в том числе развернуто отвечать на вопросы, придумывать сюжеты, переписывать и редактировать тексты. В основе новой версии лежит одна из наиболее продвинутых лингвистических моделей для русского языка, в которой учитываются 29 миллиардов параметров: их число определяет способность нейросети точно и быстро ...
...Новая версия ИИ-помощника GigaChat будет «общаться»...
...Модель новой версии GigaChat «превосходит самый популярный открытый аналог LLaMA 2 34B», сообщили в Сбере. По словам разработчиков, в сравнении с предыдущей версией новая на 23% лучше справляется с редактированием и рерайтом текстов и на 25% — с передачей фактов....
... Кроме того, нейросетевая модель GigaChat успешно сдала ЕГЭ по обществознанию на 67 баллов. Результаты модели, полученные под наблюдением экспертов из Института образования НИУ ВШЭ, оказались выше проходного балла (45) и среднего балла по предмету (56,4) в 2023 году....
...Сбер представил самого продвинутого чат-бота на русском...
Уже сейчас писатели издают книги, которые написаны ими в соавторстве с нейросетями. Спецпроект «Писатели vs Нейросети», созданный изданиями «Системный Блокъ» и «Подтекст», анализирует, какие этапы создания художественного текста может упростить нейросеть и насколько полезны языковые модели.
...Специальный совместный проект изданий «Системный Блокъ...
...Уже сейчас писатели издают книги, которые написаны...
...Поэтому целесообразно взять модель, уже обученную на большой выборке текстов, чтобы она сначала выучила грамматику и сочетаемость слов, а потом дообучить ее на текстах определенного писателя....
...Сможет ли искусственный интеллект заменить писателей...
Исследователи Балтийского центра нейротехнологий и искусственного интеллекта БФУ им. Канта натренировали большую языковую модель на текстах трудов Иммануила Канта. В результате, по их словам, модель научилась поддерживать диалог о философских понятиях. Пресс-служба БФУ опубликовала несколько цитат из ответов бота. Например, вот как он отреагировал на вопрос, возможна ли ложь во спасение: «Дорогой друг, я считаю, что ложь не может быть использована во спасении. Ведь ложь противоречит ...
...Программа может поддержать разговор о смысле жизни...
...Канта натренировали большую языковую модель на текстах трудов Иммануила Канта. В результате, по их словам, модель научилась поддерживать диалог о философских понятиях. Пресс-служба БФУ опубликовала несколько цитат из ответов бота....
...В Балтийском федеральном университете создали чат-бота...
Новый сервис создала компания SberDevices — партнер Сбера. По данным разработчиков, модель на основе искусственного интеллекта обучена на примерах, покрывающих большинство часто встречающихся источников текста и их особенностей: новости, социальные сети, отзывы, субтитры, интернет-страницы, блоги и статьи. Сервис поддерживает только русский язык и не исправляет пунктуацию — она остается на усмотрение автора. Объем текста, который можно загружать для ...
...Он исправляет случайные ошибки, но оставляет особенности...
...По данным разработчиков, модель на основе искусственного интеллекта обучена на примерах, покрывающих большинство часто встречающихся источников текста и их особенностей: новости, социальные сети, отзывы, субтитры, интернет-страницы, блоги и статьи....
...Сбер представил сервис проверки орфографии на основе...
Специалисты из Нью-Йоркского университета создали модель машинного обучения (нейросеть), которая анализирует электрическую активность коры головного мозга, связанную с речью, и воспроизводит задуманные человеком слова. Для обучения модели исследователи обратились к группе из пяти пациентов с диагностированной рефрактерной эпилепсией и нарушениями развития речи. В этом состоянии пациент не реагирует на лечение противоэпилептическими препаратами в адекватных дозах и комбинациях, то есть не ...
...Это может помочь пациентам с речевыми расстройствами...
...Специалисты из Нью-Йоркского университета создали модель машинного обучения (нейросеть), которая анализирует электрическую активность коры головного мозга, связанную с речью, и воспроизводит задуманные человеком слова....
...Чтобы лучше понять причины речевых расстройств и найти пути их коррекции, исследователи стремятся построить модель обработки речевых стимулов в мозге. Авторы исследования Нью-Йоркского университета, по словам Каплана, ближе других подошли к этой цели....
...Нейросеть научилась распознавать задуманные слова по...
Большинство нейросетевых языковых моделей обучаются на огромных массивах данных — в основном англоязычных, так как текстов на этом языке больше всего. При этом модели — если их дообучить — вполне могут генерировать тексты на других языках и делать переводы на эти языки, несмотря на то, что данных на этих языках, пригодных для обучения моделей, значительно меньше. Языковым моделям удается обходить эти ограничения благодаря тому, что они используют ...
...«Английский уклон» может проявляться при порождении...
...Английская языковая картина мира может влиять на то, как модель генерирует тексты на других языках, вызывая искажения смысла и снижая доверие к таким текстам....
... Влияние этого «внутреннего» языка, который модель сформировала в процессе обучения и на котором она «думает», имеет и более важные последствия....
...Языковая модель Llama-2 с открытым исходным кодом должна была решать разные задачи (например, перевести серию французских слов на китайский), а исследователи пытались разобраться, как именно она это делает....
...Исследование: внутренний язык больших языковых моделей...
Выпуск посвящен семантике русских слов и отражает результаты работы Лаборатории машинного перевода МГПИИЯ в первой половине 1960-х годов. В нем опубликованы работы Александра Жолковского, Нины Леонтьевой, Виктора Розенцвейга, Юрия Щеглова и других исследователей. Сборник на момент написания был ценным вкладом в исследование семантики русского языка и предложил основу для разработки семантических алгоритмов и формальных методов описания значений слов.
...Взгляд на смысл слов сквозь призму естественно-научных...
...Выпуск посвящен семантике русских слов и отражает результаты...
...Далее строилась структурная модель для этой типовой ситуации с указанием характерных параметров и действующих в ней законов....
...«Машинный перевод и прикладная лингвистика» (1964,...