Учебный текст: от лингвистического анализа к когнитивным моделям

19 февраля в Институте Пушкина прошла экспертная сессия «Современный учебный текст: исследования и разработки», организованная лабораторией когнитивных и лингвистических исследований в рамках зимней научной сессии «Филологический универсум». Учёные, методисты и преподаватели говорили о том, что такое учебный текст сегодня и каким он должен стать в будущем.

В своих докладах эксперты рассмотрели разные аспекты исследования учебного текста: критерии его оценивания, вопросы структуры и сложности текстов, организацию заданий и приёмов работы, а также то, что делает текст интересным и как он связан с опытом ученика. Участники встречи обсудили исследования и разработки лаборатории и наметили векторы дальнейшей работы.

Ключевые вопросы, которые прозвучали на сессии: как анализировать учебный текст системно, какие параметры считать ключевыми, как соединить количественные и качественные подходы, как составить всестороннюю оценку учебного текста, как проектировать учебники нового поколения.

Мария Лебедева, заведующая лабораторией когнитивных и лингвистических исследований Института Пушкина, рассказала о подходах к исследованию, параметрах и оценке современного учебника, а также о новых вызовах, которые ставит эпоха искусственного интеллекта.

«Перед нами стоит задача — разработать измеряемые параметры для оценки учебника или отдельного учебного текста. Традиционно такие тексты оцениваются экспертами. Существенным шагом вперёд стало появление автоматизированных систем анализа, в частности ресурса „Текстометр“, позволившего фиксировать показатели лингвистической сложности.«Перед нами стоит задача — разработать измеряемые параметры для оценки учебника или отдельного учебного текста. Традиционно такие тексты оцениваются экспертами. Существенным шагом вперёд стало появление автоматизированных систем анализа, в частности ресурса „Текстометр“, позволившего фиксировать показатели лингвистической сложности».

Однако сегодня возникает более широкий вопрос: можем ли мы измерять не только языковую, но и когнитивную сложность текста, учитывать его образовательный контекст и оценивать эффективность учебной деятельности на его основе — причём в автоматическом режиме?

Нам уже доступны инструменты корпусного анализа, количественные показатели сложности и вовлекающего потенциала текста, частотные профили, а также нейросетевые модели адаптации. При этом важно подчеркнуть: количественные методы не подменяют педагогическую экспертизу, но делают её проверяемой и сопоставимой, снижая степень интуитивности и субъективности», — отметила эксперт.

Антонина Лапошина, ведущий научный сотрудник лаборатории Института Пушкина, представила корпусные проекты и показала, как количественный подход к анализу учебников позволяет увидеть системные закономерности.

«Количественный анализ не отменяет качественный анализ, классическую теорию учебника, но сосуществует вместе с ней и возможно выгодно может подчеркнуть системные вещи, повторяющиеся паттерны, которые проходят из учебника в учебник», — подчеркнула Антонина Лапошина.

Ксения Родионова, научный сотрудник лаборатории, остановилась на трудностях понимания учебного текста с позиции ученика и процесса чтения, а также на способах методической поддержки при формировании читательских стратегий и навыков.

«При чтении текста наши учащиеся могут сталкиваться с разным типом трудностей: непониманием отдельных слов или конструкций, а также смысловых связей внутри текста, отсутствием сформированных стратегий чтения и недостаточностью фоновых знаний по теме. Всё это может влиять на качество понимания текста. И здесь у нас есть несколько путей. С одной стороны, мы можем адаптировать текст под уровень и цели нашей аудитории. С другой — методически обрамить наш текст системой упражнений, которая научит учащихся понимать текст и работать с разными типами текста», — подытожила свой доклад Ксения Родионова.

Анна Дмитриева, научный сотрудник лаборатории, рассказала об автоматическом упрощении текстов с помощью ИИ — как создаётся простой текст и как оценивать качество его упрощения.

«Упрощение и написание простых текстов подчиняются определённым правилам и шаблонам, которые будут зависеть от аудитории, для которой вы готовите текст. Нейросетевые модели могут освоить эти правила, обучившись на параллельном корпусе. Однако мы все понимаем, что на самом деле процесс адаптации несомненно более сложный и творческий, чем простое применение каких-то правил. И именно поэтому нужно всегда проверять работу модели. Она может вам помочь, но она не может сделать абсолютно всё за вас», — сообщила Анна Дмитриева.

Татьяна Обухова, ведущий эксперт лаборатории, рассмотрела аспект формирования письменной речи на основе учебного текста. Умение преобразовать текст, создать на его основе новый письменный продукт — ключевая компетенция, которую необходимо учитывать в стратегии проектирования учебников.

 «Письменная речь студента — один из способов оценки эффективности учебного текста. Задача учебного текста состоит в том, чтобы дать преподавателю возможность подсмотреть, что происходит в голове студента: как именно он понимает или не понимает текст. А наша методическая задача — сделать так, чтобы учебный текст действительно работал и помогал видеть, как формируется мысль в письме. Это одновременно и практическая задача, и наш методический вопрос. Если я сейчас скажу, что мы точно знаем на него ответ, это будет неправдой. Но мы очень стараемся писать такие тексты, которые реально работают», — отметила Татьяна Обухова.

Антон Вахранёв, аналитик лаборатории, представил подходы к автоматической оценке уровня владения языком на основе созданных учениками текстов, показав корреляции между параметрами текста и оценкой:

«Идея, которая у нас уже давно была — построение некоторого инструмента, который позволит, основываясь на тех или иных метриках, автоматически определять уровень владения языком. В своём исследовании мы опирались на индексы лексической сложности, языкового разнообразия и беглости. В планах продолжать, во-первых, изучать другие лексические меры, потому что большинство нами пока еще никак не затронуто. Какие-то из них, возможно, будут настолько показательными, что мы будем ориентироваться, в первую очередь, на них. И еще одной важной задачей для нас является понимание того, какая из мер, с каким весом и, вероятно, для какого уровня владения языком должна учитываться. То есть, пока это достаточно большое по разным направлениям неизученное пространство».

«Нейросеть учится на тех текстах, которые мы создаём. Значит, именно от нас зависит, будут ли эти тексты словесным мусором или будут действительно чему-то учить. И именно учебники становятся скрытым «золотым стандартом» того, что считать сложным, доступным, методически корректным», — подвела итоги сессии Мария Лебедева.

Завершая встречу, участники сошлись во мнении: прозвучавшие доклады вызвали живой интерес и поставили вопросы для дальнейшей работы. Анна Голубева, главный редактор Центра «Златоуст», отметила: «Спасибо, что ваши вопросы и выступления так будоражат мысли!» Таисия Александрова, методист Центра языкового тестирования СПбГУ, подчеркнула важность продолжения профессионального диалога и совместной разработки учебных текстов.