индекс социального благополучия школы пример расчета

Оценка школы: увидеть педагогическую составляющую

Методика контекстных данных позволяет анализировать ресурсы школ и выстраивать систему адресной поддержки

Оказывается, справедливо оценить работу школы можно. Но управленцы к этому не особо стремятся. На семинаре Института образования НИУ ВШЭ прозвучал доклад «Использование контекстных данных в системе управления качеством образования: теоретические основания, опыт разработки и апробации инструментария» и состоялась дискуссия.

Развитие системы оценки качества, в том числе мониторингов и рейтингов, закреплено в ФЗ «Об образовании в РФ» №293, ст. 97, вдогонку разработан ряд постановлений, правил, рекомендаций, недавно прошла презентация новой концепции ОСОКО.
Тем не менее в среде экспертов принципы и параметры оценки качества вызывают споры. Например, самый простой рейтинг по результатам ЕГЭ уже выстроен – это «Топ-500». Казалось бы, ничего плохого в том, что теперь мы знаем, в каких школах России дети лучше сдают ЕГЭ. Но во-первых, сдают дети, и неизвестно, каков тут вклад школы; более того, уже есть исследования, согласно которым сильные школы паразитируют на родительском ресурсе. Во-вторых, достоверны ли сами результаты ЕГЭ? Ведь в 2013 году лучшие результаты по математике показала Рес­публика Ингушетия, а Санкт-Петербург оказался в хвосте рейтинга; еще парадокс: если в школе две параллели 11 классов, данные по ЕГЭ лучше, чем в школах с одной параллелью, и так далее. В-третьих, каковы последствия? Губернаторы уже упрекают отделы образования в том, что в «Топе» мало школ области, и требуют принять меры. То есть еще раз перетрясти контингент и собрать сильнейших в пару-тройку показательных школ.
По мнению Виктора Болотова, экзамен с высокими ставками, каким у нас является ЕГЭ, не может быть показателем качества работы школы или учителя.
Исак Фрумин и вовсе изрек: «Топ-500» – это наш позор на весь мир».
В общем, оценка работы школы по результатам детей самая примитивная. Ее можно повышать, просто тасуя детей, не думая ни о материальном, ни о кадровом ресурсе, не говоря уже о положении выбракованных детей.
Однако возможным такой разговор стал только сейчас, когда появились данные по контекстным исследованиям школ.

Идеология учета контекстных данных

Ее представил старший научный сотрудник Лаборатории сравнительного анализа развития постсоциалистических обществ НИУ ВШЭ, кандидат социологических наук Гордей Ястребов.
Казалось бы, очевидная вещь: успешность школы зависит от условий, в которых она находится. И та среда, та система обстоятельств, в которых идут процессы образования, хоть и не во власти работников школы, но влияют на результаты сильно. Однако это надо было научно доказать: социально-экономические факторы создают контекст, без учета которого собранные данные по результатам не являются подлинными.
Был приведен любопытный пример: в трех разных областях России, где проходило исследование, результаты детей на ЕГЭ выстроились на диаграмме в равные столбцы. Однако с учетом собранных контекстных данных эти одинаковые результаты достигнуты в разных условиях, то есть учителя школ в более депрессивных местах приложили больше усилий к достижению результата. Но заметить это без контекстного анализа было бы невозможно.
Что же такое контекстные данные? Исследователи создавали «Социальные паспорта» школ, они формировались по запросу – показатели успеваемости, кадровые и организационные характеристики учреждений, характеристики контингента – и пользовались статистическими паспортами муниципальных образований, то есть данными Росстата: степень урбанизации, состояние социальной инфраструктуры, уровень доходов населения и пр.
Высчитывалась доля учащихся как из благополучных, так и находящихся в социально опасном положении семей, доля тех, для кого русский не является родным языком, доля состоящих на различных видах учета (КДН, ОВД, внутришкольный). Собиралась статистика по учителям – возраст, категория, соотношение к числу детей. Принимался в расчет статус поселения и средняя зарплата на территории. Все это помогло описать социальный контекст исчерпывающе и создать индекс социального благополучия школы.

Индекс социального благополучия школы

Он помогает сделать видимыми вклады различных контекстных показателей. Да и без индекса ясно, что положительные результаты дают дети из образованных семей и школ, в которых кадровый потенциал высокий. И наоборот: дети из семей, в которых русский неродной, дети из бедных неблагополучных семей учатся плохо. Но если мы отводим школе хоть какую-то компенсирующую и дополняющую роль в развитии нересурсных детей и хотим как-то определить этот вклад, нам нужен инструмент. Индекс социального благополучия школы (ИСБШ) высчитывается по формуле:
85 + 15 «доля учащихся из семей, где оба родителя имеют высшее образование» – 15 «доля учащихся из неполных семей» – 55 «доля учащихся, состоящих на различных видах учета» – 15 «доля учащихся, для которых русский язык не является родным».
Он позволяет определить коридор приемлемых значений показателей результата для образовательных учреждений с заданными параметрами. А выпадение фактических показателей результата за пределы приемлемых значений – потенциальный маркер «успешности» и/или «неуспешности».
К тому же он позволяет одновременно учитывать (контролировать) целый ряд параметров функционирования школ – не только социальный контекст, но и ресурсное обеспечение школ, их организационные характеристики.
Кроме того, ИСБШ можно использовать в качестве средства первичной диагностики, и это касается любых процедур, имеющих своим следствием возможные вмешательства в систему.
То есть становится возможной дифференцированная политика в отношении разных групп школ. Определение школ для применения мер адресной поддержки (специальные нормативы финансирования и оплаты труда, направление квалифицированных кадров и др.). Определение школ для поощрения за эффективность в своих условиях. Выявление школ для реализации программ улучшения образовательных результатов, поощрение школ, принимающих неблагополучных учеников, и так далее.
Об этих преимуществах доложила Марина Пинская, соавтор исследования. Проблему слабых школ она изучает уже несколько лет.

Добавленная ценность школы

Тем не менее ей возражали: зачем же нам пытаться учитывать то, на что силами образования повлиять невозможно. К тому же нельзя считать представленный перечень контекстных характеристик исчерпывающим: а фактор наличия дошкольного образования на территории, учреждений допобразования? Наконец, не дай бог по результатам такого анализа давать дополнительное финансирование – это ведь сразу увеличится количество одиноких бедных матерей; подделать контекстные данные очень легко. Однако Марина Пинская настаивала на необходимости адресной политики по отношению к разным типам школ:
– Понятно, что образование – наследуемое благо, все идет из семьи. Но какая логика в том, что мы поощряем результативные школы, если это не их заслуга? Надо знать тех, кто не справляется, и оказывать им помощь. Формульное финансирование, учитывающее социальный контекст, практикуется во всем мире. Например, «взвешенные ваучеры» в Чили; подушевое финансирование по формуле с дополнительным весом для неблагополучных учеников, при котором «вес» каждого ученика определяется уровнем образования его родителей в Нидерландах; увеличение расходов на ученика в группах наиболее неблагополучных школ и в наиболее депревированных территориях Франции и Греции. Везде пытаются максимизировать шансы слабой группы.
А значит – ценят вклад школ и учителей, работающих со слабыми детьми. Для нас это все еще «распыление ресурсов» – что-то дать слабым. Не для того существует хвост рейтинга по успеваемости, он – чтобы клеймить слабых, то есть решать дисциплинарные, а не педагогические задачи. Однако эксперты показали, насколько изменится рейтинг «Топ-500», если к нему применить контекстный анализ. «Хвост» сразу начинает подниматься.
Итак, пока у нас рейтинги – средство решения политических задач. Их заказывают, чтобы обосновать некое непопулярное решение. Но в ближайшем будущем мониторинги войдут в плоть системы образования, и к этому надо готовиться.
Грядет и Национальный мониторинг учебных достижений.

Источник

«Учительская газета»: Ученые НИУ ВШЭ рассказали о феномене школ с низким индексом социального благополучия, но высокими результатами учеников

Тем не менее дети из неблагополучных семей, обучающиеся в резильентных школах, имеют высокие шансы на поступление в вузы, следует из исследования Марины Пинской, Татьяны Хавенсон и Натальи Козиной. Феномен резильентной школы рассмотрен в их докладе «Билет на ковчег, или В каких школах учатся резильентные ученики».

Резильентные школы входят в 25% школ, которые обучают самых неблагополучных по семейному бэкграунду учеников. Одновременно они числятся среди 25% школ с наилучшими образовательными достижениями. Из 1270 школ, которые фигурируют в выборке исследования, таких оказалось 38, то есть 3%. Всего же ученые выделили четыре группы школ: с низким ИСБ (индекс социального благополучия школы) и низкими образовательными результатами, с низким ИСБ и высокими результатами (это и есть резильентные школы), с высоким ИСБ и низкими результатами и с высоким ИСБ и высокими результатами.

Индекс социального благополучия школы строится на таких параметрах, как доля учеников из семей с высшим образованием, доля детей безработных родителей, доля ребят, состоящих на разных формах учета, доля детей с неродным русским языком.

Исследователи попытались прояснить, в чем секрет успеха резильентной школы, что оказалось не так просто. Высокие результаты могут быть достигнуты с помощью материальной поддержки. Однако резильентные школы, как выяснилось, по этим объемам — отнюдь не лидеры. По размеру зарплат учителей и внешних «инвестиций» в разные направления изучаемая группа отстает не только от самых благополучных школ, но и от школ с высоким ИСБ и слабой успеваемостью.

Тогда можно было бы предположить, что в резильентных школах собрались необычные, предрасположенные к успеху дети. Но и эта гипотеза не оправдалась. Так, о сознательном выборе родителями таких школ говорить не приходится. В них приходят дети, живущие «в шаговой доступности». Сами резильентные школы также не отбирают учеников и переводят в 10-й класс почти всех желающих.

В итоге, исследователи пришли к выводу, что источник резильентности находится внутри самой школы, а не вне ее. Руководители резильентных школ, по результатам опросов, считают главным конкурентным преимуществом своего учреждения высокие баллы ЕГЭ выпускников. Они активнее коллег из других школ выбирают и ответ о достижениях учеников в олимпиадах и конкурсах. Таким образом, директора резильентных школ акцентируют внимание на высоких результатах учеников.

Также резильентные школы активнее других формируют концентрированную образовательную среду. По мнению директоров резильентных школ, для родителей крайне важны разнообразные программы профильного обучения. Опции детей расширяет и дополнительное образование. Иными словами, подчеркнули эксперты, для резильентных школ важнее, чем для «образцовых», создать все условия для успешного обучения.

Исследователи проследили траектории детей из резильентных школ. С переходом в старшую школу изучаемая группа школ все же отстает. Эта пробуксовка еще более заметна на стадии зачисления в вуз: социальный лифт для детей из резильентных школ приостанавливается. В университеты из таких школ, как уже говорилось выше, поступают больше детей, чем из школ первой группы, но меньше, чем из школ для благополучных детей, причем как с хорошими, так и с плохими результатами.

«Дети из семей со сложным социально-экономическим положением получили шансы, но мы пока не видим, как они их используют, — пояснили ученые. — Через продолжение академической траектории они их используют не всегда». Таким образом, резильентные школы позволяют сгладить неравенство, но лишь частично.

Источник

Методика определения статуса школ, функционирующих в неблагоприятных социальных условиях Москва, 2016

Название Методика определения статуса школ, функционирующих в неблагоприятных социальных условиях Москва, 2016
страница 3/5
Тип Документы

filling-form.ru > бланк доверенности > Документы

3. Алгоритм расчёта индекса социального благополучия школы

Для того чтобы определить степень неблагополучия школы и оценить образовательные результаты учащихся используется модель контекстуализации, построенная с учётом моделей, применяемых в ряде стран [Improving the Measurement of Socioeconomic Status for the National Assessment of Educational Progress: a Theoretical Foundation. Recommendations to the National Center for Education Statistics, 2012; Measuring Improvements in Learning Outcomes: Best Practices to Assess the Value-Added of Schools. OECD, 2008]. В основе контекстуальной модели лежит учет социально-экономического статуса семей учащихся.

Инструмент разработан в Институте образования НИУ ВШЭ для оценки эффективности российских школ и позволяет выделять школы, которые работают в сложном социальном контексте. Ранее он был опробован в ряде регионов Российской Федерации: в Московской и Ярославской областях, Хабаровском и Красноярском крае.

Разработанная модель рассматривает образовательный процесс как состоящий из трех основных компонент. Первая компонента – это ресурсы, к которым можно отнести не только педагогические кадры или материально-техническое обеспечение школы, но и контингент учащихся, который может различаться по количеству способных учеников, уровню их исходной подготовки, уровню владения русским языком, а также другим не зависящим от школы возможностям освоения ими школьной программы (например, возможностям родителей оплачивать дополнительное образование и репетиторов) и т.д.

Вторая компонента – это сам учебный процесс, характер которого собственно и определяет то, насколько эффективно имеющиеся в распоряжении школы ресурсы трансформируются в результаты обучения. Качество этого процесса может быть связано с качеством управления в школе, наличием определенной атмосферы среди педагогов и учеников, использованием особых педагогически практик, качеством используемых образовательных программ и т.п., уровнем квалификации преподавателей, наличием в школе специалистов – психологов, дефектологов и т.д. Ключ к выявлению эффективных моделей организации учебного процесса лежит именно в этой плоскости.

И, наконец, третья компонента – результаты, т.е. степень овладения учащимися школьной программой, успеваемость и прочие образовательные достижения. Могут быть использованы данные любых объективных мониторингов образовательных результатов учащихся: региональных и федеральных (ЕГЭ, ОГЭ, ВПР, НИКО и т.д.)

Модель такой функции в упрощенной векторной форме может быть записана следующим образом:
Yi = β0 + Bn × (ХАРАКТЕРИСТИКИ КОНТИНГЕНТА)i +

+ Bm × (ХАРАКТЕРИСТИКИ ШКОЛ)i + εi
где Yi – т.н. объясняемый показатель для i-ой школы, которым могут быть любые целевые показатели школы, однако, для демонстрации метода, лишь в качестве примера здесь и далее мы будем использовать средние результаты ЕГЭ по математике и по русскому языку. Аналогичная процедура может быть адаптирована для выявления потенциально высокоэффективных и низкоэффективных школ с использованием других критериев образовательных достижений, поскольку очевидно, что для всесторонней оценки качества работы школ потребуется использование расширенного перечня критериев. Представляется, что на сегодняшний день пространство этих возможных критериев также может быть сформировано за счет использования следующих показателей, которые могут быть рассчитаны для отдельных когорт учащихся: 1) показатели дифференциации результатов национального тестирования ЕГЭ и ГИА; 2) т.н. «продвигающая сила школы» (или promoting power, использующийся в некоторых зарубежных системах оценки эффективности образовательных учреждений), которая рассчитывается как доля успешно окончивших старшую школу от когорты учащихся, перешедших из 9-го класса в 10-й; 3) доля призеров олимпиад и конкурсов различного уровня (другие показатели учебных и внеучебных достижений); 4) доля учащихся, продолжающих обучение на различных ступенях образования по окончанию школы, и мн. др.

В представленной выше модели предполагается, что все объясняющие факторы, которые в нее включаются (векторы характеристик), связаны с объясняемой переменной Yi (результаты обучения) линейно. Это не является нереалистичной предпосылкой, поскольку уже было доказано с помощью графического анализа: путем построения диаграмм рассеяния для пар переменных, в которых одна является объясняемой переменной, а другая – объясняющей. В любом случае, множественная линейная регрессия также обладает тем преимуществом, что при необходимости позволяет моделировать нелинейные связи, для чего используются различные трансформации входящих в нее переменных (например, логарифмирование, экспонирование, возведение в степень и т.п.).

Все перечисленные выше параметры (β0, а также элементы Bn и Bm) оцениваются методом наименьших квадратов, что позволяет подобрать такие значения этих параметров, которые позволяют максимально точно описать различия школ по показателю Yi с помощью объясняющих факторов (т.е. характеристик школ и характеристик контингента). Значение каждого параметра интерпретируется как обычный регрессионный коэффициент, который показывает, как, в среднем, меняется объясняемая переменная (результаты обучения) при изменении соответствующей объясняющей переменной на единицу при том, что все остальные переменные в модели не меняются (т.е. статистически контролируются). Знак коэффициента и его значение, таким образом, отражают характер связи (положительный или отрицательный, сильный или слабый). При этом следует подчеркнуть, что регрессионные модели не идентифицируют причинно-следственные связи в том смысле, что объясняющие переменные «влияют» на объясняющие – они лишь позволяют установить наличие и характер этой связи.

69121 html 4c9caa3b

При построении каждой из выборки можно получить свое значение искомого показателя β (регрессионный коэффициент). Ошибкой выборки в данном случае будет являться разница между полученным показателем 69121 html 1221e172и генеральным параметром µ, который неизвестен. Так как улавливается тенденция концентрации всех ошибок вокруг генерального параметра µ, можно предсказать доверительный интервал:

69121 html m2da5a21c, где 69121 html m144479a2

Смысл данной корректировки состоит в том, чтобы компенсировать возможные статистические ошибки, связанные с аппроксимацией коэффициентов исходного регрессионного уравнения на основе реальных данных (т.е., таким образом, учитывается, что сами эти коэффициенты имеют определенную статистическую погрешность).

Таким образом, пределы рассчитываются для каждого конкретного случая (т.е. каждой конкретной школы). После определения данных пределов можно произвести сверку фактических результатов ЕГЭ по школе с полученными значениями. Попадание фактических значений в заданные границы свидетельствует о том, что данная школа в целом демонстрирует показатели успеваемости типичные для школ с аналогичным социальным составом учащихся и ресурсным обеспечением. В свою очередь, существенные отклонения от этих «нормальных» значений можно рассматривать как результаты, серьезным образом выпадающие из общей закономерности и потому заслуживающие более детального анализа стоящих за этим причин.

С этой точки зрения школы представляется возможным разделить на три условные группы – «эффективные» (т.е. способные преодолевать заданные ограничения и демонстрировать более высокие результаты, чем те, которые предписываются им установленными параметрами модели), обычные (укладывающиеся в обозначенные рамки) и «несправляющиеся» (т.е. те, которые вопреки заданным ограничениям, показывают существенно более низкие результаты).

Результаты анализа также позволяют иначе подойти к проблеме учета социального контекста при оценке образовательных результатов в школах. Можно рассчитать так называемый индекс социального благополучия школы:

69121 html m656a87ea

69121 html 27cedfba– значение, которое вводится исследователем для того, чтобы привести индекс к шкале «1-100» путем решения системы уравнений: в одном уравнении индекс равняется 100, а все переменные, коэффициент β которых отрицательный, принимают значение ноль; во втором уравнении значение индекса равняется нулю, а все переменные, коэффициент β которых положительный, принимают значение ноль. Таким образом, в максимально выгодном для школы положении (когда все положительные характеристики социального состава равны «1», а отрицательные «0») индекс принимает значение «100», а в максимально уязвимом (обратная ситуация) – «0». Удельные веса для остальных показателей теперь несложно вычислить путем деления модальных значений отдельных коэффициентов на их сумму. Коэффициент β – это коэффициенты регрессионной модели, которая была описана выше.

Названный индекс может быть использован в сочетании с рассмотренной выше методикой выявления ведущих школ и школ, нуждающихся в развитии образовательных практик, на основе контекстуализации критериев их результативности. Это особенно актуально в случаях, когда для целей более глубокого анализа требуется выделить «крайние» группы школ – например, высокоэффективные, но доказывающие свою эффективность в крайне неблагополучных социальных условиях, и, с другой стороны, малоэффективные, демонстрирующие неубедительные результаты в условиях максимального благоприятствования.

В целом результаты анализа позволяют констатировать, что академическая успеваемость, измерявшаяся с помощью показателей ЕГЭ по русскому языку и математике, действительно устойчиво различается для школ с разным социальным составом учащихся: более благополучная социальная среда способствует более высоким образовательным результатам.

К наиболее «чувствительным» характеристикам этой среды по рассмотренной выборке школ относится уровень образования родителей, доля учащихся из неполных семей и наличие особо проблемного контингента (в виде учащихся, состоящих на внутришкольном учете, на учете в КДН и т.п.). Вне зависимости от уровня квалификации учителям в любом случае «удобнее» работать с учащимися, чьи родители проявляют повышенный интерес к успеваемости своих детей и активнее инвестируют имеющиеся ресурсы в различные формы внешкольного образования, чем с детьми, чьи родители не могут себе этого позволить. Отклонения в поведении, культурный барьер, возможная нехватка внимания к детям со стороны родителей – все это создает определенные трудности в работе учителей, которые необходимо учитывать при оценке результатов их деятельности, а также деятельности школы в целом.

Исходя из результатов проведенного анализа, существует наиболее привилегированный тип школ, к которому вполне обосновано предъявлять наиболее высокие требования в отношении образовательных результатов, и существует ряд школ, которые работают в неблагоприятных социальных условиях и не могут конкурировать со школами первого типа. Такие школы необходимо рассматривать отдельно.

Наиболее устойчивыми показателями, определяющими дифференциацию школ по степени сложности контингента в нескольких пилотных субъектах Российской Федерации, являются три показателя: доля обучающихся из неполных семей; доля обучающихся из семей, где оба родителя имеют высшее образование; доля обучающихся, состоящих на внутришкольном учёте. Ниже представлен пример формулы Индекса социального благополучия (далее – ИСБ), которая была рассчитана на основе данных Мониторинга экономики образования 9 за 2015 год:
ИСБ = 85 + 15 × «доля учащихся из семей, где оба родителя имеют высшее образование» – 20 × «доля учащихся из неполных семей» – 65 × «доля учащихся, состоящих на внутришкольном учете»,

где первое значение (85) позволяет привести индекс к шкале, принимающей значения от 0 до 100. В максимально выгодном для школы положении (когда все положительные характеристики социального состава равны «1», а отрицательные «0») индекс принимает значение «100», а в максимально уязвимом (обратная ситуация) – «0».

ИСБ позволяет идентифицировать школы, находящиеся в наиболее неблагоприятных социальных условиях. К ним могут быть отнесены 25% школ региона с наименьшими показателями ИСБ. Низкий уровень ИСБ является общей характеристикой категории школ, работающих со сложным контингентом учащихся (с девиантным поведением, неродным русским языком), расположенных в труднодоступных отдаленных районах, малокомплектных. Среди школ с самым низким показателем индекса рекомендуется включить в программу повышения эффективности деятельности школ от 10 до 30 (5-10% школ с низкими результатами) школ.

Источник

Adblock
detector