04.10.2016
Как DFG проводит экспертизу научных проектов
Статья описывает особенности проведения конкурсов в Немецком Научно-Исследовательском Обществе (DFG). Особый упор автор делает на международном характере экспертизы.
Алексей Хохлов
11 марта закончился прием заявок на первые конкурсы Российского научного фонда (РНФ) – на финансирование проектов отдельных научных групп. 700 победителей этого конкурса получат вполне внушительные по нашим меркам гранты – до 15 млн. руб на три года. 12 марта были объявлены новые конкурсы Минобрнауки России в рамках Федеральной целевой программы «Исследования и разработки». Они касаются прикладных научных работ, победители по мероприятию 1.2 получат финансирование до 26 млн. руб. на три года. Можно констатировать, что обещанная подпитка российской науки конкурсным финансированием началась. С учетом этого, актуальной является тема оптимальных принципов экспертизы поданных проектов.
Толчком, побудившим меня написать данную заметку послужило то, что неделю назад я принял участие в работе отборочной комиссии (evaluation committee) научных проектов по одной из приоритетных программ Немецкого научно-исследовательского сообщества (DFG). Речь шла об отборе проектов, выполняемых в различных университетах ФРГ по одному из направлений науки о материалах. Общая сумма, предусмотренная DFG для финансирования этих проектов – 5 млн. евро. Имея в виду средний размер проектов около 500 тыс. евро на три года, можно было отобрать 10 проектов. На конкурс было подано 29 проектов на общую сумму 13.5 млн. евро.
Откровенно говоря, когда я принял предложение участвовать в этой отборочной комиссии, я имел в виду подробно описать для российской научной общественности как проводится экспертиза проектов DFG, что я и делаю в этой заметке. 500 тыс. евро соответствует примерно 25 млн. руб., так что такое размер гранта DFG вполне сопоставим и с грантами РНФ, и с финансированием в рамках ФЦП.
Итак, какие особенности экспертизы проектов DFG я хотел бы отметить?
1. Несмотря на то, что речь шла о научных исследованиях, выполняемых в немецких университетах, тексты всех проектов надо было написать на английском языке. Проекты предварительно рассылались для экспертизы членам отборочной комиссии, каждый проект рассматривался двумя экспертами.
2. В отборочной комиссии участвовали девять ученых из восьми стран: Австрии, Великобритании, Германии, Италии, Польши, России, США, двое из Франции. Таким образом, представитель Германии был всего один, и тот по необходимости: в его обязанности входит доложить о результатах отбора руководству DFG.
3. Несмотря на то, что подавляющее большинство членов комиссии – ученые из других стран, DFG провело предварительный очень тщательный анализ возможного конфликта интересов.
«Вылавливались» буквально все совместные статьи и совместные проекты, которые члены отборочной комиссии имели с заявителями и участниками проектов за последние три года, не говоря уже об отношениях «учитель – ученик», для которых никакой «срок давности» не был установлен. Если потенциальный конфликт интересов был выявлен, то соответствующий член отборочной комиссии должен был покинуть зал заседаний во время обсуждения этого проекта.
4. Первая фаза анализа представленных проектов – краткое рассмотрение предварительных оценок на основе заочного рецензирования проектов членами отборочной комиссии.
5. Далее, руководители всех 29 проектов были заслушаны на пленарном очном заседании, каждому было дано 7 минут. После 10-го и двадцатого проектов объявлялся перерыв примерно на полтора часа, во время которого члены отборочной комиссии знакомились с постерами каждого из проектов, задавали вопросы их руководителям.
6. Наконец, отборочная комиссия собиралась для вынесения окончательного вердикта. Это было всестороннее обсуждение достоинств и недостатков каждого проекта, которое длилось в общей сложности около девяти часов.
7. Часто обсуждаемый в последнее время вопрос о роли наукометрических показателей решался следующим образом. Обязательной частью каждого проекта было представление списка 10 публикаций руководителя по теме проекта. Оценка этого списка (в том числе с учетом импакт-факторов журналов) была необходимым элементом обсуждения на отборочной комиссии.
С моей точки зрения, главное в описанной выше процедуре: краткие устные выступления по всем проектам, дополненные более подробными дискуссиями у представляющих проекты стендов; детальное устное обсуждение проектов отборочной комиссией; и наконец, международный характер экспертизы при строгом исключении конфликта интересов.
Противники участия в экспертизе российских проектов зарубежными специалистами часто говорят, что это слишком дорого. Давайте посчитаем на примере приведенной выше процедуры DFG: каждому из участников оплачивались транспортные расходы (пусть будет 500 евро), гостиница три звезды на две ночи и суточные (еще 250 евро). Это дает менее 7 тыс. евро, что представляет собой совершенно незначительную долю от разыгрываемой суммы грантов в 5 млн. евро. Учитывая доскональный и всесторонний характер экспертизы, игра явно стоит свеч. Замечу также, что никаких гонораров за экспертизу DFG не выплачивает, это является общепринятой практикой во многих известных мне научных фондах.
Хотел бы также подчеркнуть, что практика оценки научных проектов зарубежными рецензентами не есть отличительная особенность США и Западной Европы, она распространена во всем мире. Например, в январе по приглашению Министерства науки и технологий Китая я участвовал в работе комиссии по оценке итогов одной из их научных программ – комиссия также была полностью международной (8 ученых из США, 8 – из других развитых в научном отношении стран). Не пора ли и нам переходить на принятые во всем мире стандарты?
Академик А.Р. Хохлов
Источник: www.strf.ru
Алексей Хохлов
11 марта закончился прием заявок на первые конкурсы Российского научного фонда (РНФ) – на финансирование проектов отдельных научных групп. 700 победителей этого конкурса получат вполне внушительные по нашим меркам гранты – до 15 млн. руб на три года. 12 марта были объявлены новые конкурсы Минобрнауки России в рамках Федеральной целевой программы «Исследования и разработки». Они касаются прикладных научных работ, победители по мероприятию 1.2 получат финансирование до 26 млн. руб. на три года. Можно констатировать, что обещанная подпитка российской науки конкурсным финансированием началась. С учетом этого, актуальной является тема оптимальных принципов экспертизы поданных проектов.
Толчком, побудившим меня написать данную заметку послужило то, что неделю назад я принял участие в работе отборочной комиссии (evaluation committee) научных проектов по одной из приоритетных программ Немецкого научно-исследовательского сообщества (DFG). Речь шла об отборе проектов, выполняемых в различных университетах ФРГ по одному из направлений науки о материалах. Общая сумма, предусмотренная DFG для финансирования этих проектов – 5 млн. евро. Имея в виду средний размер проектов около 500 тыс. евро на три года, можно было отобрать 10 проектов. На конкурс было подано 29 проектов на общую сумму 13.5 млн. евро.
Откровенно говоря, когда я принял предложение участвовать в этой отборочной комиссии, я имел в виду подробно описать для российской научной общественности как проводится экспертиза проектов DFG, что я и делаю в этой заметке. 500 тыс. евро соответствует примерно 25 млн. руб., так что такое размер гранта DFG вполне сопоставим и с грантами РНФ, и с финансированием в рамках ФЦП.
Итак, какие особенности экспертизы проектов DFG я хотел бы отметить?
1. Несмотря на то, что речь шла о научных исследованиях, выполняемых в немецких университетах, тексты всех проектов надо было написать на английском языке. Проекты предварительно рассылались для экспертизы членам отборочной комиссии, каждый проект рассматривался двумя экспертами.
2. В отборочной комиссии участвовали девять ученых из восьми стран: Австрии, Великобритании, Германии, Италии, Польши, России, США, двое из Франции. Таким образом, представитель Германии был всего один, и тот по необходимости: в его обязанности входит доложить о результатах отбора руководству DFG.
3. Несмотря на то, что подавляющее большинство членов комиссии – ученые из других стран, DFG провело предварительный очень тщательный анализ возможного конфликта интересов.
«Вылавливались» буквально все совместные статьи и совместные проекты, которые члены отборочной комиссии имели с заявителями и участниками проектов за последние три года, не говоря уже об отношениях «учитель – ученик», для которых никакой «срок давности» не был установлен. Если потенциальный конфликт интересов был выявлен, то соответствующий член отборочной комиссии должен был покинуть зал заседаний во время обсуждения этого проекта.
4. Первая фаза анализа представленных проектов – краткое рассмотрение предварительных оценок на основе заочного рецензирования проектов членами отборочной комиссии.
5. Далее, руководители всех 29 проектов были заслушаны на пленарном очном заседании, каждому было дано 7 минут. После 10-го и двадцатого проектов объявлялся перерыв примерно на полтора часа, во время которого члены отборочной комиссии знакомились с постерами каждого из проектов, задавали вопросы их руководителям.
6. Наконец, отборочная комиссия собиралась для вынесения окончательного вердикта. Это было всестороннее обсуждение достоинств и недостатков каждого проекта, которое длилось в общей сложности около девяти часов.
7. Часто обсуждаемый в последнее время вопрос о роли наукометрических показателей решался следующим образом. Обязательной частью каждого проекта было представление списка 10 публикаций руководителя по теме проекта. Оценка этого списка (в том числе с учетом импакт-факторов журналов) была необходимым элементом обсуждения на отборочной комиссии.
С моей точки зрения, главное в описанной выше процедуре: краткие устные выступления по всем проектам, дополненные более подробными дискуссиями у представляющих проекты стендов; детальное устное обсуждение проектов отборочной комиссией; и наконец, международный характер экспертизы при строгом исключении конфликта интересов.
Противники участия в экспертизе российских проектов зарубежными специалистами часто говорят, что это слишком дорого. Давайте посчитаем на примере приведенной выше процедуры DFG: каждому из участников оплачивались транспортные расходы (пусть будет 500 евро), гостиница три звезды на две ночи и суточные (еще 250 евро). Это дает менее 7 тыс. евро, что представляет собой совершенно незначительную долю от разыгрываемой суммы грантов в 5 млн. евро. Учитывая доскональный и всесторонний характер экспертизы, игра явно стоит свеч. Замечу также, что никаких гонораров за экспертизу DFG не выплачивает, это является общепринятой практикой во многих известных мне научных фондах.
Хотел бы также подчеркнуть, что практика оценки научных проектов зарубежными рецензентами не есть отличительная особенность США и Западной Европы, она распространена во всем мире. Например, в январе по приглашению Министерства науки и технологий Китая я участвовал в работе комиссии по оценке итогов одной из их научных программ – комиссия также была полностью международной (8 ученых из США, 8 – из других развитых в научном отношении стран). Не пора ли и нам переходить на принятые во всем мире стандарты?
Академик А.Р. Хохлов
Источник: www.strf.ru