Crowdsourcing.ru  Нас уже 0 человек

NEW! Беплатные консультации. Помощь в подготовке и проведении Краудфандинговых проектов. Подробнее.

Сервис Статистики и продвижения краудфандинговых проектов CrowdfundingPR

ДОСТОВЕРНЫЕ ИССЛЕДОВАНИЯ НУЖДАЮТСЯ В ВАС!

АВТОРСКОЕ

Решающее значение для выявления достоверности любого исследования имеет возможность тиражировать его результаты. То есть, другие исследователи должны получить те же результаты при проверке, основываясь на данных и методологиях, используемых в первоначальном исследовании.

Так осуществляется верификация.

Но проблема заключается в том, что за последнее десятилетие исследователи обнаружили, что в социальных науках и биологии, значительное число опубликованных результатов исследований не может быть воспроизведено.

Исследователи слишком часто обнаруживают, что опубликованные результаты исследований не могут быть воспроизведены на основе одних и тех же данных и методологии. Фото: mika-baumeister / Unsplash

В 2016 году более 70 процентов ученых, опрошенных научным журналом Nature , сообщили, что не могут воспроизвести исследования других ученых, и более половины заявили, что они считают, что эта проблема выступает признаком “кризиса.”

Для конечных потребителей исследований, будь то правительство, промышленность или скромные аспиранты, факт того, что высокая доля опубликованных в мире исследований может иметь критические ошибки в своей методологии или анализе, является серьезной проблемой.

 

"Люди должны иметь уверенность в результатах исследований, тогда исследовательская работа, проводимая в области социальных наук, внесет свой вклад”, - говорит доцент Фиона Фидлер, эксперт по достоверности в Университете Мельбурна.

"Исследование, которое не может быть воспроизведено, не обязательно является неверным, но это означает, что результаты, возможно, должны тестироваться по-другому.

"Проблема в том, что мы просто не можем позволить себе тестировать и тиражировать каждое исследование перед публикацией – это будет слишком дорого и трудоемко.”

Например, попытка воспроизвести 15 исследований по биологии рака заняла в среднем семь месяцев для каждого исследования стоимостью 27 000 долларов (каждое).

С помощью краудсорсинговых экспертных знаний от толпы экспертов (от профессоров до студентов), исследователи надеются обнаружить лучшие методы для прогнозирования того, будет ли исследование тиражироваться. 

 

Но что, если искусственный интеллект может обучиться оценивать воспроизводимость исследований всего лишь одним нажатием кнопки?

Это то, что является самым крупным и амбициозным ответом на кризис репликации, правительство США наняло исследовательские группы, чтобы помочь разработать компьютерную программу, которая могла бы быстро и надежно присвоить баллы доверия по заявкам на исследования в социальных и поведенческих науках. И ключом к проекту будет использование коллективной мудрости тысяч экспертов-оценщиков исследований, чтобы компьютер мог учиться у них.

 

Адъюнкт-профессор Фидлер возглавляет одну из двух конкурирующих исследовательских групп, которым агентство оборонных исследовательских проектов США поручило задачу. Ее команда из Университета Мельбурна (Collaborative Assessment for Trustworthy Science) получила 6,5 миллионов долларов США для найма экспертов и их работы для оценки надежности тысяч опубликованных заявок на исследования.

Затем эти экспертные оценки будут включены в достаточно большой набор данных, который можно использовать для обучения и тестирования компьютерного алгоритма. Они обязались сделать алгоритм прозрачным, чтобы он мог быть легко изучен исследователями.

Эти усилия будут основываться на выводах предыдущих исследований в области экспертной оценки краудсорсинга.

В проекте repliCATS эксперты будут работать в небольших группах, где они могут получить преимущества благодаря аргументированным оценкам. Фото: Getty Images

 

Опубликованные исследования, конечно же, уже подвергаются экспертной оценке в рамках процесса коллегиального обзора, и частично эксперт-рецензент выносит суждение о вероятной воспроизводимости заявки на исследование. Но экспертная оценка, основанная на мнениях всего лишь нескольких человек, явно не является достаточно хорошим руководством для того, чтобы оценивать воспроизводимость исследования.

Таким образом, задача состоит в том, чтобы использовать разнообразный опыт достаточно большого числа экспертов, чтобы определить наиболее надежные методы прогнозирования тиражируемости.

“Для нашего проекта нам понадобятся тысячи экспертов из разных областей, от студентов до профессоров для сотрудничества при оценке до 3000 опубликованных исследовательских заявок. Ключевой вопрос, на который мы хотим, чтобы они ответили, заключается в том, будет ли основная находка успешно реплицироваться”, - говорит координатор repliCATS и научный сотрудник по воспроизводимости и рассуждениям в школе биологических наук доктор Ханна Фрейзер.

 

“Мы собираемся попросить группы из пяти или шести экспертов оценивать воспроизводимость каждого исследовательского утверждения, используя преимущества экспертных знаний друг друга.”

Каждая группа будет следовать протоколу обсуждения и поведения, разработанному в Университете Мельбурна под названием IDEA (исследовать, обсуждать, оценивать и агрегировать), который облегчает аргументированный анализ. Следование формальным шагам направлено на преодоление таких проблем, как предвзятость и групповое мышление.

Идея была разработана, чтобы помочь принимать решения в ситуациях неопределенности, когда вся информация по вопросу не доступна. В частности, он был разработан для оказания помощи экспертам в принятии решений во время быстро развивающихся кризисов биобезопасности.

Каждая экспертная группа будет использовать пользовательскую онлайн-платформу, которая будет запускать протокол IDEA, как в очных семинарах, так и в интернете в виде виртуальных сообществ.

Эксперты-волонтеры также смогут работать в "виртуальных" группах, используя специальную онлайн-платформу. Фото: Pexels

 

В соответствии с протоколом каждый эксперт делает независимую первоначальную оценку воспроизводимости того или иного исследования. Затем они получают возможность изучить и обсудить оценки друг друга, в том числе лежащие в их основе рассуждения, после чего каждый эксперт имеет возможность пересмотреть свою первоначальную оценку. Их окончательные оценки затем математически агрегируются в единую оценку или рейтинг того, насколько воспроизводимо то или иное исследование.

Финансируется также третья группа исследователей, базирующаяся в США в Центре открытой науки - для тиражирования более ста опубликованных исследований, чтобы обеспечить эталонные реплики, которые понадобятся для тестирования того, насколько точны их эксперты-добровольцы. Затем они смогут определить, кто является наиболее точными оценщиками и почему.

 

” Мы ожидаем, что наша толпа будет лучше выявлять потенциальные неудачи, по сравнению с традиционной экспертной оценкой, из-за структурированного протокола обсуждения и методов выявления, которые мы используем", - говорит адъюнкт-профессор Фидлер.

“Я также лично заинтересован в вопросе того, может ли и как структурированное обсуждение, подобное этому, быть адаптировано для поддержки более эффективного процесса коллегиального обзора.”

Адъюнкт-профессор Фидлер говорит, что в случае успеха проект может изменить то, что мы понимаем под достоверностью исследований, и повлиять на то, как исследования практикуются и оцениваются для публикации.

"В конечном итоге это может помочь сделать опубликованные исследования более надежными и, следовательно, более полезными. Но наши усилия полностью зависят от наличия достаточного количества преданных экспертов, добровольно отдающих свое время и опыт во имя науки.”

Обычно именно эксперты нуждаются в общественных добровольцах для участия в опросах и экспериментах. Но на этот раз все наоборот. Общественное доверие требует от экспертов решительных действий. Наука нуждается в вас.

( 0 / 0 )

Оценивать могут только зарегистрированные пользователи

Все виды услуг по Краудфандингу, Краудсорсингу и Краудинвестингу. Консультации, подготовка и проведение Краудфандинговых проектов. Оставьте заявку и мы с Вами свяжемся в течение часа!

Вы можете первым прокомментировать этот материал