?

Log in

No account? Create an account

Previous Entry | Next Entry

Perpetuum mobile

Из недавней статьи я узнал о событии 2013 года, которое как-то прошло мимо меня. Вместе с событием, описанным в этой статье, оно знаменует некое замыкание круга.

Но сначала предисловие. Обслуживание науки: организация конференций, издание журналов, - становится все более выгодным бизнесом. И, как это всегда бывает, оно обросло разнообразными жуликами. Можно, например, объявить конференцию по Общей Теории Всего, пообещать строгий отбор и престижную публикацию в трудах, и под это дело собрать оргвзносы у наивных аспирантов из провинциальных университетов. Можно создать собственный open access journal (т.е. журнал, бесплатный для читателей, но вполне платный для авторов) под громким названием типа "International Journal of Veterinary, Dentistry and Neurology" и, опять-таки, собирать авторские взносы. Масса людей (впрочем, как мы увидим ниже, и некоторые вполне солидные издательства не гнушаются легким долларом) промышляют на этой ниве; см. известный черный список. Одна из характерных особенностей таких конференций и журналов — полное отсутствие рецензирования. В печать идет все присланное, лишь бы авторы платили. Что, разумеется, приводит к нулевой (а скорее, отрицательной) престижности публикаций в подобных изданиях.

Десять лет назад три аспиранта из MIT решили продемонстрировать, что на одну из подобных конференций берут все, что присылают. Они написали программу SCIgen для автоматического написания статей, основанную на генераторе случайных текстов. Программа выдавала наукообразные статьи с рисунками и литературой, которые были гарантированно бессмысленными. SCIgen выполнил свое предназначение: созданные им статьи организаторы конференции приняли.

Программа есть в открытом доступе, и многие люди использовали ее для проверки на вшивость журналов и конференций.

Это было предисловие. А теперь сами события.

Два года назад обнаружилось, что в ряде трудов конференций опубликованы статьи, явно написанные программой SCIgen. Среди издателей - солиднейшие Springer и IEEE, которые были вынуждены отозвать 122 статьи (!). Как видим, не только псевдожурналы страдают отсутствием нормального рецензирования.

Но возникает вопрос, зачем авторы посылали эти статьи для публикации? Это не попытка разоблачить сомнительные издания (если бы не случайность, статьи так и остались бы в сборниках), а для шутки дороговато.

Оказалось, произошло вот что. В некоторых странах есть конторы, хорошо известные россиянам: где за плату клиенту напишут диссертацию или опубликуют статьи в научных журналах за его подписью. Ну так вот, какие-то, скорее всего, китайские товарищи поняли, что дешевле не писать настоящие статьи, а генерировать их автоматически. Благо код SCIgen в открытом доступе, а клиент все равно не разберется.

Эти товарищи создавали статьи при помощи SCIgen и продавали их клиентам. Так сказать, жульничество второго уровня.

Что интересно, в ответ Springer разработал программу SciDetect: компьютерную систему для автоматического выявления текстов, созданных при помощи компьютера. Система заработала в этом году. Этому и посвящена статья выше.

Perpetuum mobile, как и было сказано.

Comments

( 52 comments — Leave a comment )
dima_stat
Mar. 30th, 2015 01:00 am (UTC)
pharmazevt
Mar. 30th, 2015 01:17 am (UTC)
Интересно, сколько человеческих статей программа SciDetect определила как компьютерный вздор.
profpr
Mar. 30th, 2015 01:42 am (UTC)
Здорово. Несколько разрозненных мыслей по поводу увлечения scigen.
1. Возможен вот такой механизм попадания scigen-статей в конференции с рецензированием. Положим, по качеству нормальное распределение не только у статей, но и у ревьюеров. Обычно ревьюер не возьмет непонятную статью - в результате непонятная статья достанется ревьюеру из хвоста распределения.
2. Ревьюирование - добровольный труд из чувства профессионального долга. Поэтому для scigen-пранкеров, тестирующих качество ревьюирования, я бы одобрил внесение в черный лист с пожизненным баном на публикацию в журнале.
3. Уровень развития CS в России иллюстрирует то, что когда scigen-статьи посылались в русскоязычные журналы - по-моему, Гельфандом - они переводились с английского, а не генерировались на русском.
pr_x
Mar. 30th, 2015 02:21 am (UTC)
В т.ч. бан Гельфанду?
(no subject) - m61 - Mar. 30th, 2015 04:08 am (UTC) - Expand
(no subject) - xgrbml - Mar. 30th, 2015 08:02 am (UTC) - Expand
(no subject) - scholar_vit - Mar. 30th, 2015 02:40 am (UTC) - Expand
(no subject) - profpr - Mar. 30th, 2015 03:53 am (UTC) - Expand
(no subject) - scholar_vit - Mar. 30th, 2015 04:40 am (UTC) - Expand
(no subject) - awind - Mar. 30th, 2015 04:54 am (UTC) - Expand
(no subject) - greenfinch3 - Mar. 30th, 2015 06:59 am (UTC) - Expand
(no subject) - xgrbml - Mar. 30th, 2015 08:03 am (UTC) - Expand
(no subject) - ilya_dogolazky - Mar. 30th, 2015 01:57 pm (UTC) - Expand
(no subject) - scholar_vit - Mar. 30th, 2015 03:40 pm (UTC) - Expand
(no subject) - a_konst - Mar. 30th, 2015 11:20 am (UTC) - Expand
dragon_ru
Mar. 30th, 2015 02:52 am (UTC)
/* Что интересно, в ответ Springer разработал программу SciDetect */

Я бы это расценивал как собственноручное признание "Нормального рецензирования у нас нет, и не планируется" с соответствующими выводами для репутации журнала.
scholar_vit
Mar. 30th, 2015 02:55 am (UTC)
Увы, Springer - это не журнал, а огромное издательство, одно из крупнейших. Full disclosure: я тоже публиковался в этом издательстве. Как, впрочем, и все, наверное.
(no subject) - dragon_ru - Mar. 30th, 2015 03:02 am (UTC) - Expand
(no subject) - praeinant - Mar. 31st, 2015 09:20 am (UTC) - Expand
selfmade
Mar. 30th, 2015 03:19 am (UTC)
Когда-нибудь очередная SCIgen сгенерирует научный аналог "Войны и Мира", какую-нибудь действительно Теорию Всего.
prostak_1982
Mar. 30th, 2015 03:22 am (UTC)
Вот дела, на две секунды я со своим комментарием опоздал. )))
(no subject) - selfmade - Mar. 30th, 2015 03:33 am (UTC) - Expand
prostak_1982
Mar. 30th, 2015 03:21 am (UTC)
Тут интересен другой момент. Написание статей за деньги никто не отменял. Деньги там крутятся, как я понимаю, немаленькие. Можно ожидать, что возьмут исходный код SciGen, перепишут его таким образом, чтобы обходить SciDetect. Чтобы это сделать, нужно написать более осмысленную статью. Издательства, опасаясь за свою репутацию, создают новый Детектор. Кто-то пишет новый Генератор.
Проходит несколько циклов и на выходе мы получаем ИИ, способный самостоятельно анализировать результаты каких-либо исследований и синтезировать на их основе новые ОСМЫСЛЕННЫЕ концепции. Профит.
ymi_an_island
Mar. 30th, 2015 03:29 am (UTC)
нечто подобное было где-то у Лема.
(no subject) - seadevil001 - Mar. 30th, 2015 02:20 pm (UTC) - Expand
(no subject) - gegmopo4 - Mar. 30th, 2015 02:43 pm (UTC) - Expand
(no subject) - prostak_1982 - Mar. 30th, 2015 03:02 pm (UTC) - Expand
(no subject) - gegmopo4 - Mar. 30th, 2015 09:01 pm (UTC) - Expand
(no subject) - prostak_1982 - Mar. 31st, 2015 03:19 am (UTC) - Expand
(no subject) - affidavid - Mar. 30th, 2015 07:19 pm (UTC) - Expand
ymi_an_island
Mar. 30th, 2015 03:24 am (UTC)
>солиднейшие Springer и IEEE,

Springer солиднейший, а IEEE имеет так себе репутацию. Не гнушается, хотя и легитимный
ymi_an_island
Mar. 30th, 2015 03:38 am (UTC)
меня вот что поражает. в известном черном списке сотни названий, а он вряд ли полный. Поддерживать эти журналы, при всем незамысловатости бизнеса, все же стоит каких-то минимальных денег: надо переписываться с потенциальными авторами, рассылать спам, поддерживать хоть сколько-либо легитивно выглядящий сайт, генерировать pdf'ы, хранить их на сервере. Копейки, но все же. Как они находят столько лохов? Никаких провинциальных университетов в странах первого мира, где бы существовали столь наивные аспиранты, не существует. А в странах третьего наверное хватает, но они там бедные. Откуда берутся деньги?
scholar_vit
Mar. 30th, 2015 04:33 am (UTC)
Я ткнул наугад в несколько ссылок и посмотрел, откуда авторы статей. Флорида, Малайзия, Сербия...

Edited at 2015-03-30 04:34 am (UTC)
(no subject) - ymi_an_island - Mar. 30th, 2015 11:24 am (UTC) - Expand
robert_myname
Mar. 30th, 2015 05:15 am (UTC)
Я не помню, об этом вы писали когда-то?
http://en.wikipedia.org/wiki/Sokal_affair
scholar_vit
Mar. 30th, 2015 03:32 pm (UTC)
По-моему, не писал
ermenegilda
Mar. 30th, 2015 05:40 am (UTC)
И кого обмануть хотят? Себя, людей или Бога? Если б у меня были бы свободные деньги на фальшивую диссертацию, я бы и без фальшивой диссертации отлично бы прожила.
kondybas
Mar. 30th, 2015 07:31 am (UTC)
Есть контингент, покупающий копеечные копии дорогих часов/сумок/телефонов.
(no subject) - misha_b - Mar. 30th, 2015 04:19 pm (UTC) - Expand
(no subject) - melkiythegreat - Mar. 30th, 2015 10:29 am (UTC) - Expand
xgrbml
Mar. 30th, 2015 08:05 am (UTC)
в ответ Springer разработал программу SciDetect: компьютерную систему для автоматического выявления текстов, созданных при помощи компьютера

Т.е. они расписались в том, что не могут наладить нормальное рецензирование. Печально.
dmpogo
Mar. 30th, 2015 10:54 am (UTC)
В моей области, если речь идет о материалов конференции, рецензирование полностью в руках редакторов, которые и есть - организаторы конференции. Издательство к этому мало отношения имеет (в том числе Springer, которые часто publisher of choice).
(no subject) - gegmopo4 - Mar. 30th, 2015 02:43 pm (UTC) - Expand
(no subject) - xgrbml - Mar. 30th, 2015 03:04 pm (UTC) - Expand
(no subject) - affidavid - Mar. 30th, 2015 07:21 pm (UTC) - Expand
(no subject) - xgrbml - Mar. 30th, 2015 08:16 pm (UTC) - Expand
(no subject) - affidavid - Mar. 30th, 2015 08:44 pm (UTC) - Expand
(no subject) - xgrbml - Mar. 31st, 2015 03:47 am (UTC) - Expand
(no subject) - gegmopo4 - Mar. 30th, 2015 09:04 pm (UTC) - Expand
p_govorun
Mar. 31st, 2015 09:02 am (UTC)
в ответ Springer разработал программу SciDetect

Понял, что мне это напоминает. Из какого-то технического юмора:

Заявка: Имеются признаки течи масла в двигателе.
Ответ: Признаки течи масла устранены.
potan
Mar. 31st, 2015 01:57 pm (UTC)
В этой гонке рождается Искусственный Интеллект!
gineer
Mar. 31st, 2015 03:40 pm (UTC)
mobile in mobilis
( 52 comments — Leave a comment )

Profile

knot
scholar_vit
scholar_vit

Latest Month

December 2017
S M T W T F S
     12
3456789
10111213141516
17181920212223
24252627282930
31      

Tags

Powered by LiveJournal.com
Designed by Paulina Bozek