Тестируем вопросы

Одна из аксиом вопросника – автор вопроса никогда не может адекватно оценить и протестировать собственный пакет. Кстати, скромный автор этих строк

не исключение – у меня есть привычка писать непомерно длинные вопросы и к тому же переоценивать их сложность. Более того, даже лучшие известные мне вопросники имеют своих тараканов в голове. Поэтому для того, чтобы подготовить по-настоящему хороший пакет крайне желательно провести тестирование вопросов в режиме реального времени: задать вопросы командам, которые отыграют их по правилам того турнира, для которого пишутся вопросы,и затем сообщат Вам как результаты игры, так и своё субъективное мнение по поводу этих вопросов. На основании этой информации Вы сделаете вывод, ставить ли вопросы на турнир as is, изменить некоторые из них или же вообще отправить их в корзину для бумаг и написать новые.

Как проводится тестирование? Опишу вариант, который лично мне представляется близким к идеальному.

Перво-наперво, если вопросник готовил свой пакет в одиночку, не показывая вопросы членам своей команды, он должен на очередной тренировке предложить команде отыграть свой пакет. При этом желательно отслеживать следующие вещи:

• Какой ответ дала команда?
• Если команда взяла вопрос – то как быстро: ещё в процессе зачитывания, за несколько секунд, на первой половине минуты, на второй половине минуты?
• Если не взяла – то насколько близка была к ответу, звучала ли во время обсуждения правильная версия, какой ответ в итоге дала команда?
• Не возникало ли у игроков дуальных, с их точки зрения, ответов?
• Поняли ли игроки, какого ответа и в какой форме ожидает автор?

• Не жаловались ли игроки на невозможность выбора из нескольких равноценных версий?
• Не спрашивали ли игроки после оглашения ответа: Ну кто ж такое может знать?
• Не просили ли игроки после оглашения ответа объяснить, как ответ связан с вопросом, или же пояснить отдельные упомянутые в вопросе факты?
• Не упоминали ли игроки, что такой же или похожий вопрос они уже играли ранее?
• Не пытались ли игроки оспорить упомянутые в вопросе факты?
• Не было ли у игроков претензий к формулировке?

Вполне возможно, что уже на этом этапе Вам захочется или товарищи по команде порекомендуют Вам внести какие-то изменения в Ваши вопросы. Но допустим, что этого не произошло, или же изменения были сделаны на уровне заменить ‘тут’ на ‘здесь’. В таком случае, Вам следует продолжить тестирование – и обратиться к сторонним тестерам – командам, которые отыграют эти вопросы для Вас и дадут свои комментарии. По какому принципу отбираются тестеры? Это должны быть команды

• числом не меньше трёх
• по возможности – известные Вам как обязательные люди
• не участвующие в турнире, для которого готовится пакет
• примерно той же силы, что и команды, которые будут участвовать в турнире
• согласившиеся отыграть Ваши вопросы в режиме реальной игры, т.е. по правилам турнира, для которого Вы пишете – собравшись за столом, засекая минуту, записывая ответ на бумажке и т.п.

Последний пункт особенно важен. В последнее время многие вопросники взяли моду отсылать свои пакеты на тестирование не командам, а другим вопросникам, чтобы те не отыграли даже эти вопросы, а лишь прочитали их и сказали, что они думают. У такого подхода есть свои сторонники и свои противники, причём я принадлежу к последним. По моему мнению, практика тестирования вопросов вопросниками же столь же порочна и нелепа, как была бы нелепа оценка сапог другим сапожником, а не человеком, который будет их носить, или оценка блюда другими поварами, а не едоками. Конечно, мнение коллег-профессионалов немаловажно и их мнением стоит поинтересоваться – но всё же Вы пишете вопрос для тех, кто будет его играть вживую, а значит, именно их мнение должно интересовать Вас в первую очередь.

Поэтому повторю ещё раз: отдавайте свои вопросы на тестирование командам, которые смогут отыграть их в реальном времени.

Возможно, у Вас возникнет вопрос: Где же взять такие команды? Ответ прост до безобразия: если Вы не знакомы лично или заочно с людьми из таких команд – поищите их в Интернете. Есть куча интернет-ресурсов, посвящённых ЧГК – в первую очередь, конечно же, http://www.chgk.info, где можно найти ссылки на большинство других сайтов. Вы можете обратиться напрямую к той или иной команде с просьбой отыграть Ваш пакет на тренировке или же можете бросить клич на каком-нибудь форуме, где собираются игроки в Что? Где? Когда? Я буду очень удивлён, если на Ваше обращение не откликнется хотя бы несколько команд.

После того, как Вы договоритесь с тестерами, Вы направляете им свой пакет вопросов и просите:

• Отыграть вопросы
• Прокомментировать их, ответив, по возможности, на все вопросы из приведённого выше списка
• Дать комментарий по вопросам в вольной форме – что понравилось, что не понравилось и т.п.
• Если есть желание, предложить способы улучшения вопросов.

Получив ответы от тестеров (а это может занять от нескольких дней до нескольких недель, так что начинать тестирование надо заблаговременно), Вам следует проанализировать полученную информацию.

Вопроснику крайне важно понимать одну вещь: если он пишет вопросы для игры, а не для самолюбования, мнение тестеров, отыгравших пакет в реальном времени, для него должно быть не менее веским, чем собственное мнение. Если автору кажется, что вопрос хорош, но команды, отыгравшие его за столом, говорят: Дрянь вопрос! – скорее всего, правы именно тестеры, и если вопросник не прислушается к ним, ту же оценку его усилиям с высокой вероятностью дадут и участники турнира. Если вопросник считает, что вопрос лёгкий (сложный), а тестеры, наоборот, оценивают его как сложный(лёгкий), если автор считает, что вопрос изящный, а тестеры сочли его невнятным и запутанным, если автор уверен, что вопрос на 100% корректный, а тестеры указывают на дырку в вопросе, ссылаясь на источники – опять же, весьма вероятно, что правы именно тестеры.

Многим вопросникам тяжело принять чужую точку зрения (и я тут не исключение). Но если Вы действительно делаете пакет для того, чтобы участникам турнира было приятно и интересно его играть – прислушивайтесь к мнению тестеров. Не обязательно слепо следовать ему всегда и во всём, но прислушивайтесь к нему, и относитесь к нему со всей серьёзностью – и особенно в случаях, когда мнение большинства или хотя бы нескольких тестеров совпало.

Однако куда важнее субъективного мнения игроков – объективные результаты: количество правильных и неправильных ответов на вопрос, то, как быстро команды взяли его и т.п. На что стоит обращать внимание?

• Если вопрос взяли все команды – скорее всего, он слишком лёгкий и Вам следует либо отказаться от этого вопроса, либо вернуться на этап дополнения фактуры и усложнить вопрос. Если вопрос взяли все команды, кроме одной – стоит как минимум взвесить усложнение вопроса. Дополнительной индикацией излишней лёгкости вопроса может служить взятие вопроса на палец (то есть на первых секундах игры или даже в процессе зачитывания).
• Если вопрос не взяла ни одна команда – вероятно, он слишком тяжёлый и Вам следует либо отказаться от вопроса, либо вернуться на этап дополнения фактуры, чтобы упростить вопрос. Если вопрос взяла лишь одна команда – стоит проверить, взяли ли они его думалкой или же просто знали ответ. Дополнительной индикацией излишней сложности вопроса могут служить жалобы на невозможность связать вопрос с ответом, просьбы объяснить, как вообще можно взять вопрос или жалобы на его гробовитость или неберучесть.
• С другой стороны, если ни одна команда не взяла вопрос, но у всех или почти у всех была на столе (т.е. звучала во время минуты обсуждения) правильная версия, то фактуру менять не надо, но стоит добавить намёк или отсечку, чтобы правильная версия щёлкала, т.е. команда понимала бы, что вышла на правильный ответ.
• Если несколько команд дали одинаковые неправильные ответы, а Вы не задумывали такого ложного хода, подумайте, всё ли в порядке с фактурой и логической цепочкой? В такой ситуации Вам стоит вернуться к этапу проверки фактуры – не исключено, что речь идёт о дуали или логической дуали. Дополнительная индикация – жалобы тестеров на невозможность обоснованного выбора из двух версий или ссылки на то, что их ответ является дуальным.
• Если игроки пытались оспорить упомянутые в вопросе факты, попросите их дать ссылку на источники, и проверьте по этим источникам свою фактуру. Возможно, команда вообще не сможет найти источников, подтверждающих её версию, или же источник окажется недостоверным. Но может статься и так, что недостоверными окажутся именно Ваши источники, или же что существует расхождение между двумя в равной степени авторитетными источниками. В таком случае Вам придётся либо отказаться от вопроса, либо внести в вопрос изменения наподобие Х, а по другим источникам Y.
• Разумеется, если тестеры нашли дуальный ответ и обосновали это, необходимо вернуться на этап дополнения фактуры и ввести отсечку.
• Если вопрос был взят частью команд, но при этом игроки хотя бы одной команды, не взявшей вопрос, высказались в том духе, что даже после оглашения ответа они не совсем поняли, почему ответ именно таков – в вопросе не хватает комментария либо комментарий недостаточно развёрнутый.
• Если хотя бы одна, а тем более – несколько команд заявляют, что уже играли подобный вопрос, следует тщательно проверить базу вопросов ЧГК на наличие вопросов, подобных Вашему. Поиск следует провести по всем ключевым словам вопроса, а если он не даст результата, то ещё и по их синонимам.
• Если одна или несколько команд жаловались на запутанную или невнятную формулировку вопроса либо ответа – попросите их указать, что именно в вопросе их смутило, предложите дать свои варианты и обдумайте, как можно изменить вопрос, чтобы он легче воспринимался на слух и не оставлял места для двойственного толкования там, где Вы этого не задумывали специально.

Отправим на тестирование наши вопросы. Давайте запишем наш пакет в окончательном виде:

Согласно принципам, изложенным в этой лекции, выберем несколько (не менее трёх) реальных команд и попросим их протестировать наши вопросы, отыграв их в реальном времени.

Выступить в качестве тестеров согласились израильские команды Варан, Вопросительный знак, Кипарис, Формула пороха и сводная команда из игроков разных команд, российские команды ВормZы, Eagles, Зингая, Импульс, Инжэкон, Медвежуть, Мираж, С ГАКом, Тёмная половина, Химера и Эрудариум, а также украинские команды Борисфен, Брысь, Игры разума, Киевская Русь, Террористы и Хахамим. Пользуясь случаем, я хочу выразить свою признательность членам этих команд, а также персонально Надежде Болотиной, Дани Блюмштейну, Андрею Бурчанову, Анатолию Вовку, Дмитрию Гевелю, Глебу Гусеву,Лидии Йоффе, Александру Косенкову, Дмитрию Мансурову, Жене Неймеру, Сергею Перехресту, Валерию Семенцу, Дмитрию Фадеенко, Вадиму Чистякову и Алле Якубович за помощь в тестировании вопросов.

В принципе, необходимости в таком количестве тестеров не было, вполне достаточно было бы четырёх или пяти команд. Но все эти команды откликнулись на моё публичное обращение и я предпочёл протестировать вопросы на широкой аудитории. Мне интересно было, как отреагируют на них разные команды. Однако если бы я готовился к реальному турниру, я бы отобрал из откликнувшихся команд 4-5 таких, чей возраст, опыт и класс игры наиболее близки к соответствующим параметрам команд-участниц будущего турнира.

Из-за моей ошибки израильские команды получили текст вопросов без комментариев.

Из соображений экономии места я не буду приводить комментарии команд полностью, но резюмирую их:

Многие команды указали, что тот или иной вопрос они играли ранее. В данном случае это меня не беспокоит, так как это было предсказуемо – все вопросы пакета основаны на фактах, взятых мною из старых игр ЧГК. Однако если бы я готовил пакет для реальной игры, я бы тщательно проверил как по базе, так и с помощью Яндекса все вопросы, о которых было сказано, что они свеченные.

Команды, получившие тексты вопросов без комментариев, в ряде случаев затруднялись понять, почему ответ на не взятый ими вопрос именно таков. Это лишний раз доказывает необходимость комментариев, и если бы у нас не было комментариев к вопросам, их непременно следовало бы написать.

Вопрос №1: Россия – родина слонов

На вопрос про слоновую кость ответили почти все команды, причём большинство – на первой половине минуты. Несколько раз выстрелил ложный ход и был дан ответ Алмазы. В целом вопрос оказался довольно лёгким и если бы я планировал выставить его на реальный турнир, я бы усложнил вопрос путём усечения фактуры – конкретно для этого вопроса мы даже обсуждали такую возможность во время работы над вопросом.

Вопрос №2: Паровой компьютер

На вопрос о паровом компьютере ответили почти все команды (все, кроме одной или двух). Более того, почти все они взяли его на палец, т.е. в первые же секунды. Таким образом мы вынуждены признать этот вопрос детским и либо снять его, либо переделать. Поскольку никакой особой красоты или особо интересного факта в этом вопросе нет, имеет смысл его снять – как гласит известная шутка, чем такой больной лечить, проще новый сделать. Вопрос про Бэббиджа уходит из пакета. Возможно, он будет пожертвован детской лиге.

Вопрос №3: Свидетели Иеговы

Вопрос об оружии и Дон Кихоте взяли всего две команды. Примечательно, что практически все команды в процессе обсуждения поняли, что Алонсо Кихано – это Дон Кихот, очень многие команды также сообразили, что свидетели отказывались пользоваться именно оружием… но всё равно дали ответ ветряные мельницы. Ложный ход оказался слишком сильным – у большинства знатоков Дон Кихот, увы, ассоциируется только с мельницей. Многие команды прислали комментарий в стиле Ну кто же может помнить этот малозначительный эпизод из книги?! Честно говоря, вопрос рассчитывался не на вспоминание факта,а на построение логической цепочки. После первых двух шагов вопрос фактически сводится к следующему: Против какого оружия мог выступать странствующий рыцарь, живший уже после заката рыцарства? Команды, пошедшие по тупиковому пути вспоминания эпизода из книги, так и не смогли продвинуться дальше ветряных мельниц – а вот команды, попытавшиеся вникнуть в вопрос, сумели дать правильный ответ. Поэтому можно уверенно сказать, что вопрос, несомненно, сложный – но не гробовой. В зависимости от того, нужны ли нам в пакете сложные вопросы, или их и так избыток, мы можем либо оставить вопрос как есть, либо ввести дополнительный намёк/отсечку, указав открытым текстом, что ответ надо не вспоминать, а обдумывать. Например, вот так:

Одна или две команды также написали мне, что в вопросе есть фактическая ошибка – настоящая фамилия Дон Кихота не Кихано, а Кихада. Что же, проверим. Поиск на Яндексе находит более двух тысяч ссылок на Алонсо Кихано и всего полторы сотни – на Алонсо Кихада. В принципе, пятнадцатикратного преимущества вполне достаточно, чтобы счесть информацию достоверной, но на всякий случай проверим по тексту книги. Первая глава всё объясняет: Иные утверждают, что он носил фамилию Кихада, иные – Кесада. В сем случае авторы, писавшие о нём, расходятся; однако ж у нас есть все основания полагать, что фамилия его была Кихано. Что же, если у автора книги есть все основания полагать, что фамилия героя была именно такой – думаю, на его мнение вполне можно положиться. Так что никакой некорректности в нашем вопросе нет.

Вопрос №4: Рейтинг ослов

На вопрос о Вольтере и Фридрихе дали правильные ответы чуть меньше половины команд. В большинстве случаев те, кто ответил неправильно, после зачитывания ответа били себя по лбу с криком Ну конечно!. Отличный вопрос. Ставим в пакет без изменений.

Вопрос №5: Реактивная черепаха

Вопрос о черепахе оказался сравнительно лёгким, его взяли добрые три четверти команд, причём многие – на первой половине минуты.

Многие команды во время обсуждения не сообразили, какую Марину автор имел в виду, но разумно решили: Мало ли в России Марин? По меньшей мере одну знаменитую мы знаем! Некоторые, правда, даже после оглашения ответа спрашивали – дескать, а какую-такую россиянку Марину автор вопроса считает знаменитой? Таких Марин немало, и для взятия вопроса подходит любая из них. Причём если писательница Алексеева (публикующаяся под псевдонимом Александра Маринина) или актриса Неёлова известны не всем, то уж по меньшей мере Марину Цветаеву игроку в Что? Где? Когда? не знать стыдно. Так что с Маринами всё в порядке.

Но есть другая проблема – несколько команд независимо друг от друга пожаловались на формулировку вопроса. Первая претензия касалась главной особенности – дескать, что значит если главную особенность записать? Нельзя так говорить, некрасиво! Впрочем, этот пункт мы ещё на этапе литературного редактирования проверили, обратившись в справочную службу портала Грамота.Ру, так что можем уверенно возразить: Может быть, слог у нас похуже, чем у Пушкина, но некорректности здесь нет.А вот вторая претензия, к сожалению, вполне справедлива. Несколько команд спросили, что значит Какая это черепаха? И недоумевали, что, собственно, требуется ответить – её вид, размер, что-то ещё? Одна из команд ответила зелёная (биологический вид так называется – зелёная черепаха) и утверждала, что это дуаль. По зрелому размышлению мне пришлось с этим согласиться. Более того, я готов допустить, что на реальном турнире с независимым от автора АЖ (апелляционным жюри) апеллянтам удалось бы отспорить и такие версии, как водяная, с хвостом, большая и т.п. Как Вы помните, формулировка этого вопроса вызывала некоторые сомнения и у нас – так что теперь можно с уверенностью сказать, что вопрос необходимо переформулировать уже хотя бы для того, чтобы исключить дуальные ответы. Например, вот так:

В таком виде вопрос, хоть и не станет блестящим, будет, по меньшей мере, на 100% корректным.

Вопрос №6: Японский бог

Наконец, вопрос о японском боге оказался очень сложным, его взяли всего три команды, причём одна просто знала, кто такой Кирисито. Скажу больше, на реальной игре, где был задан этот вопрос, его тоже взяла всего одна команда из пятнадцати или шестнадцати. Так что вопрос сложный, но берущийся. Разумеется, всё зависит от силы команд. Для средних команд этот вопрос, наряду с вопросом про Дон Кихота, может определить разницу между первым и вторым местом (разумеется, речь идёт об игровом пакете не из пяти, а из пятнадцати-двадцати вопросов). Так что, если мы ориентируемся на средние или сильные команды, ставим вопрос в пакет без изменений. Если же ориентироваться на команды послабее, можно ввести в вопрос намёк:

Таким образом мы остаёмся с пятью вопросами из шести, причём три-четыре из этих пяти пришлось переделать.

Если бы мы готовили пакет для реального турнира, переписанные вопросы стоило бы вновь послать на тестирование (разумеется, уже другим командам), чтобы убедиться, что пакет стал лучше, а не хуже. Но поскольку наша цель – пройти все основные этапы подготовки вопросов ЧГК, одного тестирования вполне достаточно, чтобы Вы увидели, как это бывает.

Итак, поздравляю Вас с завершением работы! Пакет готов. Однако, как известно, вопросы пишутся не для того, чтобы были, а для того, чтобы провести турнир. Поэтому мы посвятим ещё одно занятие тому, как вести игру, зачитывать вопросы, разбирать ответы и реагировать на апелляции.

Тестируем Moschat, ответы на вопросы

Похожие статьи:

• Вычитываем вопросы
• Восприятие тенденциозного вопроса
• Логические ошибки вопроса