Термин «пробное исследование» в литературе употребляется как: 1) синоним поискового (разведывательного) исследования; 2) синоним пилотажного исследования; 3) собирательное понятие, включающее как свои разновидности (подвиды) поисковое (разведывательное) и пилотажное исследования. Будем считать, что поисковое (разведывательное) и пилотажное - два основных подвида пробного исследования.

Поисковое (разведывательное) исследование проводится с целью уточнения проблемы, более корректной постановки задач и выдвижения обоснованных гипотез. Таким образом, по своей сути оно есть концептуальное исследование. Проведение его особенно желательно в том случае, если литература по интересующей вас тематике отсутствует или ее недостаточно.

Разведывательное исследование - наиболее простой вид социологического анализа: круг задач ограничен, число опрошенных невелико, программа и инструментарий крайне упрощенные; данные нерепрезентативные. Ученый получает лишь прикидочные сведения об объекте исследования для общей ориентации в проблеме. Оно используется для мало изученных или вообще не изученных проблем. Его лозунг - приблизительно, дешево и быстро.

Поисковое исследование может проводиться следующими методами: интервью (лучше неформализованное) с потенциальными респондентами; наблюдение; фокус-группа по центральной проблеме исследования; опрос экспертов - специалистов или просто людей, имеющих отношение к интересующей вас проблемной области; изучение документов, статистических данных, содержащих необходимые сведения по выдвинутым задачам и гипотезам.

Вариантом разведывательного исследования выступают экспресс-опросы. Их еще называют оперативными опросами. Ими пользуются многочисленные опросные фирмы - от ВЦИОМ до РОМИР. Правда, опросы они проводят, как правило, очень грамотные, но глубоких научных задач развития фундаментальной науки не ставят. Решаются сиюминутные, но очень нужные обществу, ведомству или частному заказчику утилитарные задачи: как народ относится к президенту, запрещению абортов, войне в Чечне, приезду Буша, террористическим актам 11 сентября 2001 г. Таким образом получают свежую, недолговечную (срок ее жизни исчисляется днями, неделями, реже месяцами), но очень нужную в данный момент информацию.

Если за дело берется не солидная опросная фирма, имеющая лицензию на проведение опросов, а группа любителей (отдел кадров, хозяин веб-сайта, кружок друзей словесности, журнал и т.д.), то оперативный опрос дает хотя и свежую, даже нужную информацию, но совершенно нерепрезентативную, не очень надежную или совершенно ненадежную. Она может быть достоверной, но только на первый взгляд. Стоит подойти к инструменту по всем научным меркам, как проявятся многочисленные изъяны. Но там, где не требуется великой строгости, где нужно лишь как-то сориентироваться в проблеме (разведать объект), оперативный опрос вполне годится.

Разведывательное исследование часто называют также пилотажным исследованием. Хотя правильнее считать его самостоятельным видом социологического исследования. Разведывательное и пилотажное исследования похожи в двух аспектах:
♦ Цель - получить примерные данные о том или ином явлении либо апробировать применение методики к более широкомасштабным исследованиям.
♦ Объект - для проведения того и другого исследования нужна незначительная совокупность объектов, поэтому они проводятся в ограниченные сроки.

Но в отличие от разведывательного, пилотажное исследование предназначено для отработки технических процедур и приемов, чаще всего - для апробации вопросника. Предварительная проверка опросного инструментария столь же важна для успеха исследования, считают Дж. Мангейм и Р. Рич, как пробная поездка - для успешной покупки подержанного автомобиля. Она помогает обнаружить проблемы, которые в полной мере могут проявиться только в полевых условиях.

При проведении пилотажного исследования необходимо учитывать правила:
♦ Объем выборки в пилотажном исследовании не имеет четкого методического обоснования. Обычно полагают достаточным опросить около 30 респондентов. Важно только, чтобы они представляли все существенные категории планируемого объекта исследования.
♦ Малая выборка в пилотаже вовсе не обязательно должна быть репрезентативной по отношению к генеральной совокупности. Куда важнее другое ее качество - разнообразие: она должна включать те группы респондентов, которые способны реагировать на инструментарий по-разному. Если малообразованные люди составят в будущей выборке незначительную долю, их необходимо опрашивать в первую очередь именно потому, что они могут отвечать на ваши умные вопросы совсем не так, как ожидается.
♦ В пилотажную выборку включают тех респондентов, которые представляют наиболее важные для темы опроса социально-демографичекие признаки (пол, возраст, образование, стаж работы, содержание труда и т.п.).

В социальной психологии пилотажное исследование (рабочий термин «зондаж») применяется для установления необходимого объема выборки, уточнения содержания и числа вопросов анкеты, времени опроса и др. В зарубежной и отечественной практике применения тестов (тестологии) пилотажа (рабочий термин - «претест») служит средством выявления некоторых стандартов основного теста.

В социологии пилотаж проводится до основного исследования и выступает способом проверки обоснованности гипотез и задач, а также профессионального уровня и методической отработанности инструментария. Пилотаж помогает оценить правильность модели выборки и внести в нее в случае необходимости соответствующие исправления; уточнить некоторые характеристики объекта и предмета исследования, обосновать финансовые расходы и сроки проведения главного исследования. Пилотаж полезен также для тренировки группы интервьюеров (анкетеров).

Современные социологи придерживаются правила: прежде чем отдавать анкету в большой тираж, ее целесообразно опробовать в малотиражном (пилотажном) опросе, чтобы уточнить, правильно ли понимают вопросы респонденты, не слишком ли она длинна и утомительна, сколько времени занимает ее заполнение (или интервью), а в случае почтовой рассылки - сколько дней проходит с момента отправления анкеты до получения ответов.

Пилотажное исследование представляет собой исследование по «укороченному» плану - в нем используются малые выборки, не в полной степени проводится сбор информации, полученная информация анализируется только по наиболее значимым критериям. Если пилотажное исследование проводится в цикле исследования хорошо изученной проблемы, оно позволяет «отточить» инструментарий исследования, выявить и устранить его дефекты и дефекты подходов к математическому анализу. Проведение пилотажного исследования в этом случае позволяет избежать сбора информации по «пустым» вопросам, ответы респондентов на которые не подлежат анализу, или неадекватно (неоднозначно) интерпретируются самими респондентами. Для поискового исследования (исследования в сфере недостаточно разработанной) пилотажное исследование предоставляет информацию для уточнения многих пунктов программы, что в дальнейшем обеспечивает немалую экономию ресурсов.

Пилотаж полезен для: а) тестирования инструментария, в котором исследователь вполне уверен, б) усовершенствования инструментария в ситуации, когда предмет исследования хуже известен исследователю. В первом случае инструментарий проходит предварительное испытание в своем окончательном варианте. Во втором исследователь может захотеть поэкспериментировать с разными вариантами (макетами) инструмента, чтобы узнать, какой из них удобнее в работе, Предварительное тестирование такого типа может включать в себя:
1. Тестирование различных словесных формулировок и форм вопросов.
2. Опробование анкеты, предназначающейся для самостоятельного заполнения респондентом, в личном интервью, чтобы в процессе живого общения с респондентом выявились возможные трудности ее заполнения.
3. Употребление открытых вопросов для выявления типичных ответов, которые затем можно будет включить в набор ответов на закрытые вопросы, с тем чтобы использовать последние в окончательном варианте.
4. Тестирование различных видов инструментария (почтовых анкет, очных интервью, телефонных интервью) с целью определения годности каждого из них.

Пилотаж можно считать генеральной репетицией к главному исследованию. Он позволяет сделать первые выводы о том, насколько успешно прошел этап подготовки к нему, какими могут быть ожидаемые результаты. В ходе такого опроса собирается методическая информация, т.е. информация о качестве разработанного инструментария. Проверяются все организационные и методические условия будущего исследования, и прежде всего: доступность необходимых документов, отношение респондентов к опросу и их реакция на вопросы анкеты. Оценивая качества методики опроса, социолог регистрирует любые затруднения респондента, вызванные техникой заполнения, непониманием смысла вопросов, отдельных слов. Учитываются также все замечания и наблюдения анкетеров о методических недостатках, которые им удалось обнаружить.

Пилотаж проводится в двух вариантах. В первом - всю группу респондентов приглашают в отдельную комнату, где на столах разложены анкеты. Респондентов «вводят» в ситуацию пилотажа, т.е. объясняют его цели и задачи, инструктируют по технике заполнения анкеты и просят высказать после заполнения критические замечания, поговорить о неясностях и о тех вопросах, которые затрудняют работу с анкетой. Заполненные анкеты опускаются в опечатанные урны, после чего начинается групповое обсуждение содержания опроса в целом. Показателями, позволяющими оценить пригодность анкетного вопроса, выступают число неответивших на вопрос и характер распределения ответов по шкале, используемой в вопросе.

Второй вариант пилотажного опроса предполагает приглашение группы из 3-4 респондентов для обсуждения анкеты по мере ее заполнения: опрашиваемые делают пометки о качестве вопросов. Перед началом пилотажа их вводят в ситуацию экспертного опроса, объясняя, что содержание ответов не анализируется, так как опрос преследует только методические цели. Им задается примерно тот же круг методических вопросов, что и в предыдущем случае. Замечено, что подобная процедура повышает заинтересованность респондентов и уровень критического восприятия анкетного вопроса.

В Аналитическом центре «Бизнес и маркетинг» обязательный пилотаж сформированной анкеты проводится в ходе пробных интервью с несколькими респондентами, принадлежащими к целевой группе (обычно 3-5 респондентов, при сложных исследованиях - 10-15). Это позволяет определить степень понимания вопросов, обнаружить другие особенности их восприятия. По результатам пилотажа, если необходимо, в анкету вносятся коррективы. Особенности проведения пробного опроса подробно обсуждаются также на «круглых столах» с интервьюерами, участвующими в проекте. При этом коллективно имитируется процесс проведения интервью в лабораторных условиях.

Пилотажные материалы хранятся в особых папках опросной фирмы. Они включают в себя первоначальный вариант вопросника, протоколы, фиксирующие замечания респондентов и социологов, а также доработанный вариант анкеты. Со временем накапливается своеобразный «банк» методических решений, появляется опыт и навыки анализа типичных методических ошибок, доработки инструментария.

Пилотажное исследование составляется на основе логического осмысления всей проблемы будущего исследования, приблизительного расположения вопросов с точки зрения их очевидной целесообразности. В ходе пилотажа проверяются все процедуры, весь инструментарий исследования, выбраковываются неудачные вопросы, вносятся коррективы на отдельных этапах исследования.

К его проведению надо относиться как к приобретению страховки: вы, конечно, можете обойтись и без нее, если повезет. А если нет?

Тема 4. Основные термины, используемые в доказательной медицине.

С внедрением в практику здравоохранения принципов доказательной медицины возросла роль клинических исследований лекарственных средств, так как только на основании хорошо спланированных, контролируемых клинических исследований могут приниматься эффективные клинические решения.

В настоящее время предпочтение отдается такой схеме клинических исследований лекарственных средств, при которой обеспечивается получение наиболее достоверных данных. Например, проведение проспективных контролируемых сравнительных рандомизированных и, желательно, двойных слепых исследований.

Так, какими же могут быть клинические исследования?

Исследование случай-контроль (Case control study) – обычно, ретроспективное исследование, в котором сравнивают людей с определенным заболеванием или исходами («случай») с людьми из этой же популяции, не страдающими данным заболеванием, или у которых не наблюдался данный исход («контроль»), с целью выявления связи между исходом и предшествующему воздействию определенных риск-факторов.

Когортное исследование (Cohort study) – это исследование, в котором выделенную по определенным признакам группу людей (когорту) наблюдают в течение некоторого времени. Сравниваются исходы или результаты у испытуемых в разных подгруппах данной когорты, тех, кто подвергался или не подвергался (или подвергался в разной степени) лечению исследуемым препаратом.

В проспективном, когортном исследовании (Prospective cohort study) когорты составляют в настоящем и наблюдают их в будущем.

В ретроспективном (или историческом) когортном исследовании (Retrospective cohort study) когорту подбирают по архивным записям и прослеживают их исходы с того момента по настоящее время.

Контролируемое исследование (Controlled study) – всякое исследование, в котором контролируются (и по возможности минимизируются или исключаются) потенциальные источники систематических ошибок.

Лонгитудинальное исследование (Longitudinal study) – продолжительное клиническое исследование, при котором ведется длительное периодическое наблюдение над одними и теми же лицами.

Международное исследование (International study) – исследование, которое проводится в нескольких странах.

Многоцентровое исследование (Multicentral study) – исследование, проводящееся в соответствии с единым протоколом в нескольких исследовательских центрах.

Несравнительное исследование (Non-comparative study) – исследование, в котором препарат сравнения не используется (см. сравнительное исследование).

Обсервационное исследование (Observational study) – исследование при котором исследователь наблюдает за каким-либо показателем или взаимосвязями нескольких показателей, не вмешиваясь в ситуацию.

Одномоментное исследование (One stage study) – вариант описательного исследования, в котором рассматривается влияние факторов риска на популяцию и/или распространенность в ней заболевания (состояния) в определенный момент времени.

Опорное исследование (Pivotal study) – исследование, проводимое по правилам ККП и тщательно мониторируемое с целью обеспечения валидности данных. В ходе опорного исследования получают основную информацию об эффективности и безопасности для представления в официальные инстанции. Исследования, которые не повергаются интенсивному мониторингу, считаются поддерживающими.

Открытое исследование (Open study) – исследование, в котором распределение пациентов по группам лечения известно всем и когда все его участники знают, какой препарат получает пациент. Это может быть исследование, в котором изучается один или несколько видов лечения.

Параллельное исследование (Parallel study) – исследование, при котором испытуемые в различных группах получают либо только изучаемое лекарственное средство, либо только препарат сравнения или плацебо. В параллельном исследовании сравниваются две или более группы испытуемых, одна или более из которых получают исследуемый препарат, а одна группа является контрольной. В некоторых параллельных исследованиях сравнивают различные виды лечения, без включения контрольной группы. Такая схема называется схемой независимых групп.

Перекрестное исследование (Cross-over study) – исследование, при котором каждый пациент получает оба сравниваемых препарата, как правило, в случайной последовательности. Эта схема применяется у пациентов со стабильным течением заболевания, обычно хронического характера. В настоящее время подобная схема исследования мало распространена из-за возникающих эффектов переноса при смене препаратов.

Пилотное исследование (Pilot study) – исследование, проводимое на небольшом числе пациентов, и предназначенное для получения предварительных данных, важных для планирования дальнейших этапов исследования.

Другая цель проведения пилотного исследования состоит в том, чтобы получить представление о разнице между двумя методами лечения, что позволит установить количество пациентов, которые должны быть включены в основное исследование (размер выборки), и необходимую мощность для точного определения этой разницы.

Плацебо-контролируемое исследование (Placebo-controlled trial) – сравнительное исследование, в котором активность нового препарата сравнивается с плацебо. Оно может проводиться как исследование параллельных групп или как перекрестное исследование. В США для заявки на регистрацию нового препарата требуются два плацебо-контролируемых исследования.

Проспективное исследование (Prospective study) – исследование, в котором пациенты набираются в соответствие с критериями, изложенными в протоколе исследования. Пациенты получают исследуемый препарат, и наблюдаться в течение какого-то времени. То есть формирование групп, получающих или не получающих исследуемое лекарственное средство, происходит до того, как фиксируются результаты. Большинство клинических исследований являются проспективными.

Рандомизированное исследование (Randomized study) – исследование, в котором пациенты распределяются по группам лечения случайным образом (используется специальная процедура рандомизации) и имеют одинаковую возможность получить исследуемый или контрольный препарат (препарат сравнения или плацебо).

Ретроспективное (историческое) исследование (Retrospective study) – исследование, при котором изучаются исходы проведенных ранее клинических испытаний или исследований, то есть исходы уже наступили до того, как начато исследование. Исследователь просматривает медицинскую документацию и подбирает по определенным критериям пациентов с целью изучения результатов лечения.

Слепое или замаскированное исследование (Blind study) – исследование, когда отсутствует информация о том, к какой группе – экспериментальной или контрольной отнесен каждый испытуемый. Существует несколько вариантов таких исследований:

простое слепое исследование (blind study) – информация отсутствует только у пациента;

двойное слепое исследование (double-blind study) – информация отсутствует и у пациента, и исследователя;

тройное или абсолютное слепое исследование (total-blind study) – информация отсутствует у пациента, исследователя и лиц, проводящих статистическую обработку результатов исследования.

Замаскированные исследования применяются для устранения систематических ошибок в клинических исследованиях.

Сравнительное исследование (Comparative study) – исследование, в котором исследуемый препарат, эффективность и безопасность которого до конца еще не изучены, сравниваются с препаратом, эффективность и безопасность которого хорошо известны. Это может быть плацебо, стандартная терапия или отсутствие лечения вообще.

Стратифицированное исследование (Stratified study) – исследование, в котором пациенты распределяются в различные группы (страты). Пациенты распределяются в страты по определенным параметрам, отличным от параметров пациентов другой страты. Распределение на страты может быть проспективным (контроль набора пациентов необходим для достижения определенного баланса) или ретроспективным (напр., при анализе).

Экспериментальное исследование (Experimental study) – исследование, условия, проведения которого находятся под прямым контролем исследователя. Чаще всего это сравнительное исследование, заранее спланированное и посвященное изучению влияния, по крайней мере, одного фактора. Сравнения могут производиться между двумя и более группами или внутри одной группы до, и после назначения вмешательства.

- Основные термины (в алфавитном порядке)

Общее число наблюдений

Приводится числовое значение N (общее число наблюдений) = A+B+C+D

Absolute Benefit Increase (ABI): разность частот благоприятных исходов между экспериментальной и контрольной группами:

Absolute Risk Increase (ARI): абсолютная разность частот неблагоприятных исходов, которых больше в экспериментальной группе по сравнению с контрольной; ARI используется также в оценке влияния факторов риска на болезнь.

Absolute Risk Reduction (ARR). Абсолютное снижение риска. Разность частот неблагоприятных исходов между экспериментальной и контрольной группами:

Best evidence. Обоснованное доказательство. Основание для принятия решений в здравоохранении. Для оценки эффективности воздействия лучшим считается удачно спланированное и проведенное рандомизированное контролируемое испытание, но в ряде случаев более подходящими могут быть другие типы испытания.

Blind Study. Слепое исследование. Одна или несколько участвующих сторон не знают, как распределены пациенты по группам лечения и контроля. При простом слепом (Single Blind) - распределение неизвестно пациентам, в двойном слепом (Double Blind) - исследователям и пациентам, в тройном (Triple Blind) - также и лицам, организующим исследование и анализирующим его результаты, а в полном слепом - в неведении все, кто взаимодействует с пациентами, исследователем и данными; а коды пациентов готовят люди, не связанные с исследованием. Применяется для устранения систематической ошибки в клинических исследованиях.

Clinical trials. Клинические испытания - специальный вид исследований для оценки разных вмешательств, условия проведения которых (отбор групп вмешательства, характер вмешательства, организация наблюдения и оценка исходов) направлены на устранение влияния систематических ошибок на получаемые результаты.

Clinical epidemiology. Клиническая эпидемиология - это наука, разрабатывающая методы клинических исследований, которые дают возможность делать справедливые заключения, контролируя влияние систематических и случайных ошибок.

Comparator (Drug). Препарат сравнения. Плацебо или активное вещество, эффективность и безопасность которого заранее известны.

Comparative Study. Сравнительное исследование. Исследование, в котором новый препарат сравнивается с известным, плацебо или отсутствием лечения вообще.

Compliance. Соблюдение больным инструкций по приему исследуемого препарата.

Confidence Interval (CI). Русское сокращение - ДИ. Доверительный интервал. 95% CI дает пределы, внутри которых с достоверностью 95% находятся значения изучаемой величины для популяции больных, из которой выбрана изучаемая группа. При увеличении групп значения CI сужаются и достоверность различий растет. Предпочтительнее использовать CI вместо p, так как CI характеризует степень достоверности, а p оценивает только вероятность отсутствия различий между группами (нулевую гипотезу). Это статистический показатель, позволяющий оценить, в каких пределах может находиться истинное значение параметра в популяции; диапазон колебаний истинных значений. Величины, полученные в исследованиях на выборке больных, отличаются от истинных величин в популяции вследствие влияния случайности. Так, в 95% наблюдений доверительный интервал означает, что истинное значение величины с вероятностью 95% лежит в его пределах. Доверительные интервалы помогают сориентироваться, соответствует ли данный диапазон значений представлениям читателя о клинической значимости эффекта и каких результатов можно ожидать, применив описанную методику на сходной группе больных.

Continuous data. Непрерывные данные - это количественные данные, которые могут принимать любое значение на непрерывной шкале. Примеры: масса тела, артериальное давление, отношение парциального давления кислорода к артериальной крови).

Control Group. Контрольная группа (группа сравнения). Группа пациентов, принимающая в ходе сравнительного исследования препарат, эффективность и безопасность которого хорошо известны (препарат сравнения). Это может быть плацебо, стандартная терапия или отсутствие лечения вообще. Результаты измерений в контрольной группе сравниваются с результатами измерений в экспериментальной группе для оценки эффекта исследуемого метода лечения.

Control Event Rate (CER). Русское сокращение ЧНБИ. Частота неблагоприятных исходов в контрольной группе.

Controlled Study. Русское сокращение - КИ. Контролируемое исследование. Термин используется в двух значениях:

1) как синоним сравнительного (имеющего контрольную группу) исследования;

2) всякое исследование, проводимое в соответствии с протоколом. Cost-Benefit. «Стоимость-выгода» - в денежном выражении оцениваются и стоимость, и результаты лечения.

Cost-Effectiveness. «Стоимость-эффективность» - в денежном выражении оценивается стоимость лечения, а результаты рассматриваются как выполнение определенных задач. В отечественной литературе часто используется схожий по смыслу термин «цена-эффективность».

Cost-Utility. «Стоимость-польза» - оценка результатов в терминах качества жизни как преимущества одного вида лечения перед другим.

Cost-Minimization. «Минимизация стоимости» - сравнивается стоимость равноэффективных видов лечения.

Cost-of-Ilness. «Стоимость заболевания» - оценка прямых и косвенных затрат на лечение отдельного заболевания.

Crossover Study. Перекрестное исследование. Исследование, в котором каждый пациент получает поочередно сравниваемые препараты в случайной последовательности. Применяется у пациентов со стабильным течением заболевания, обычно хронического характера. В настоящее время подобный дизайн не распространен из-за эффектов переноса при смене препаратов.

Crude Agreement: Предварительное согласие. Пропорция совпадений между всеми оценщиками. Если их всего двое, то оценка составляет (A+D)/N.

Decision sciences. Наука о принятии решений. Область методологических исследований, связанная с пониманием и улучшением процесса принятия решений.

Design (of a Study). Дизайн исследования. Способ, схема проведения исследования.

Discrete data. Дискретные данные - это количественные данные, которые выражаются целыми числами. Например, число приступов мигрени у больного в течение месяца.

Dichotomous data. Дихотомические данные - признаки, которые могут иметь только два противоположных значения (присутствует - отсутствует, да - нет, жив - умер).

Ecological fallacy. Экологическая ошибка - систематическая ошибка, связанная с тем, что заболевшие лица в группе обследования на самом деле могли не испытывать влияния факторов риска. Возникает, когда группу выделяют по общим косвенным признакам (проживание на одной территории, принадлежность к одной профессии), а не по наличию фактора риска у отдельных субъектов (например, по потреблению алкоголя).

Efficacy. Эффективность. Способность препарата вызывать желаемое терапевтическое воздействие на течение болезни.

Experimental Event Rate (EER). Частота неблагоприятных исходов в экспериментальной группе:

Experimental group. Экспериментальная группа - это группа, подвергающаяся вмешательству (лечению) в ходе исследования. Иначе называется группой лечения или группой вмешательства (treatment group или Intervention group).

Historical Control. Исторический контроль. Сравнение получающих исследуемую терапию с получавшими ранее другую терапию. Метод применяется при невозможности рандомизировать пациентов в разные группы. Например, при исследовании долговременной выживаемости после трансплантации почки невозможно рандомизировать пациентов в «операционную» и «безоперационную» группы, так как неэтично лишать человека возможности трансплантации. Лучшим решением будет сравнение с лечившимися ранее, когда не существовало возможности трансплантации.

Inform consent. Информированное согласие. Подписывается участниками исследования до начала РКИ.

Kappa-критерий: (греч. κ - каппа). Критерий согласия, скорректированный для ситуации, в которой оценщики договорятся между собой на определенной пропорции случайных событий. Если pо - наблюдаемая часть случаев общего согласия, а pе - пропорция предполагаемых случайных событий, то:

Likelihood Ratio for a Positive Test Result. Отношение правдоподобия для положительных результатов теста; вероятность положительного результата тестирования у человека, страдающего расстройством:

Likelihood Ratio for a Negative Test Result. Отношение правдоподобия для отрицательных результатов теста. Вероятность отрицательного результата тестирования у человека, страдающего расстройством:

Long term Trial. Долгосрочное исследование. Исследование эффективности и безопасности препарата при длительном лечении заболевания. Обычная длительность более 6 месяцев. Часто используется при оценке влияния вмешательства на жесткие конечны точки.

Matched pairs Design. Схема соответствующих пар (аналогично по смыслу «исследование в параллельных группах»). План исследования в котором субъектов изучения объединяют попарно в соответствии с определенными факторами (по полу, возрасту и т.д.). Один из ни получает исследуемое лечение, другой - препарат сравнения.

Meta-Analysis. Мета-Анализ. Методология объединения разнородных и выполненным различными авторами исследований, относящихся к одной теме, для повышения достоверности оценок одноименных результатов. Количественный анализ объединенных результатов нескольких клинических испытаний одного и того же вмешательства. Такой подход обеспечивает большую статистическую мощность, чем в каждом отдельном испытании за счет увеличения размера выборки. Используется для обобщенного представления результатов многих испытаний. Кумулятивный метаанализ - метод расчета обобщенной точечной оценки изучаемого эффекта, при котором исследования добавляются по одному в определенном порядке. Мета-регрессионный анализ - регрессионный анализ, где в качестве единицы наблюдения рассматриваются отдельные исследования.

Negative Predictive Value. Отрицательное предсказывающее значение. Отношение числа людей с реальным и протестированным отсутствием расстройства.

Noncomparative Study. Несравнительное исследование. Исследование, в котором препарат сравнения не используется.

Numerical, or interval data. Количественные данные - величины, которым присущ естественный порядок расположения с равными интервалами между последовательными значениями, независимо от их места на шкале (масса тела, уровень глюкозы, холестерина или креатинина в крови).

Number Needed to Harm (NNH). Русское сокращение - ЧБНЛНИ. Количество больных в экспериментальной группе по сравнению с контрольной, необходимое для выявления дополнительного неблагоприятного исхода:

То есть для предупреждения одного дополнительного неблагоприятного исхода в экспериментальной группе должно быть 30 больных.

Number Needed to Treat (NNT). Русское сокращение - ЧБНЛБИ. Число больных в экспериментальной группе, необходимое для получения дополнительного благоприятного исхода:

Этот показатель является величиной, обратной снижению абсолютного риска.

Это способ оценки относительной эффективности двух методов лечения показывает, какое количество больных необходимо подвергнуть лечению исследуемым методом для предотвращения одного случая изучаемого исхода. Например, если для предотвращения одного случая инсульта надо лечить антигипертензивным средством 100 пациентов с артериальной гипертензией в течение 5 лет, то NNT равно 100 за 5 лет.

Odds Ratio (OR). Русское сокращение - ОР. Отношение шансов исхода между группами больных в испытании. Отношение вероятности того, что событие произойдет, к вероятности того, что событие не произойдет. Шансы и вероятности содержат одну и ту же информацию, но по-разному выражают ее. Если вероятность того, что событие произойдет обозначить Р, то шансы этого события будут равны Р/(1-Р). Например, если вероятность выздоровления 0,3, то шансы выздороветь равны 0,3/(1-0,3) = 0,43. Шансы удобнее использовать для некоторых расчетов, чем вероятности.

Используется в систематизированных обзорах или конкретных клинических испытаниях. Если, например:

у а = 20 из (а + b) = 100 экспериментальных больных наблюдали определенный исход, а у b = 80 - не наблюдали, то шансы этого исхода в данной группе составляют: a/b = 20/80 = 0,25. То же для контрольной группы при (c + d) = 100, c = 40 и d = 60 составляет c/d = 40/60 = 0,67 и отношение шансов: OR = (a/b)/(c/d) = 0,25/0,67 = 0,37.

Отношение шансов похоже на относительный риск, но численно они подобны лишь при очень низких частотах исхода. Так, для этого примера RR = (a/(a+b) : c/(c+d)) = 20/100: 40/100 = 0,50, а если бы частоты исхода были 1% и 2%, то величина RR = 0,5 и OR = 1/99:2/98 = 0,49.

В исследованиях «случай-контроль» отношение шансов используется для оценки самостоятельного риска.

Open Study. Открытое исследование. Исследование, где распределение пациентов по группам лечения известно всем. Это может быть исследование, в котором изучается один или несколько видов лечения.

Ordinal datа. Порядковые данные - величины, которые могут быть расположены в естественном порядке (ранжированы), например, от малого до большого или от хорошего до плохого, но размер интервала между такими категориями не может быть выражен количественно (например: стадии болезни; оценки «высокий, средний, низкий» или «отсутствует, слабый, умеренный, тяжелый»).

Р value. Величина р - вероятность того, что полученный результат абсолютно случаен. Величина p может изменяться от 1 (результат точно случаен) до 0 (результат точно не случаен). Величина p, меньшая или равная заданному уровню альфа-ошибки (например, 0,05), свидетельствует о статистической значимости полученного различия. В то же время она совсем не отображает клиническую значимость результата.

Patient Expected Event Rate (PEER) - специфичный для конкретного пациента исходный риск по отношению к среднему пациенту, выраженный десятичной дробью F, на которую делится значение NNT. Если подверженность неблагоприятному исходу F = 0.5, а NNT = 15, то:

Pharmacoepidemiology. Фармакоэпидемиология. Наука о применении эпидемиологических знаний, методов и доводов к изучению благоприятных и нежелательных эффектов для рационального использования лекарств в различных человеческих популяциях. Предметом исследования являются результаты наблюдений, собранных при повседневном клиническом обслуживании больных, в отличие от рафинированных данных рандомизированных, двойных слепых клинических испытаний. Цель исследований - определить реальную эффективность лекарств в клинической практике.

Pharmacoeconomics. Фармакоэкономика. Анализ стоимости лекарственной терапии для системы здравоохранения и общества с целью выявить наиболее выгодные препараты (виды лечения) для финансирующих организаций, пациентов и производителей. На результатах специальных (см. ниже) типов фармакоэкономического анализа основываются решения о планах финансирования различных программ здравоохранения, приоритетах среди возможных альтернатив, возможностях пациента использовать оптимальный вариант лечения.

Placebo. Плацебо. Препарат (таблетки, капсулы, растворы), содержащий фармакологически неактивные компоненты. Его эффективность может объяснятся лишь психологическим фактором, а не объективным эффектом. При сомнениях в безопасности компонентов они не должны включаться в состав плацебо. В качестве плацебо используется лекарственная форма, неотличимая от исследуемого препарата по внешнему виду, цвету, вкусу и запаху, но не оказывающая специфического действия (например, таблетки глюкозы или инъекции изотонического раствора хлорида натрия), или иное безразличное вмешательство, используемое в медицинских исследованиях для имитации лечения с целью устранения систематической ошибки, связанной с плацебо-эффектом.

Placebo effect. Плацебо-эффект - изменение состояния пациента (отмечаемое самим пациентом или лечащим врачом), связанное с фактом лечения, а не биологическим действием препарата.

Placebo-Controlled Trial. Плацебо-контролируемое исследование. Активность нового препарата сравнивается с плацебо в параллельных группах или перекрестном исследовании.

Protocol. Протокол. Документ, регламентирующий испытание, включая обоснование, цели, статистический анализ, методологию, условия проведения, критерии включения и исключения пациентов и др.

Positive Predictive Value. Положительное предсказывающее значение. Отношение числа людей, действительно страдающих расстройством, к числу людей с положительным результатом теста на расстройство. Эта величина зависит от распространенности расстройства:

Prevalence. Распространенность. Доля страдающих данным расстройством в исследуемой выборке:

Prospective Study. Проспективное исследование. Пациенты набираются по критериям протокола, получают исследуемый препарат и наблюдаются для оценки результатов лечения. Проспективными является большинство клинических исследований.

Randomization. Рандомизация - процедура, обеспечивающая случайное распределение больных в экспериментальную и контрольную группы. Случайным распределением достигается отсутствие различий между двумя группами и таким образом снижается вероятность систематической ошибки в клинических исследованиях вследствие различий групп по каким-либо признакам.

Relative risk. Относительный риск или отношение рисков (risk ratio) отношение заболеваемости среди лиц, подвергавшихся и не подвергавшихся воздействию факторов риска. Относительный риск не несет информации о величине абсолютного риска (заболеваемости). Даже при высоких значениях относительного риска абсолютный риск может быть совсем небольшим, если заболевание редкое. Относительный риск показывает силу связи между воздействием и заболеванием.

Relative Risk Reduction (RRR). Русское сокращение - СОР. Снижение риска относительно контрольной группы с указанием доверительного интервала.

Relative Benefit Increase (RBI). Относительное увеличение частоты благоприятных исходов в экспериментальной группе по сравнению с контрольной:

Relative Risk Increase (RRI). Русское сокращение - ПОР. Относительное увеличение частоты неблагоприятных исходов в экспериментальной группе по сравнению с контрольной оценивается так же как RBI и тоже используется в оценке воздействия факторов риска на болезнь:

Randomized Clinical Study. Русское сокращение РКИ. Рандомизированное клиническое исследование. Пациенты распределяются по группам лечения на основе рандомизации и все имеют одинаковую вероятность получать каждый из препаратов.

Retrospective Study. Ретроспективное исследование. Исследование, в котором исследователь просматривает медицинскую документацию и подбирает по определенным критериям истории болезни или опубликованные отчеты с целью изучения результатов лечения.

Risk. Риск. Вероятность нанесения ущерба здоровью пациента или причинения ему дискомфорта.

Safety. Безопасность. Одна из ключевых характеристик препарата (наряду с эффективностью), обратно пропорциональная частоте возникновения нежелательных лекарственных реакций.

Sensitivity. Чувствительность теста. Доля реально страдающих расстройством среди выделенных с помощью нового теста:

Sensitivity = = 32/33 = 97,0%.

Short term Trial. Краткосрочное исследование. Исследование эффективности препарата при краткосрочном лечении заболевания. Обычная длительность от 1 до 3 месяцев. Часто используется при оценке фармакодинамических эффектов лекарственных препаратов.

Specificity. Специфичность. Отношение числа людей, не страдающих расстройством, и людей, у которых отсутствие расстройства установлено с помощью нового теста:

Study/Trial. Клиническое исследование/испытание. Система оценки медицинских препаратов приборов или иного вида вмешательств у человека (пациента или добровольца) с целью выявления любых положительных и отрицательных явлений, возникших в результате приема исследуемых препаратов и/или изучения их всасывания, распределения, метаболизма и выведения для оценки эффективности и безопасности препаратов.

Surveillance. Наблюдение за лекарственным препаратом. Сбор данных о всех нежелательных явлениях, связанных с использованием лекарственных препаратов. Как правило, проводится на протяжении длительного времени.

Survival Analysis. Анализ выживаемости. Проводится в конце исследования у пациентов с высоким риском смертности. Необходимость проведения может возникнуть в кардиологических исследованиях для оценки выживания после сердечного приступа.

Systematic error, bias. Систематическая ошибка - это неслучайное, однонаправленное отклонение результатов от истинных значений. Систематическая ошибка может возникать вследствие отбора (при создании выборки) - sampling, или assembling bias, вследствие измерений - measurement bias, при воздействии неучтенных факторов - confounding bias и во многих других случаях. О систематической ошибке говорят также, имея ввиду предвзятость при публикации положительных результатов исследований и отклонении отрицательных - publication bias. Для борьбы с систематическими ошибками и получения достоверных данных используются организационные методы (например, рандомизация, «слепой метод» и т.п.), а также внесение поправок, учитывающих величину смещения.

Systematic Review. Систематизированный обзор. Обобщение первичных данных по одной частной четко сформулированной проблеме стандартными воспроизводимыми методами с применением мета-анализа. В медицине используется для оценки и сравнения терапевтических и побочных эффектов лечения и принятия решений об индивидуальном, субпопуляционном и популяционном выборе способа лечения.

Three E"s Concept: Efficacy/Effectiveness/Efficiency. Концепция трех Е: эффективность/действенность/выгода. Польза для отдельного больного, популяций больных и общества в целом.

Validity. Пригодность, соответствие теста своему назначению. Однозначный критерий пригодности отсутствует, поскольку ее можно определить по-разному. Достоверность - характеристика, показывающая, в какой мере результат измерения соответствует истинной величине. Достоверность исследования определяется тем, в какой мере полученные результаты справедливы в отношении данной выборки (internal validity). Это внутренняя характеристика и касается именно данной группы больных и не обязательно распространяется на другие группы.

Пилотное исследование

878 Когда у меня накопилась первая партия гороскопов, я сначала занялся соединениями d и оппозициями с? солнца и луны3 - двумя аспектами, которые в астрологии считаются равносильными (хотя и с противоположным смыслом), то есть обозначающими интенсивные отношения между небесными телами. Вместе с соединениями и оппозициями, Марс, Венера, Асц. и Десц. они представляют пятьдесят различных аспектов.4

879 Причины, по которым я выбрал именно эти комбинации, станут ясны читателю из замечаний касательно астрологи­ческих традиций, сделанных мною в предыдущей главе. Что касается соединений и оппозиций, то здесь мне остается только добавить, что эти аспекты Марса и Венеры гораздо менее важны, чем остальные, что вполне ясно следует из следующᴇᴦο факта: отношения Марса с Венерой могут указывать на любов­ную связь, но брак - ϶то не всегда любовная связь, а любовная связь - ϶то не всегда брак. По϶тому я включил соединение и оппозицию Марса и Венеры только потому, что хотел сравнить их с другими соединениями и оппозициями.

880 Поначалу эти пятьдесят аспектов были исследованы применительно к 180-ти брачным парам. Разумеется, что эти 180 мужчин и 180 женщин могли быть перемешаны и в неженатые пары. Понятно, что в случае если любой из 180-ти мужчин мог быть соединен в пару с любой из 179-ти женщин, помимо ᴇᴦο жены, то мы, фактически, можем изучать 180 х 179 = 32 220 неженатых пар в рамках 180-ти браков. Это и было сделано (сравни с Таблицей 1), и анализ аспектов неженатых пар сравнивался с аспектами брачных пар.
Размещено на реф.рф
Для всех расчетов брался орбис в 8 градусов, по часовой стрелке и против часовой стрелки, не только в границах знака, но и за ᴇᴦο пределами. Впоследствии к первой партии были добавлены ещё две, по 220 и 83 брака соответственно, так что всᴇᴦο было изучено 483 брачных пары или 966 гороскопов. В первой партии наиболее часто встречалось соединение солнце-луна (10 %), во второй -соединение луна-луна (10, 9%), а в третьей - соединение луяа-Асц. (9,6%).

881. Меня, естественно, прежде всᴇᴦο интересовал вопрос вероят­ности: были ли полученные нами максимальные результаты "значимыми" цифрами или нет?; то есть были они вероятными или нет? Сделанные математиком расчёты категорически ука­зывали на то, что средняя для всех трех партий цифра в 10 % далека от того, чтобы быть значимой. Ее вероятность чересчур велика; иными словами, нет никаких оснований для предполо­жения, что наши лучшие результаты являются чем-то большим, чем просто дисперсиями случайнои̌ величины.

Пилотное исследование - понятие и виды. Классификация и особенности категории "Пилотное исследование"2017-2018.

В этой главе рассматриваются разнообразные вопросы полевой работы, которая проводится при исследовании уровня удовлетворенности потребителей. В ней затронуты такие проблемы, как «вербовка» и отбор интервьюеров, инструктаж, обучение, повышение квалификации интервьюеров и организация их работы. Высказываются некоторые соображения о том, какой должна быть степень интереса и участия компании-клиента на этом этапе обследования, о ценности «сеансов прослушивания» в ходе телефонного опроса и проблемах, которые может вызвать такое «прослушивание» и другие формы «сопровождения» при проведении опроса. Рассматриваются вопросы административного руководства полевой работой, включая необходимость контроля за правильностью использования выборки, а также предложения по проверке качества. Помимо указанных проблем в этой главе рассматриваются три дополнительные темы. Во-первых, что нужно и можно сделать в отношении потребителей, которые в ходе интервью поднимают серьезные вопросы, требующие немедленного вмешательства компании-клиента. Во-вторых, вопрос о сохранении клиентом конфиденциальности данных, полученных в ходе полевой работы. И наконец, в этой главе затрагивается вопрос о том, как завоевать доверие и приверженность респондентов.

Слава Богу, сейчас, в век просвещения и истеблишмента, каждый имеет право на собственное мнение, и чаще всего на мнение о том, что никто другой не имеет на него права.

Рональд Нокс

Автор не будет удивлен, если многие исследователи, работающие как в штате компаний, так и в специализированных агентствах, захотят пропустить эту главу. В конце концов, на этот момент, как они полагают, их работа закончена. Требования к исследованию согласованы, анкета утверждена и подписана. Все, что им теперь остается делать, — это сидеть и ждать, пока интервьюеры завершат свою часть работы. Такой подход — это не только недомыслие, он показывает почти полное отсутствие уважения и понимания по отношению к тем задачам, которые стоят как перед респондентом, так и перед интервьюером. На самом деле автор считает, что каждый исследователь должен отработать какую-то часть своей карьеры в поле, проводя интервью с респондентами. Если бы исследователи так делали, они имели бы более четкое представление не только о том, что должен делать интервьюер, но и о том, чего можно ждать от респондентов.

Опрос с точки зрения потенциального респондента

Или другая ситуация — человек только что добрался домой после напряженного рабочего дня и поездки в переполненной электричке (или целого часа ожидания в дорожной «пробке»). Он присел на несколько минут, чтобы отдохнуть, перед тем как выводить на прогулку собаку или укладывать детей спать. Но звонит телефон, и кто-то, чьего имени он толком не расслышал, начинает задавать ему вопросы о том, не заходил ли он на днях в их банк по поводу овердрафта и что он думает об уровне обслуживания, которое он там получил.

Или вот: человек поехал в командировку. Поселившись в номер, он видит на столике небольшой проспект, в котором сообщается, что работники отеля гордятся тем, что заботятся о потребностях тех, кто приезжает в деловую командировку, и были бы очень рады узнать их мнение об обслуживании. Правда, карточка отзывов выглядит так, как будто лежала здесь лет десять и использовалась в качестве кофейного подноса предыдущим постояльцем.

Что это значит: быть на передовой линии

По мнению автора, интервьюеры — это настоящие герои, которые в любую погоду выходят на улицу и стучат в двери домов, упрашивая людей дать интервью. Как чувствует себя человек, оказавшись на улице в январе, в холодный, сырой и ветреный субботний вечер, пытаясь провести запланированные три собеседования в час? Почему три? Потому что администратор в головном офисе агентства подсчитал, что на одно интервью требуется восемь минут, поэтому интервьюер потратит на три опроса меньше тридцати минут из отведенного часа, а остальное время будет ходить от одной двери к другой и находить подходящих респондентов. Наверняка этот администратор никогда не ходил по домам в роли интервьюера, поэтому он не посчитал время, которое уходит на обычные приветствия и обмен любезностями, на необходимость снять верхнюю одежду и повесить куда-нибудь пальто, на то, чтобы распаковать и подключить ноутбук, на ожидание, пока респондент сделает вам чашку чаю или кофе и предложит печенье. Не учел администратор и настроения интервьюера, после того как потенциальный респондент сердито захлопнул дверь у него перед носом, потому что его побеспокоили во время просмотра по телевизору важного футбольного матча, или его побоялись впустить в дом только потому, что идет дождь, а c его пальто стекает вода.

Интервьюирование может стать решающей стадией проекта, и то влияние, которое может оказать интервьюер на весь проект, нельзя недооценивать. Это та сфера, которой и компания-клиент, и исследователь агентства должны уделять пристальное внимание.

Набор интервьюеров

«Вербовка» и отбор интервьюеров — очень важная часть работы агентства. Каков он, интервьюер, участвующий в исследовании рынка? Многие из них заняты неполный рабочий день, потому что у них есть другая работа или другие обязанности. Среди интервьюеров есть студенты, которые хотят заработать на учебу, или актеры, подрабатывающие в театральное межсезонье, или трудоспособные пенсионеры, которых привлекает не только дополнительный заработок, но и возможность заполнить свободное время. Но есть интервьюеры, для которых агентство — это постоянное место работы. Возможно, им нравится работать с людьми, но ничего при этом не продавать. Некоторые интервьюеры заняты только в одном агентстве, но можно работать одновременно на несколько агентств.

Хороший интервьюер должен быть дружелюбным и воспитанным, организованным, наблюдательным, обладать хорошими коммуникативными навыками и техниками активного слушания; кроме всего прочего, он должен любить работу с людьми. Тем, кто проводит опросы «лицом к лицу», необходимы также крепкое здоровье и большой запас жизненных сил, так как большую часть своего времени они проводят на ногах под открытым небом. Интервьюеры должны уметь считать и обладать развитыми навыками устной речи. Для международных проектов им необходимо беглое владение иностранными языками. В наше время все больше проектов требуют применения компьютеров, потому что большую популярность завоевали компьютеризованные персональные и телефонные опросы. Поэтому многие агентства стремятся найти интервьюеров, которые не боялись бы использовать новые технологии.

Случай из практики

Network Research , исследовательское агентство Великобритании, специализирующееся на телефонных исследованиях в сфере разработки новых товаров и удовлетворенности потребителей, всегда для начала проводит предварительный телефонный опрос с потенциальными интервьюерами. Сфера деятельности агентства — телефонные опросы, поэтому, если кандидат не может произвести благоприятное впечатление в беседе по телефону, ему вряд ли удастся успешно провести интервьюирование. Поэтому большое значение имеют интонации и тембр голоса, а также то, как он отвечает на некоторые простые вопросы. При первой встрече с будущим интервьюером Network Research сообщает также о графике работы и условиях оплаты. Если кандидата это устраивает, его расспрашивают об опыте работы в сфере изучения рынка и его представлениях о предстоящем исследовании. Наличие опыта не является обязательным условием, так как Network Research , как и большинство агентств, обеспечивает интенсивные обучающие программы всем интервьюерам, даже если они уже работали ранее в этой сфере. Причиной всему является репутация компании (и репутация ее клиентов). Для компании чрезвычайно важно, чтобы интервьюеры понимали ее культуру и ценности и подходили к проведению каждого опроса последовательно и профессионально.

Инструктаж и подготовка интервьюеров

В Великобритании существуют определенные требования к этой категории работников, в частности, требование относительно того, что все интервьюеры должны в обязательном порядке получить соответствующую подготовку, причем занятия должны быть полностью задокументированы. Например, те интервьюеры, которые уже прошли обучение, должны получить не менее трех часов подготовки при переходе на работу в новое агентство, новички же прослушивают курс продолжительностью минимум шесть часов. Кроме того, свое первое задание они выполняют под контролем и наблюдением наставника, который проверяет уровень их подготовки. Ведутся документальные записи, подтверждающие дату (даты) и объем занятий, проведенных с интервьюерами. К тому же все интервьюеры должны проходить аттестацию минимум раз в шесть месяцев.

Цель занятий с интервьюерами состоит не только в том, чтобы выполнить обязательное требование и проинформировать их о правилах безопасности на работе и других административных вопросах — порядке оплаты, обеденных перерывах и т.д. Вся подготовка интервьюеров должна обеспечить высокий стандарт проведения опросов при осуществлении любого исследовательского проекта. В ходе занятий интервьюеры должны научиться представить респонденту себя и проект, задавать тон и темп, контролировать ход интервью, непредвзято задавать наводящие вопросы, чтобы прояснить ответ респондента, а также работать с произвольными комментариями респондентов и записывать их. Произвольные комментарии — это ответы респондентов на вопросы открытого типа, например: почему вы так считаете? Чрезвычайно важно записывать такие ответы слово в слово или как можно ближе к высказыванию респондента.

Умение «управлять» респондентом — это очень важный навык, особенно при исследовании уровня удовлетворенности потребителя. Проводя опрос потребителя по такому предмету, как использование товара, интервьюер часто сталкивается с тем, что респондент недостаточно осведомлен о теме исследования. Но когда речь заходит об уровне обслуживания или о предметах, включающих эмоциональный фактор (например, разговор с мужчинами об автомобилях), респонденты могут говорить очень долго. Как следствие они часто пытаются рассказать интервьюеру гораздо больше о своем опыте и мнениях, чем того требует вопрос анкеты. Интервьюер должен очень умело вернуть разговор к предмету опроса и не оттолкнуть при этом респондента — так как он может подумать, что интервьюеру на самом деле не интересно то, о чем он говорит, и у него просто пропадет желание отвечать на последующие вопросы.

Инструктаж интервьюеров для проекта исследования удовлетворенности потребителей

Помимо общей подготовки интервьюер вправе ожидать полного инструктажа по каждому проекту, над которым ему предстоит работать. Такой инструктаж может принимать много форм. Персональный инструктаж — это самый дорогостоящий подход, отчасти потому, что интервьюеру придется оплачивать дорогу на занятия. Но это самый продуктивный метод инструктажа, потому что исследователь может лично убедиться, что все интервьюеры поняли инструкции и знают, что от них ожидается. Кроме того, исследователь может просмотреть все вопросы анкеты и удостовериться, что каждому из интервьюеров понятны вопросы, направление и требования, касающиеся квот. К тому же на занятиях работник агентства может ответить на любой вопрос интервьюера.

Если возможность проводить персональные занятия отсутствует — в проекте не предусмотрены расходы или клиент ограничен в средствах — можно проводить инструктаж по телефону. Но у этого метода есть свои недостатки. Если предстоит привлечь для работы большое число респондентов, агентство чаще всего назначает руководителей групп, которые и проводят телефонный инструктаж с интервьюерами. В некоторой степени это увеличивает риск непонимания или искажения информации.

Наименее эффективный способ инструктажа — это рассылка инструктивных материалов по почте. При этом в агентстве, естественно, ожидают, что интервьюер тщательно прочитает и поймет инструкцию, но полной уверенности в этом нет, как и в том, вспомнит ли интервьюер все прочитанное, когда наступит время для выхода в поле.

Обучение и контроль в ходе осуществления проекта

Как сохранить заинтересованность и высокий стандарт работы интервьюера? Это нелегкая задача, особенно на крупномасштабных проектах отслеживания, и особенно при исследовании уровня удовлетворенности потребителей. Анкеты для проектов такого типа могут быть очень однообразными. Часто в них используется одна и та же шкала ответов для всех этапов проекта (для этого есть причины). Как бы то ни было, для интервьюера процесс может стать очень утомительным. К тому же после целого ряда однотипных интервью у него появляется ощущение, что он уже «все это слышал раньше». Внимание начинает рассеиваться, качество работы падает. В подобной ситуации контроль за работой интервьюера становится настоятельно необходимым. В Великобритании существует требование о проверке достоверности данных по каждому обследованию. Для проверки достоверности может использоваться мониторинг в реальном времени (через дистанционное прослушивающее устройство), прослушивание интервью в записи на магнитной пленке или телефонный звонок респонденту после интервью. В Великобритании минимум 10% всех интервью в исследовании должны проходить под контролем (за исключением тех случаев, когда опрос проводится из телефонного центра с дистанционным прослушиванием, где контролируется 5% интервью).

Личность интервьюера

Ранее уже упоминалось, что личность интервьюера — это один из факторов, который может повлиять на соответствие человека этой роли. Люди, имеющие определенный тип личности, могут испытывать трудности при выполнении необходимых требований.

Хорошее интервью сродни обычной беседе между двумя людьми, но один из собеседников должен строго придерживаться «сценария» — очень важно задавать респондентам одни и те же вопросы в одной и той же манере. Здесь и возникают трудности, особенно при необходимости слово в слово фиксировать произвольные ответы респондентов на вопросы открытого типа. Во время инструктивных занятий, а также в ходе последующего обучения агентство обучает интервьюера задавать наводящие вопросы, если есть необходимость прояснить ответ респондента или получить дополнительную информацию. Но интервьюеры — это прежде всего люди, и все — со своими особенностями. Человеку холерического темперамента, возможно, будет нелегко соблюдать строгие требования агентства. Могут ли быть допущены к работе над проектом такие интервьюеры?

Возьмем для примера такую ситуацию: многие агентства специфицируют конкретные вопросы, которые интервьюер должен задавать в качестве наводящих. Среди них могут быть, например, такие: «Как интересно, не могли бы вы рассказать об этом подробнее?» или «Но почему вы так считаете?» Однако в устах некоторых интервьюеров подобные вопросы звучат неестественно. Более естественными выглядели бы вопросы типа «Что, серьезно?» или «О, Боже, неужели?» В большинстве случаев респонденты живо реагируют на подобные комментарии, дают более подробные и исчерпывающие ответы. Можно ли разрешить интервьюеру продолжать в том же духе или требовать от него строгого соблюдения инструкций?

По мнению автора, это не тот случай, когда в опрос привносится смещение результатов, потому что интервьюер в данном случае не вкладывает в сознание респондента никаких идей. Возможно, наоборот, он получает от респондента реакцию более высокого качества (и, следовательно, более ценную для клиента), чем при использовании стандартной методики. Это не означает, что можно приветствовать анархию. Необходимо рассматривать каждую ситуацию конкретно. Автор вспоминает, как один британский банкир пришел в ужас, услышав, что интервьюер, родом из Австралии, называл его клиента «партнер». Банкир говорил, что это недопустимо — обращаться к его потребителям в такой манере, и требовал отстранить интервьюера от дальнейшего участия в своем проекте. Как ни странно, этот интервьюер провел сотни опросов и не имел ни единой жалобы от потребителей. Он не пытался скрыть свой австралийский акцент, и люди воспринимали его таким, какой он есть, с его обычной манерой разговора. Он никогда не отступал от схемы опроса, лишь иногда добавляя «партнер» или «о’кэй, партнер» в ответ на комментарии респондента.

Можно сказать, что респонденты более охотно участвуют в опросе, если интервьюер выглядит более естественно и проявляет искреннюю заинтересованность в том, что они ему сообщают. Тем не менее здесь тоже нужна осмотрительность. Недопустимо, например, если интервьюер говорит «прекрасно» каждый раз, когда респондент дает самую высокую оценку по предложенной шкале — тем самым интервьюер, сам того не желая, психологически поощряет респондента давать только положительные ответы.

Как поддержать интерес интервьюера в проекте отслеживания

Постоянный контроль — это не единственный способ поддержать высокий стандарт работы интервьюера. Интервьюер высокой квалификации никогда не забывает о том, что это он провел сотни опросов по конкретному проекту, но для большинства участников этот опрос — нечто новое в жизни. Поэтому очень важно, чтобы интервьюер проявлял и в 50-й, и в 100-й раз такой же интерес к словам респондента, как и в самый первый раз. Для того чтобы поддержать интерес к проекту отслеживания, агентство регулярно проводит дополнительные занятия с интервьюерами, где им неоднократно напоминают цель их работы и ее значение как для клиента, так и для агентства.

Однако самая эффективная долгосрочная мотивация возникает там, где работники агентства проявляют искренний интерес к ходу осуществления проекта. Сюда входит активное стремление получить обратную связь от интервьюеров (хорошо, если интервьюеры видят, как полученные ими результаты сразу идут в работу). Это включает также ситуации, когда представитель компании-клиента настолько заинтересован в результатах работы, что готов сопровождать интервьюера во время опроса. Такая заинтересованность является мощным стимулом в работе наряду с проявлением должного уважения к навыкам и умениям интервьюеров и к тому вкладу, который они вносят в успешное осуществление проекта.

Безусловно, хорошей практикой является регулярное совершенствование навыков и умений интервьюеров на каждом конкретном проекте. Это особенно важно, если по ходу исследования вносятся какие-либо изменения в опросный лист, меняется группа обследования или товары и услуги, которые являются предметом опроса.

Участие и заинтересованность клиента на этапе опроса

Многие компании проявляют особый интерес к тому, на каком уровне работает их персонал с потребителями. Часто компании вкладывают большие деньги в то, чтобы обучить своих торговых работников, обслуживающий персонал и продавцов работать с потребителями в самых разнообразных ситуациях. Это очень характерно для тех компаний, где обслуживание потребителей считают стратегическим показателем. Наверняка, в такой компании захотят убедиться, что интервьюеры, которых агентство привлекает для выполнения ее проекта, должным образом представляют компанию при встрече с потребителем. Многие клиенты стараются предоставить агентству вспомогательные материалы — подробное описание товаров и услуг или словарик самых общих терминов, которые могут использовать потребители в ходе опроса. Иногда компания передает в агентство дополнительные материалы, например внутренние видеозаписи занятий с персоналом или документы, которые предписывают, какие «голосовые интонации» должны ее работники использовать при общении с потребителем.

Если позволяет время, представителю клиента следует посетить инструктивные занятия с интервьюерами. В результате интервьюеры не только получат месседж от компании о том, что она по-настоящему заинтересована в успешном осуществлении проекта, но смогут также решить разнообразные проблемы, возникающие в процессе работы. Это позволяет также избежать ненужных задержек с началом полевой работы, которая почти всегда требует дополнительных разъяснений клиента.

Прослушивание клиентом опросов, касающихся удовлетворенности потребителя

Клиенты нередко выражают желание посетить хотя бы несколько опросов, которые проводятся по их проекту. Причин этому может быть много. Назовем лишь некоторые из них:

• Желание прослушать несколько интервью по вновь созданной анкете, чтобы убедиться, что у человека не возникает никаких трудностей с пониманием вопросов, а их интерпретация совпадает с замыслом разработчиков анкеты. Если такое прослушивание проводится в начале обследования, его рассматривают как пробный опрос.
• Желание получить представление о степени интереса и интенсивности ощущений респондентов по предметам, затронутым в обследовании. Данные, полученные в ходе опросов, покажут клиенту количество людей, отвечающих на каждый вопрос, но не передадут чувства, которые люди при этом проявляют. Посещение опросов дает представление об уровне эмоций, которые показывают респонденты по отношению к обсуждаемой теме.
• Желание услышать, как интервьюеры работают с телефонными звонками, а именно их объективность, умение руководить ходом беседы и порядок регистрации ответов. Это чрезвычайно важные вопросы, поэтому клиенту необходимо убедиться в том, что интервьюеры владеют навыками, позволяющими им не оказывать влияния на ответы респондентов (что может привести к искажению результатов). Есть много способов, которыми интервьюер может повлиять на ответы респондента, например:

  – Если ставить логическое ударение на определенных словах при чтении вопроса или шкалы ответов. Например, вопрос: «Как бы вы оценили персонал в плане того, что они делают все возможное, чтобы вам помочь?» может вызвать иную реакцию, чем озвученный следующим образом: «Как бы вы оценили персонал относительно того, что они делают все возможное, чтобы вам помочь?»

  – Если подсказывать респонденту ответ. Например: «Вы сказали, что они вам понравились. Что вам в них понравилось? Их дружелюбие, о котором вы говорили раньше?»

  – Если говорить слишком быстро, так что респондент не вполне понимает вопрос.

Вопросы, которые задает клиент при прослушивании интервью

Если клиент все-таки решил посетить прослушивание, персонал агентства, естественно, ждет, что он начнет задавать вопросы или делиться наблюдениями. Вопросы клиент может задавать разные, в зависимости от цели визита, глубины его познаний в сфере исследования рынка, его должности и круга обязанностей в компании. Например, при посещении пробной («пилотной») сессии клиент может задать следующие вопросы:

• Какие вопросы возникли у ваших интервьюеров во время инструктивных и подготовительных сессий?
• Что думают ваши интервьюеры об анкете?
• Какие вопросы, по мнению ваших интервьюеров, было трудно задавать, а какие вопросы вызывали трудности с ответом?
• Можно ли ознакомиться с содержанием инструктивных материалов для интервьюеров?
• Почему вы считаете, что респонденты неправильно понимают вопрос Х ?
• Как много времени занимает одно интервью?
• А что, если?.. (далее следуют разнообразные предложения по изменению формулировок в анкете, порядка расположения вопросов и т.д.).

Если представитель клиента не имеет большого опыта в исследовании рынка, диапазон вопросов расширяется, например:

• Каким образом вы находите людей для участия в этом исследовании?
• Многие ли отказываются участвовать в опросе?
• Насколько представительными можно считать мнения, полученные от респондентов, если я сам всегда отказываюсь участвовать в опросе под предлогом того, что у меня нет на это времени?
• Какой уровень подготовки получают ваши интервьюеры?
• Намного ли отличаются ответы, которые мы слышим в этом исследовании, от других обследований, которые вы проводили?
• Кем являются ваши другие клиенты?
• Можете ли вы нам предоставить фамилии и адреса людей, участвовавших в опросе, — мы заверяем вас, что многие из них извлекут пользу от того, что с ними свяжется наш отдел обслуживания?

Более опытные исследователи также могут спросить об уровне обратной связи, принципах создания выборки и т.д.

Некоторые вопросы могут быть обусловлены теми обязанностями, которые выполняет представитель клиента в своей организации. Например, работников отдела маркетинга будут интересовать высказывания респондентов об «имидже» компании, их отношение к товарам, услугам, рекламе и конкурентам компании. Отдел обслуживания потребителей и работники телефонного центра по связям с потребителями будут интересоваться не только взглядами респондентов на уровень обслуживания, но и тем, как интервьюеры устанавливают контакт и пути взаимодействия с участниками опроса. Операционный персонал, как правило, интересуется отношением потребителей к уровню работы операционных систем компании (или к отсутствию таковых).

Агентство и его потребитель

Если не проявить должного внимания к визиту клиента, персонал агентства может недооценить то влияние, которое могут оказывать на него даже мелкие детали. Визит клиента — это возможность показать, какое огромное значение агентство придает работе со своими потребителями. Накануне визита, например, агентству желательно получить список гостей и предположительное время их прибытия. Это даст возможность работнику, ответственному за прием посетителей, или интервьюеру (если клиент намеревается присутствовать при персональном опросе) должным образом встретить и приветствовать представителей компании. Необходимо узнать о наличии у гостей каких-либо специфических требований (присутствие в группе людей с ограниченными возможностями, заказ такси для встречи на вокзале и на обратную дорогу до вокзала). Естественно, интервьюеров необходимо подготовить и проинструктировать по поводу посещения, решить организационные моменты, связанные с визитом, например, обеденный перерыв и т.д. Необходимо также заранее подготовить документацию, которая может потребоваться в ходе визита, в частности бланки обязательства о сохранении конфиденциальности, бумажную копию анкеты, подборку инструктивных материалов для интервьюеров, а также ручки и бумагу для записей. Если гостей предстоит встречать в центральном офисе, необходимо позаботиться о должной подготовке помещений. Если клиенту понадобится зайти в туалетную комнату и он увидит, что там не соблюдены санитарно-гигиенические нормы или не достает необходимых принадлежностей, он может подумать, что агентство не заботится о своем персонале и о комфортных условиях работы.

В наши дни далеко не все компании соблюдают дресс-код. Сейчас на работе принято одеваться более свободно, чем это было 10 или 20 лет назад. Тем не менее в компании высокого класса по-прежнему работники, которым поручено организовать прием клиента, или те, кто может быть ему представлен, должны одеваться более официально. В большинстве случаев это предполагает элегантную одежду делового стиля. Большинство клиентов во время визита надевают формальную одежду — строгий костюм или корпоративную униформу, поэтому работники агентства должны выглядеть соответствующим образом.

Клиенты часто подмечают мельчайшие детали, поэтому приветственная улыбка и крепкое рукопожатие при встрече уже покажут радушие принимающей стороны. Работникам агентства следует также обращать внимание на сигналы, исходящие от клиента, например, как представители клиента общаются между собой. Если их общение носит неофициальный характер, работникам агентства тоже не стоит вести себя подчеркнуто официально. Если представители клиента задают вопросы, отвечать на них следует правдиво и сжато. Клиент понимает, что персонал агентства может в данный момент не знать всех ответов, поэтому он, как правило, с радостью соглашается получить необходимую информацию позднее.

Готовясь к приему клиента, нельзя забывать, что цель его визита — услышать, как интервьюер работает с респондентом. Если клиент прослушал интервью в телефонном центре, ему следует предложить встретиться, по желанию, с теми интервьюерами, которых он прослушал. Обычно посетитель отказывается от предложения, но если у него появилось такое желание, то это можно рассматривать как прекрасную возможность показать интервьюеру, насколько высоко ценится работа, которую он делает. Такая встреча займет не более пяти минут, но она покажет клиенту полную прозрачность методов работы агентства и его доверие к своему персоналу.

После отъезда клиента

Сразу же после отъезда клиента рекомендуется поблагодарить интервьюеров за их вклад и сразу же собрать отклики о том, что было сделано на высоком уровне и что можно было бы улучшить. Если у кого-то из интервьюеров возникли вопросы, им следует организовать встречу с руководителем группы, либо в тот же день, либо при первой возможности. Кроме того, рекомендуется написать резюме по итогам визита, напечатать его и разместить в специальном файле. Резюме должно содержать список гостей, список всех интервьюеров, которые принимали участие в организации визита, перечень затронутых ключевых вопросов и протоколы их обсуждения, а также согласованный план последующих действий. Наконец, исследователь агентства должен составить записку и изложить в ней свои замечания о достижениях или просчетах, а также суммировать «полученные уроки», которые помогут лучше организовать работу в следующий раз.

Необходимость контроля за правильным использованием выборки

По мере увеличения количества опросов крайне необходимо следить за тем, как распределяется и используется выборка, и идентифицировать возникающие проблемы как можно раньше. Например, очень часто исследование уровня удовлетворенности потребителей предполагает опрос потребителей, недавно вступавших в контакт с компанией. Компания предоставляет агентству (произвольно) отобранную выборку для анкетирования. Но агентство может не знать, а в компании могут не понимать, что человек, создававший выборку, мог ее исказить особым образом.

Например, по инструкции, опрашивать нужно людей, недавно вступавших в переписку с компанией. Компания намерена выяснить, насколько удовлетворены потребители тем, как ее работники реагируют на письменные запросы или жалобы. Но если работнику компании, создававшему выборку, не сообщили цели обследования, он мог составить выборку из потребителей, которым компания недавно отправила маркетинговое письмо, а это не отвечает целям исследования. Но если интервьюеры и работники агентства отлично знают свою работу, наличие проблемы становится очевидным уже при первых собеседованиях. К сожалению, в такой ситуации приходится откладывать начало работы по проекту до получения новой выборки.

Контроль за соблюдением квоты

Одна из самых сложных задач для агентства — это соблюдение квот (групп), которые могут быть установлены для полевой работы. Как уже было сказано ранее, отбор по квотам (группам) — это один из самых распространенных методов отбора респондентов при проведении исследований относительно уровня удовлетворенности потребителей. Даже если компания-клиент или агентство владеют информацией о рынке, при исследовании можно устанавливать специальные квоты, которые обеспечат соответствие профиля респондентов выборке или потребительской базе. Эти квоты могут основываться на демографических характеристиках, таких как возраст или пол, либо на использовании товара, или на других характеристиках. Когда проект находится «в поле», для интервьюеров могут устанавливаться какие-то специфические квоты, и их задачей будет подбор тех людей для обследования, которые соответствуют требованиям квоты.

Контроль за использованием выборки

Еще одна проблема, с которой может столкнуться агентство — использование выборки. Если компания-клиент предоставляет для исследования выборку из своей потребительской базы, обычно она заранее согласует с агентством количество имен, которое необходимо включить в список для того, чтобы достичь необходимого числа опросов. Для этого не существует никакой магической формулы, каждый раз этот вопрос решается в зависимости от конкретной ситуации. Например, агентство может договориться с клиентом о том, что количество имен в списке должно в 10 раз превышать установленное число опросов. Клиент может потребовать, чтобы интервьюеры не звонили некоторым категориям потребителей, например людям, чьи телефоны не указаны в справочнике, или тем, кто участвовал в каком-либо исследовании рынка в течение последних 12 месяцев. Чем больше устанавливается критериев, тем большее количество имен из первоначального списка будут потеряны для исследования. Если клиент не может в короткое время предоставить агентству дополнительный список имен, очень важно, чтобы интервьюеры старались не «упустить» ни единого потенциального респондента из той совокупности, которая у них осталась. Это может означать, например, что один и тот же номер придется набирать (если речь идет о телефонном опросе) не менее 10 раз в течение пяти дней для того, чтобы получить согласие на проведение интервью, и только после этого можно будет отказаться от потенциального контакта или заменить его другим. Современные технологии облегчают интервьюеру организацию работы с квотой, которую он должен достичь. В конце каждого рабочего дня он может отправлять данные в головной офис в электронном формате, что позволит системе контролировать продвижение проекта. Если интервьюер выполнил установленную для него квоту, компьютерная система заблокирует файл выборки, и интервьюер больше не сможет получить из нее ни одного имени.

Необходимость пробных (пилотных) исследований

Пилотное исследование — это термин, который означает испытание анкеты до начала полномасштабного анкетирования. Можно найти много оснований для проведения пилотного обследования.

Ian Brace (2004: 164-65) указывает 15 важных причин для проведения таких испытаний:

• необходимо проверить, как звучат на слух вопросы (они могут прекрасно выглядеть на бумаге, но при проговаривании вслух звучат высокопарно или неестественно);
• необходимо проверить, правильно ли интервьюеры понимают вопросы (если они не понимают вопрос, то очень мало шансов, что его поймут респонденты);
• необходимо убедиться в том, что респонденты правильно понимают вопросы (в вопросах может содержаться профессиональная лексика);
• необходимо убедиться, что в опросном листе нет вопросов, имеющих двоякий смысл или иное толкование, а также вопросов наводящих или содержащих в себе ответ;
• необходимо убедиться, что респонденты смогут ответить на вопрос (то есть анкета содержит вопросы, на которые респонденты в состоянии ответить);
• необходимо убедиться, что анкета дает достаточное количество ответных кодов (если упустить какие-то из них, это приведет к возрастанию числа «других» ответов, которые могут потребовать кодирования на стадии анализа);
• необходимо проверить, может ли анкета удержать внимание респондента в течение всего опроса;
• необходимо выяснить, понятны ли интервьюерам и респондентам направляющие инструкции к анкете;
• необходимо убедиться, что процесс интервью проходит плавно (то есть, анкета не имеет или имеет минимальное количество резких переходов между явно не связанными между собой темами);
• необходимо установить, сколько времени займет опрос (это связано со стоимостью всего проекта);
• необходимо проверить текст анкеты на наличие ошибок;
• необходимо проверить, как работает инструкция;
• необходимо проверить, как работает в поле технология.

Нет необходимости проводить много пилотных опросов. Для опроса в сфере бизнеса достаточно провести 5-10 интервью. Возможно, более 30 интервью понадобится для опроса среди потребителей, в котором предусмотрены сложные направляющие инструкции или группы по разным сегментам, для каждой из которых разработаны отдельные вопросы.

В некоторых компаниях полагают, что достаточно провести испытательное анкетирование среди коллег. Безусловно это поможет сэкономить средства и выявить ряд проблем, но не заменит пилотного исследования, которое проводят реальные интервьюеры среди реальных респондентов.

Пилотные интервью с респондентами

Есть несколько способов провести пилотные интервью с респондентами. Так, исследователь может сопровождать интервьюера, который проводит предварительную проверку анкеты в опросе «лицом к лицу». В конце опроса исследователь может спросить респондента, были ли какие-то вопросы, которые трудно было понять или на которые сложно давать ответ. Исследователь также может попросить респондента дать дополнительную информацию о том, что лежит в основе его непредвиденных ответов на вопросы анкеты. Это может указывать на неверное построение вопроса или на то, что в опрос следует ввести дополнительный элемент. Если опрос проводится по телефону, можно использовать тот же подход и задавать вопросы в конце интервью.

Не всегда есть возможность сопровождать интервьюера или прослушивать пилотные опросы. Если такая возможность отсутствует, необходимо получить обратную связь от интервьюеров как можно раньше после завершения пилотного опроса. В этих случаях рекомендуется попросить интервьюеров делать заметки о всех подробностях проведения пробных опросов, а затем просматривать их вместе с интервьюерами. Часто мельчайшие подробности могут иметь значение. Например, анкета спрашивает потребителя о причине его последнего визита в офис компании и предлагает для ответа выбрать только одну позицию. Но респондент может ответить, что посещал компанию для того, чтобы решить целый ряд вопросов или провести несколько трансакций, потому что он привык «накапливать» дела, чтобы сделать их за один раз. Если интервьюер может кодировать только один ответ, это исказит собранную информацию. Мало того, если этот вопрос будет в дальнейшем использоваться для анализа двигателей удовлетворенности потребителя, искажение информации только усугубится.

Некоторые компании предпочитают вместо проведения пилотного исследования считать таковым первые интервью на начальном этапе осуществления проекта (то есть проводить анализ первой серии плановых опросов). В компаниях считают, что это экономит время и, если такой анализ не выявит никаких ошибок, это экономит средства на проведение отдельного пробного обследования. Такая экономия может обернуться разнообразными проблемами. Во-первых, агентство должно приостановить проведение опросов для того, чтобы внести возможные изменения в анкету или в ход исследования. Затем придется заново инструктировать интервьюеров, прежде чем продолжить работу на проекте. Если речь идет о крупномасштабном исследовании, в нем задействовано большое количество интервьюеров, и такой подход «стоп-вперед» не только нежелателен сам по себе, он может негативно отразиться на энтузиазме и интересе интервьюеров, работающих на проекте. Это также нарушает график работы исследователей, которые вынуждены вступать в переговоры с клиентом по поводу перерыва в продвижении проекта и согласовывать новое расписание. Это создает неудобства для аналитиков и программистов, которые должны прервать работу над другими проектами для того, чтобы внести изменения в этот. Мало того, клиенту, возможно, тоже придется менять внутренний график из-за этих задержек.

Решение серьезных вопросов, возникающих в ходе интервью

Иногда в ходе проведения опросов об уровне удовлетворенности потребителей респонденты затрагивают очень серьезные вопросы. Например, они могут приводить примеры мошенничества или другого потенциально противозаконного поведения. Респонденты могут выражать разочарование по поводу того, что их проблемы или жалобы не рассматриваются, или рассказать о какой-либо ситуации, которая привела к стрессу или финансовым потерям. Как должен поступить интервьюер, а с ним и агентство, столкнувшись с такой проблемой? Ведь вступительная часть анкеты содержит напоминание респондентам о том, что вся информация, которую они сообщат, будет считаться конфиденциальной.

Действия, которые может предпринять агентство, зависят от конкретной ситуации. В Великобритании, например, цеховой кодекс поведения не имеет превосходства над законом, а Общество рыночных исследований Великобритании организовало для своих членов консультативную службу, призванную оказывать помощь в подобных ситуациях.

Однако если агентство в силах решить вопрос, затронутый респондентом, то при письменном согласии респондента агентство может переслать подробности проблемы клиенту. В этом случае респондент должен точно знать, какая информация будет передана компании, и его письменное согласие должно быть получено до передачи информации. Респондентам также нужно сообщить (по возможности) кому в компании передается информация. Никакие другие данные, полученные от респондента в ходе опроса, не должны пересылаться клиенту (см. следующий раздел).

Важность соблюдения клиентом конфиденциальности

Исследование рынка зависит от добровольного согласия граждан и сотрудников потребительских организаций выделить время для участия в обследовании. Для того чтобы сохранить их доверие, важно всякое изучение рынка проводить прозрачно — открыто и честно, так, чтобы оно было объективным, не нанесло вреда и не было расценено как вторжение. Кроме того, исследователь рынка должен соблюдать конфиденциальность респондентов и не использовать полученные данные дабы не навредить респондентам или поставить их в неловкое положение. Исследователь должен также гарантировать, что он не станет представлять данные в искаженном виде.

Без респондентов не было бы исследований рынка — это непреложный факт. Поэтому в большинстве стран, где существует развитая отрасль рыночных исследований, есть и своя профессиональная организация с ее собственным кодексом поведения.

Как завоевать доверие респондентов

Один из самых распространенных вопросов, который задают исследователю люди, приглашенные к участию в исследовании: для кого это? Потенциальные респонденты обычно хотят убедиться, что им не пытаются навязать какой-нибудь товар (продать под видом исследования). Кроме того, они желают знать, кто является спонсором, потому что им небезразлично, будут ли они услышаны компанией.

В некоторых случаях, особенно если речь идет об исследовании уровня удовлетворенности потребителей, необходимо назвать заказчика обследования в самом начале. Это неизбежно, например, если интервьюер должен спросить о последних операциях, которые выполнялись для респондента в организации, и организация предоставила соответствующий список потребителей. В других случаях клиенты предпочитают, чтобы их идентифицировали в конце опроса. Однако интервьюер не всегда может сообщать респондентам, кто заказал исследование, так как это может повлиять на ответы респондентов и исказить тем самым результаты обследования. Поэтому важно, чтобы интервьюеры добивались доверия респондентов своей открытостью и откровенностью в осуществимых пределах.

Иногда респондент, зная название компании-спонсора, забывает, что он на самом деле разговаривает с работником исследовательского агентства, начинает вдаваться в подробности о товарах или услугах (что может, в принципе, дать много полезной информации), но комментарии его не соответствуют данному контексту. Именно в таких ситуациях проявляется мастерство интервьюера, так как для него важно предстать перед респондентом в качестве полномочного посла и от агентства, и от компании-клиента.

Заключительный комментарий

Однажды директор компании, занимающейся рыночными исследованиями, сказал: «Для исследователя выйти на улицу и наблюдать, как проводится анкетирование — это все равно, что для генерала посетить передовой пункт эвакуации раненых во время войны — не рекомендовано!» Тем не менее в этой главе показана необходимость знать и контролировать все, что в действительности происходит во время анкетирования.

Эта статья посвящена тому, как убедиться, что проводимое вами — обязательный инструмент в арсенале каждого разработчика и оптимизатора конверсии — оправдывает свое предназначение на 100%.

Качественное исследование пользователей позволяет получить глубокое и содержательное понимание особенностей их поведения, привычек и т.д. К сожалению, проведение подобного рода исследований намного сложнее, чем это может показаться на первый взгляд. Вероятно, каждый, кто проводил такие эксперименты, сталкивался с тем, что:

• в ходе исследования участники не понимают, что от них требуется и что они должны сделать;
• формулировки ваших вопросов наталкивают участников на определенный ответ либо являются причиной искажения результатов;
• в течение эксперимента участники не успевают выполнить задачу за отведенное время;
• после проведения эксперимента больше времени отнимает анализ структуры эксперимента, а не его результатов.

Если с вами случалось нечто подобное, не пугайтесь. Вы не одиноки. Даже самые опытные исследователи время от времени совершают промашки.

К счастью, есть способ, который поможет вам избежать неудачного эксперимента: .

Пилотное тестирование — это своего рода репетиция, позволяющая проверить исследовательский подход на небольшом количестве участников. Хотя пилотное тестирование и является дополнительным шагом, оно может сэкономить вам кучу времени и ресурсов, если вы вдруг обнаружите недочеты.

Поскольку корректное проектирование эксперимента является непременным условием его проведения, важно найти время на оценку, тестирование и доработку дизайна до его запуска. Поступая таким образом, вы можете гарантировать, что ваше исследование пользователей пройдет гладко, а вы получите от него максимальный эффект.

Самое интересное, что пилотное тестирование может быть применено для всех подходов.

Начните с процесса

Для любого подхода к исследованию, какой бы вы не выбрали, характерны следующие этапы:

1. Разработка определенного исследовательского подхода (методология, инструменты, профиль целевого участника).

2. Пилотное тестирование эксперимента.

3. Подбор квалифицированных участников исследования.

4. Проведение исследования.

5. Анализ результатов.

6. Формирование выводов по результатам исследования.

Любое исследование следует начинать с вопроса «Что мы намереваемся узнать?». Вы можете руководствоваться этим вопросом при разработке методологии исследования, выборе инструментов, определения профиля участников. Пилотное же тестирование позволит быстро проверить проект исследования и улучшить его.

Обычно пилотное тестирование состоит из двух этапов: 1) проработка структуры; 2) проведение тестирования.

В ходе первого этапа организаторы стараются рассмотреть каждый аспект планируемого эксперимента. Вот что подлежит анализу:

• цели высокого уровня или то, что исследователи стремятся узнать;
• инструменты, которые планируется использовать;
• задачи, которые будут выполнять участники;
• вопросы участникам;
• размер выборки;
• профиль участника.

Нередко много времени занимает обсуждение вопросов, которые будут заданы участникам эксперимента. Рассмотрению подлежит огромное число вариантов. Такое часто случается из-за страха упустить что-то важное, что потом не позволит сделать какой-либо важный вывод. Как итог: каждое из заинтересованных в результатах исследования подразделений старается задать участнику какой-то свой вопрос.

Однако надо сказать, что такой подход опасен. Это может привести к тому, что команда просто упустит из виду главную цель, ради которой, собственно, и проводилось исследование; а также получит такие данные, которые потом будет трудно интерпретировать, тем самым ограничив количество генерируемых практических выводов.

Чтобы избежать подобного, стоит обратить внимание на следующий подход на этапе подготовке вопросов:

Фаза 1: сначала группа исследователей составляет список потенциальных вопросов. Они затем будут более тщательно рассмотрены на этапе проработки структуры исследования. Цель состоит в том, чтобы создать небольшой пул вопросов, которые будут понятны, не будут наталкивать участника на тот или иной ответ, будут дополнять друг друга. В результате большая их часть из первоначального списка оказывается удалена, а то, что осталось — переработано.

Фаза 2: вторая часть заключается в проведении пилотного тестирования.

Эти исследования не отнимают много времени и проводятся многократно с привлечением одного или двух участников. Основываясь на ответах респондентов, оценивают эксперимент, вносят правки и повторно тестируют.

Исследователи повторяют этот процесс до тех пор, пока не будут обнаружены все ошибки.

Существуют различные критерии, которые можно использовать для тестирования, но рекомендуется придерживаться трех основных: ясность инструкций, задачи участника и вопросы к нему, время исследования:

• ясность инструкций: инструкции не должны вводить в заблуждение и вызывать недопонимание;
• тестирование заданий и вопросов: включает в себя тестирование рабочего процесса исследования;
• время исследования: отслеживается время выполнения каждой задачи и всего эксперимента.

Пример

Один клиент хотел провести исследование новых областей своего сайта, которые были специально созданы под новый оффер его компании. В частности, он хотел запустить на новом лендинге и вспомогательной странице с контентом, раскрывающем особенности предложения.

При содействии клиента компания разработала бриф, в котором были указаны основные цели эксперимента, целевые участники, бюджет проекта и сроки реализации. Основными целями исследования стали достижение понимания особенностей вовлечения клиента (айтрекинг) на обеих страницах и изучение понимания клиентом нового сервиса.

Ориентируясь на эти цели и бюджет, был разработан исследовательский подход к проекту. Поскольку клиент настаивал на проведении айтрекингового исследования, было решено воспользоваться Sticky, удаленным инструментом для проведения такого рода исследований. Этот сервис был выбран, поскольку он позволяет проводить дистанционные немодерируемые айтрекинговые эксперименты.

Также был задействован сервис Sticky Crowd для подбора участников. Критерии выбора респондентов были взяты из последних исследований, что были проведены самим клиентом.

Используя возможности Sticky, удалось определить методологию исследования и разработать рабочий процесс для участников. Затем был составлен первоначальный список потенциальных вопросов, которые могли бы дополнить айтрекинг.

В ходе проработки структуры эксперимента были рассмотрены рабочий процесс и задачи, сроки их выполнения и финальные вопросы. Было решено использовать открытые вопросы, чтобы не искажать ответы участников, и ограничить их количество до пяти.

Вопросы были взяты из первоначального списка и переработаны так, чтобы они дополняли друг друга и были направлены на достижение поставленных целей, в частности — изучение того, как люди восприняли новый сервис.

После этого был дан старт пилотному тестированию.

Поскольку средства платформы Sticky не позволяли провести айтрекинговое исследование на двух людях, были использованы другие бесплатные инструменты. Оба респондента соответствовали профилю целевого участника. Тест тут же указал на такие недостатки дизайна, как несовершенство инструкции, которая вызывала путаницу и замешательство, и недостаточное время для выполнения задач.

Инструкция не обеспечивала участников достаточной контекстуальной информацией в отношении того, что надо искать, и, как итог, люди не понимали, какие следовало предпринимать действия. Также исследователи предполагали, что 5 секунд вполне хватит каждому участнику, чтобы успеть ознакомиться с содержимым каждой страницы. Однако размещенный контент был весьма разнообразен, и 5 секунд явно было мало, чтобы люди успевали просмотреть всю страницу.

После внесения корректировок был организован и проведен второй пилотный тест с другими двумя участниками. Изменения в дизайне позволили решить возникшие на предыдущем раунде тестирования проблемы.

Второе пилотное тестирование не только подкрепило уверенность исследователей, что можно переходить к проведению основного эксперимента, но и привело к так называемому «ага!»-моменту, прозрению.

Пилотные тесты дали понять, что у участников были определенные ожидания касательно функциональной стороны каждой страницы, которую они посещали. Например, респонденты ожидали, что главная задача лендинга — захватить их внимание и перевести на страницу с сервисом, где, как они думали, им будет представлено больше информации о нем и как его использовать в своей работе. Эти выводы изменили стратегический подход для организации обеих страниц.

Иногда предварительное тестирование действительно может озарить вас какими-то новыми идеями, позволить увидеть то, что раньше вы просто не замечали. Это приятный бонус проведения таких исследований, но надо помнить, что любую новую идею нужно проверять путем проведения дополнительных тестов.

Заключение

Проведя пилотное тестирование, вы не только улучшите выводы, полученные от одного проекта, но и сам процесс проведения исследований.

Рефлективная и итерационная природа пилотных тестов ускорит развитие ваших навыков исследователя.

Хоть пилотный тест и требует дополнительного времени и ресурсов, но поверьте, что эта небольшая инвестиция позволит получить гораздо более значительные результаты в следующем исследовательском проекте и даже за его пределами.

Высоких вам конверсий!

По материалам: