При использовании метода судейства возникает ряд моментов, требующих внимания.

- Не все представители исследуемой совокупности соглашаются стать судьями, так как это связано с достаточно большими потерями времени. Вознаграждение помогает не всегда. В то же время требуется, чтобы судьи представляли адекватную модель исследуемой совокупности.

- Существует проблема влияния на мнения судей их собственных установок. Например, при оценке вопросов о досуге будет велико влияние личных пристрастий и хобби.

- Не все судьи могут оказаться состоятельными. Некоторые просто могут не понять проблему. Нельзя же требовать от каждого респондента, чтобы он полностью и на достаточно высоком уровне понимал проблемы, стоящие перед исследователями.

Обычно судьям предлагается некоторая шкала для оценки вопросов проектируемой анкеты. Например, можно оценить пригодность, адекватность или уместность вопроса по шкале от очень плохая до отличная. Таким образом, при оценке мнений судей возникают почти те же вопросы, что и при проектировании обычной анкеты. Здесь измеряется отношение судей к тем аспектам проблемы, которым посвящены вопросы проектируемого инструмента измерения.