Главное меню
Главная
Новости
Материалы
Справочник
 
Главная arrow Материалы arrow Как мы работаем arrow 16PF в Росии или "Каша из топора"
16PF в Росии или "Каша из топора" Печать E-mail



 
  В ретроспективном взгляде одни крупные события легко маскируют другие, и многое из того, что в поворотах истории было, фактически, ключевым, часто выглядит теперь малозначительным... и столь туманным или искаженным, что в этом, кажется, попросту уже незачем разбираться (есть чем заняться: сегодняшние задачки - острее). Еще надо учесть, что люди, не имевшие отношения к событиям, не могли их воспринять "вживую" и оттого, не галлюцинируя, обычно не имеют и конкретных "зацепок" для ясного понимания прошлого. И чем практичней эпоха, чем центральнее и напряженее в судьбах текущие производственные задачи, тем легче всякие "помню время"... оставляют тем, кто регрессировал к прошлым контекстам, кто остался в забытой другими теме. И взгляд в прошлое - так, мимоходом, беглым, эскизгым скольжением по патине давних шедевров. Ах, у них бы поучиться - у мастеров...

Размещенная здесь статья А.Г.Шмелева, хорошо известного психологам своей логичной, щепетильной и увлеченной воимя дела требовательностью к оценке диагностических инструментов и диагностических процедур, дает клинических психологогам возможность поразмыслить о том, что многим "практикам" кажется туманным и виртуальным, а в действительности является определяющим в нелегкой работе "кузницы" тестов.
А.К.
 
 
 
 
 




16PF В РОССИИ ИЛИ "КАША ИЗ ТОПОРА"



Шмелев А.Г.


 
Может быть, в этой статье ("трилогии") читатель не найдет желанного для него систематического описания знаменитой методики 16PF или статистически строгих сведений об ее эффективности. Но об этом написано на русском языке уже немало в другом месте (впрочем, про эффективность практически не написано). Моя цель здесь - поделиться лично пережитым опытом работы (так и просится слово - "борьбы") по адаптации этого теста, и при этом как-то обосновать мой вывод, почему мы в настоящий момент на самом деле не имеем и не можем иметь юридически- и научно-корректной русскоязычной версии 16PF.
Может быть, мои коллеги-тестологи (например, Л.И.Вассерман, И.Н.Гильяшева, В.С.Магун, М.П.Мирошников, Р.В.Рожанец, Л.Н.Собчик), которые, как известно, тоже занимались адаптацией этой методики или сходных методик, по-своему описали бы свой опыт, но я расскажу о том, к чему имел непосредственное отношение я сам, - об опыте работы с этой методикой в МГУ и по договору с Институтом Кэттелла.
 
Мой опыт делится на три этапа, совершенно разных по смыслу выполняемой работы, статусу и целям. Эти этапы образуют своеобразную "трилогию":
1) "Открытие Америки" (1981-1991) - преимущественно научно-исследовательская и учебно-методическая работа с методикой 16ЛФ, послужившим в МГУ фактически дидактическим образцом абстрактного многофакторного личностного теста.
2) "Под пятой копирайта" (1991-1995) - работа по лицензионному соглашению с Институтом Кэттелла, создание и распространение лицензированной и адаптированной компьютерной версии 17ЛФ.
"Каша из топора" (1996 - настоящее время) - создание и распространение национальной альтернативы тесту Кэттелла - оригинального теста 16РФ, основанного на ином банке заданий (вопросов) и иной факторной структуре, вышедшей из нашего отечественного проекта "Тезаурус русскоязычных черт".
 
 
"Открытие Америки" (1981-1991)
 
На рубеже 70-80х годов у советских психологов впервые появилась возможность "выходить" на достаточно мощные ЭВМ. И нашлись чудаки-фанаты, готовые "выходить" по ночам, готовые разрабатывать свои собственные программы на Фортране, так как стандартные пакеты (например, BMDP) не позволяли обсчитывать огромные массивы из ответов каждого испытуемого на каждое задание теста.
Освоив в начале 80-х годов вместе с Владимиром Похилько факторный анализ матриц интеркорреляций между пунктами крупных тестов (матриц порядка 187*187 или 377*377), мы увидели, насколько на самом деле мягко говоря "далеки от совершенства" существующие русские переводы известных тестов, по которым уже тогда собирались массивы из многих сотен протоколов. Почти всегда самым главным у нас оказывался фактор "социальной желательности" (т.е., главные различия пролегали между "лгунами" и "искренними" испытуемыми), многие пункты вовсе не работали на те шкалы, как им полагалось (то есть, некорректными были не только нормы, некорректными были сами ключи) и т.п. Результаты этого анализа выглядели столь плачевными для наших практических психологов, что статья об этом... провалялась в редакции "Психологического журнала" четыре года (!!) и вышла только в 1987 году - с пришествием эпохи "гласности". И это несмотря на то, что нашим соавтором по этой статье был очень влиятельный психолог Ю.М.Забродин (заместитель Б.Ф.Ломова по институту ИПАН АН СССР).
В 1986 году А.А.Бодалев, будучи деканом факультета психологии МГУ и главным редактором учебного пособия "Общая психодиагностика", настойчиво предлагал опубликовать в этом учебнике "открытым текстом" полный комплект 16PF со всеми ключами и нормами. Я возражал (опираясь на моральную поддержку своих друзей - соавторов учебной версии теста): "Как же так, Алексей Александрович, ведь этим будут пользоваться непрофессионалы, это станет добычей для интеллектуальных шакалов - журналистов. А кроме того, как мы будем выглядеть в глазах международного сообщества психологов? У нас же нет лицензии на адаптацию этого теста? Одно дело - ознакомление студентов с учебной версией, другое - открытая публикация. Для этого надо обзаводиться лицензией и добиваться необходимых психометрических свойств - надежности, валидности, репрезентативности, обеспечивать национальную выборку стандартизации и т.п.".
От проблем лицензионной чистоты, соблюдения международного копирайта, профессиональной тайны и национальной выборки Б.Ф.Ломов, А.А.Бодалев и другие руководители советской психологической науки в 60-80-е годы были практически так же далеки, как далеки сейчас нынешние издатели "пиратских свалок" под названиями "Лучшие психологические тесты", "Энциклопедия тестов" и т.п. (я уж не упоминаю здесь таких столпов московской школы - А.Н.Леонтьева и его последователей, которые были просто противниками всяких тестов вообще).
Компромисс был найден в тот раз такой: опросник 16ЛФ (первая МГУ-шная учебная русскоязычная версия 16PF, над адаптацией которой много работали вместе со мной В.И.Похилько и А.С.Соловейчик) был опубликован не в основном "твердопереплетном" учебнике, а год спустя - в малотиражном приложении для нашего практикума (было выпущено всего 1000 экземпляров на скверной бумаге). Вопросы были сгруппированы в этой брошюре не как положено в тестовом буклете, а по факторам - они просто иллюстрировали содержание факторов. В брошюре давалась только форма А. (Напомним, что корректная процедура требуют проведения с интервалом двух параллельных форм А и Б - для проверки устойчивых пиков на профиле). В течение 80-х годов исходный русскоязычный текст вопросов был постепенно существенно модифицирован с помощью многоэтапной замены отдельных пунктов (вопросов) по результатам корреляционного анализа.
Стоила эта брошюрка с дидактической версией 16ЛФ-А всего 25 копеек и по этой цене ее мы тогда и распространяли года четыре (пока хватало крошечного тиража). Правом приобретения пользовались только наши студенты, которые проходили (как проходят и сейчас) практикум по психодиагностике. Потом мне много раз рассказывали, что кто-то (да наши же выпускники, попадавшие после окончания на "замечательные" оклады размером в 95-105 рублей) перепродавал ксерокопии этой брошюрки, а программисты тут же кинулись "забивать" тест 16ЛФ-А в свои программы. Такой был методический голод. И такая была методическая безграмотность. Увы, и сейчас в плане грамотности положение не сильно улучшилось.
В те годы - в конце 80-х - центры НТТМ и первые кооперативы уже начали "грести" деньгу, не стесняясь никаких "копирайтов" и не разбираясь совершенно в вопросах культурно-языковой и статистической адаптации тестов. А нам - преподавателям "первопрестольного ВУЗа" (мы ведь тогда гордились и дорожили этой позицией в академическом мире) - было неудобно опускаться до такой коммерческой беспринципности. Наоборот, совесть беспокоила, что нарушили в какой-то мере международный копирайт. Настроение тогда было такое - на гребне демократической эйфории - обязательно дружить со всем миром и вступать с ним в цивилизованные, а не в коммунистически-воровские отношения под лозунгом "мы - коммунисты, и можем все у Вас, буржуев, в любой момент "скоммуниздить", так как наша коммунистическая этика и философия нас в этом полностью оправдывают..."
Не будучи членом "руководящей и направляющей", я был фактически невыездным до 1988 года. Куда уж мне было тогда заниматься вопросами заключения лицензионного договора с Кэттеллом! Точнее с его потомками, возглавившими в то время (после его ухода на пенсию) Институт Тестирования Личности и Способностей в штате Иллинойс (см. адрес в Интернет http://www.ipat.com).
Но вот в 1991 году - когда пришла эра электронной почты и либерализации правил выезда наших специалистов для участия в международных конференциях - я получил приглашение на конгресс Американской Психологической Ассоциации в Сан-Франциско (см. http://www.apa.org). Если бы рядышком (40 миль) в г.Пало-Альто к этому времени не обосновался уже Владимир Похилько, занявшийся компьютерными играми (см. некролог в "ПГ" за октябрь 1998г.), то прожить и пропитаться в Сан-Франциско было бы мне тогда просто невозможно - все деньги уже ушли на дорогу. По несколько символичному стечению обстоятельств сроки конгресса совпали с августовским ГКЧП и его крахом. Это я пишу для того, чтобы у читателей как-то синхронизировались ряды событий научной и политической жизни страны.
Мы c Владимиром разыскали на выставке стенд IPAT и договорились с Мэри Кэттелл (невесткой знаменитого Раймонда), которая возглавляла в этом институте департамент международных связей, о заключении лицензионного договора - между IPAT и зарегистрированной к тому времени в Научном парке МГУ нашей инновационной фирмой "Гуманитарные технологии".
 
 
"Под пятой копирайта" (1991-1995)
 
Условия договора с институтом Кэттелла оказались для нас совершенно кабальными. Впрочем стандартные для коммерческой политики этого института, за которую этот Институт, как потом выяснилось, не любят психометристы чуть ли не во всех странах. Началась полоса удивлений и разочарований, так сказать, развеивания "наивно-демократических", космополитических иллюзий. Наших американских коллег практически не интересовали данные о том, какую огромную статистическую работу мы проделали по анализу пунктов и замене "неработающих", каковы социально-демографические параметры наших многотысячных к этому времени выборок (а получить эти данные мы могли, только начав распространение теста и никак иначе!). На наши многометровые распечатки с различными коэффициентами был выдан лишь общий "одобрямс". А ведь, как уже говорилось, в сырых переводах до 30 процентов пунктов в формах А и Б нами были заменены культурными эквивалентами, также далекими от исходных американских, как далек вопрос про "пластиковые карточки" от вопроса про "соленые огурцы"... Независимые европейские специалисты (такие как Алоис Англяйтнер из Германии и Дэвид Бартрам из Великобритании) считали, что мы на самом деле выполнили работу, близкую к модификации, а не к адаптации теста. Хотя, по-моему, тут они немножко горячились: все-таки мы строили тогда диагностический профиль именно в терминах факторов Кэттелла, а не каких-то других факторов.
На нашу тестовую программу-оболочку (разработана под моим руководством И.В.Бурмистровым), которая была значительно мощнее по функциональным возможностям, чем все, что мы видели в начале 90-х в Европе и Америке, наши заокеанские коллеги даже и смотреть не хотели. В их представлении русские должны были обязательно занять экологическую нишу где-то между "эскимосами и пингвинами" и не выпрыгивать из нее в своих интеллектуальных амбициях. Победители в "холодной войне" готовы были только "снисходить". Но эта "снисходительность" ни в коем случае не означала коммерческих льгот.
Американцы нам вовсе не хотели предоставлять никаких скидок на нащ "посттоталитарный синдром переходной экономики" с ее галопирующей инфляцией и сумасшедшим курсом доллара. По отношению к нам наши заокеанские коллеги заняли позицию сходную с позицией "родных" налоговых органов (не освобождающих, как известно, социально-ориентированные научные разработки от уплаты хотя бы НДС), в результате чего честные специалисты, выплачивающие все налоги и все лицензионные долги, заведомо проигрывают в конкурентной борьбе с уклоняющимися от налогов пиратами. Американский стандартный экспортный договор, как обычно, предполагал 20 процентов отчислений в валюте в пользу IPAT с любой реализации методики 17ЛФ (в бумажной или компьютерной форме). Кстати, семнадцатой была изобретенная нами шкала "социальной желательности". Устанавливалась и нижняя граница обязательных отчислений в ИПАТ, которая определялась в валюте. Для них это, конечно, смешная сумма. А для нашей страны, где среднемесячная зарплата у работников науки и образования (в начале 90-х годов) не превышала 20 долларов, эта сумма выглядела вовсе не смешной, а просто страшной.
Ввязавшись, обнаружив перед хозяином копирайте, какие массивы мы уже собрали по методике 17ЛФ, мы уже не могли просто отказаться от подписания этого кабального договора. Нами все это воспринималось тогда как расплата за грехи "советского строя" (детям всегда приходится расплачиваться за грехи отцов, вот и нашим собственным детям предстоит вкусить гораздо больше, чем нам, "плодов с древа" обвалившихся финансовых пирамид 90-х годов и проеденных и пропитых кредитов...). Итак, после тяжелых переговоров, продолжавшихся больше года, договор был все-таки нами подписан.
В самый трудный год (1994) мы смогли "спасти свое лицо" только благодаря бескорыстной позиции Владимира Похилько, доплатившего в ИПАТ за наши долги из своих компьютерных заработков. Помогал материально нам также, увы, уже скончавшийся в 1998 году американский психолог из Орегонского Исследовательского Института Д.Дигман (он симпатизировал русским, так как у него была русская жена). Я просто стеснялся рассказывать тогда коллегам, как нас "обдирают" американцы...
Итак, через три года стало окончательно ясно, что распространение компьютерной системы 17ЛФ придется сворачивать, так как при постоянном спаде платежеспособного спроса в России, при уплате наших родных отечественных налогов и выплате долга заокеанским владельцам копирайта все наши авторские роялти (процентное вознаграждение авторам) становились просто отрицательной величиной. А об издании буклетной версии 17ЛФ нечего было даже и думать, ведь 10 процентов в пользу авторов, как известно, это потолок для любого нашего издательства, а авторы, обремененные какими-то обязательствами перед американцами, вообще никому в России не нужны.
В 1995 году мы приняли решение не возобновлять договора с Институтом Кэттелла, так как американская сторона потребовала (в добавок ко всем прежним требованиям) провести работу по адаптации пятого издания 16PF, в которое они (уже позже нас) добавили пару шкал для контроля социальной желательности. Не привели ни к чему все наши попытки объяснить заокеанским "друзьям", что их обновление никак не может продиктовать то направление, в котором следует обновлять тест в России, что нам здесь обойдется гораздо дешевле разработка нашей собственной оригинальной версии многофакторного опросника, чем добросовестная адаптация новой американской версии с уплатой за это удовольствие каждый год внушительной суммы. Американцы были несокрушимо убеждены в рекламной магии своей "трейд-марк" среди "аборигенов", и в целом, увы, они оказываются правы...
 
 
"Каша из топора" (1996 - ?)
 
Итак, в 1995 году появился опросник 16РФ (16 русскоязычных факторов), в котором ныне все 570 вопросов и тестовых заданий из формы А и Б являются абсолютно оригинальными и никак не связаны с американским перечнем, а оригинальные русские 15 факторов (16-й - это "социальная желательность") базируются на нашем собственном психосемантическом многолетнем отечественном проекте "Тезаурус личностных черт русского языка".
Этот проект развивался мной с 1983 года совместно с В.И.Похилько и А.Ю.Козловской-Тельновой и это настолько большой проект, что он заслуживает отдельного рассказа. Коротко поясним только, что в ходе этого проекта была "от печки" выполнена вся работа по экспериментальной реконструкции (на базе 2090 слов) той "имплицитной" (или житейской) теории личности, которая заложена в сознании носителя русского языка и по ряду позиций имеет сходство с американской, а по ряду очень существенно отличается (см, например, мою совместную статью с американским профессором Л.Голдбергом в "Психологическом журнале" за 1993 год). Скажем здесь без специальных выкладок, что 15 русских факторов объясняют больше дисперсии (разнообразия) в ответах русских испытуемых, чем 16 американских факторов.
Как известно, "подковывание английских механических блох" (вспомним, лесковского Левшу) у нас в России никогда не было рентабельным занятием, тем более в нынешние времена, когда многим нашим согражданам-предпринимателям, занимающим нишу между разработчиками и пользователями, не на что оказывается выстроить дачку, купить подержанную иномарку или скопить подъемные для бегства "туда". Вот и наша попытка "сварить кашу из топора" пока, можно сказать, сокрушительно проваливается.
Наш опросник 16РФ, конечно же, пока практически не пользуется спросом, так как:
а) 16РФ дороже, чем то, что можно купить на нашем "рынке" (а тем более просто скопировать с пиратской дискеты), при неразличимой, увы, для нашего непросвещенного пользователя разницы в качестве,
б) 16РФ вовсе не овеян романтикой "комплекса ППЗ" (пресловутого "Преклонения Перед Западом"), который у наших сограждан-коллег всегда "органично сочетался" с готовностью присваивать все достижения западной цивилизации бесплатно.
Положение на психодиагностическом рынке у нас до смеха (сквозь слезы) напоминает то, что мы видим на рынке компакт-дисков: по сравнению с чисто пиратскими копиями западной "эстрадной классики" диски современных отечественных исполнителей дороже и их берут гораздо меньше (своим "раскрученным" эстрадным звездам с их охранными службами наши издатели все-таки уже вынуждены немножко платить). Но в психодиагностике драматизм положения гораздо острее: если песня на чужом языке у нас все-таки звучит, то тест на чужом языке в России не может работать вовсе. Его же надо перевести. А будучи переведенным, это уже другой тест, который снова надо статистически проверять. Вот этого большинство наших пользователей тестов до сих пор не понимает.
До сих пор "по рукам" и всяким сборникам с громкими названиями вроде "Лучшие психологические тесты" ходит в России немало совсем разных русскоязычных версий 16PF. А ведь интересно заметить: за все время наших прямых контактов с ИПАТ, мы получили от американцев только одно упоминание о запросе наших коллег из России с желанием легально оформить лицензионный договор. Это было обращение Л.И.Вассермана из Бехтеревского Психоневрологического института, о котором американцы (надо в этом вопросе отдать им должное) сразу поставили в известность нас как своих партнеров-представителей в России. О версии ярославского центра "Психодиагностика", попавшей в распоряжении фирмы "Иматон", таких сведений мы не имеем. О том же, насколько психометрически надежны, валидны и репрезентативны ключи и нормы к разным публикуемым "кэттеллам", предлагаем любознательным читателям "ПГ" самим дознаться у авторов и издателей этих многочисленных публикаций.
Напомним читателям также, что в отличие от импортных холодильников и телевизоров, которые иногда служат дольше, срок службы тест-опросников не превышает 5 лет. Как минимум раз в пять лет ключи и нормы к этим тестам надо перепроверять и в большинстве случаев переделывать, собирая многотысячные массивы протоколов на всероссийской выборке. Поэтому честно предупреждаю и объясняю нашим читателям: компьютерная версия 17ЛФ, которую в начале 90-х мы благодушно распространяли в России на дискетах без защиты от копирования (и за это очень серьезно поплатились потерянной выгодой!), давно устарела, поэтому уже давно снята нами - центром "Гуманитарные технологии" - с распространения.
В течение 90-х годов кардинально изменились способы социальной адаптации в поведении наших граждан, разительно изменилась тактика выполнения ими тестов. Здесь (все-таки газета, а не научный журнал) проще всего описать, как резко изменились нормы по некоторым факторным шкалам: значимо выросли средние по шкалам "социальная смелость" (Н), "радикализм" (Q1), "независимость" (Q2), значимо снизились - "супер-эго" (G), "мечтательность" (М), "склонность к чувству вины" (О). Фактор "социальной желательности" вместо сцепления с фактором "супер-Эго" (G) теперь гораздо сильнее сливается с "эмоциональной устойчивостью" (С), "социальной смелостью" (Н), "оптимизмом" (F), который при высоких значениях вполне можно интерпретировать как "пофигизм"...
Наш пользователь оказался очень бдительным в отношении наличия в каше именно "топора", он требует, чтобы мы обязательно вернули "топор" на место. Когда в нашу лабораторию приходят пользователи и спесиво заявляют, что 16РФ их не интересует и что им подавай "настоящего Кэттелла" (иногда еще добавляют "старого-доброго"), мне бывает просто неудобно сказать им в лицо то, что я о них думаю. Абстрактным читателям легче высказать это, чем конкретному человеку: "ДУРАКИ ВЫ ВСЕ, ДРУЗЬЯ МОИ! - Если Вы думаете, что сам собой существует какой-то настоящий русскоязычный Кэттелл. Это ведь тоже самое, что вырастить "настоящую американскую кукурузу" в наших северных широтах".
 
 
"Порочный круг"
 
Спросим себя, существует ли "настоящий" русскоязычный Шекспир или Бернс без переводов Пастернака или Маршака? Кстати, интересно, смогли бы Пастернак или Маршак выполнить свою творческую работу, если бы они должны были к 10 процентам своего авторского вознаграждения добавлять еще столько же, чтобы уплачивать 20 процентов (в валюте) владельцам копирайта с тиража каждого издания (розничной цены брошюры или программы)?
А ведь адаптация теста-опросника требует не только переводческого труда и даже не только владения методами и компьютерными алгоритмами психометрической статистики, но и трудоемкой организационной работы по сбору тысяч протоколов на всероссийской выборке (без которой нормы оказываются смещенными в сторону московской или питерской специфики, или вообще "американскими", превращающими диагностический профиль в разновидность "лапши для ушей").
Итак, ответственно объясняю для всех пытливых читателей "ПГ", что по моим сведениям в настоящий момент русскоязычный 16PF - это на самом деле что-то вроде "квадратуры круга", что-то вроде субтропической кукурузы, которая в наших широтах просто не всходит. Из вышеизложенного ясно, что был момент, когда в начале 90-х годов такая методика существовала, но она просто разорила ее создателей. А теперь она устарела. И этот этап завершен.
А что же теперь? - Теперь то, что Вы видите на прилавках, это, по моему мнению, что-то совсем не то. Если хотите обманывать самих себя, то покупайте, пользуйтесь, наслаждайтесь лицезрением "неподкованной плящущей англоязычной блохи" (или точнее "подкованной, но уже не плящущей"), но лично я в этом участвовать далее не буду.
Гибель семьи Похилько в сентябре 1998 года в Америке подвела для меня эмоционально-смысловую черту под всем почти 15-летним периодом честных и напрасных усилий вписаться в цивилизованный рынок импорта западных психодиагностических технологий. Эта черта пролегла не только снизу, но и справа, и слева, и сверху, образуя траурную рамку...Эта смерть совпала по времени с нынешним новым витком нашего кризиса, когда стало, думаю, в глобальном смысле ясно не только простым людям, но даже и "прорабам перестройки", что прямой - без надлежашей адаптации - перенос западных социальных технологий на нашу российскую почву дает только отрицательный эффект.
Может быть, новое поколение отечественных разработчиков-тестологов сможет найти формулу выживания, некий срединный путь между Сциллой и Харибдой - требованиями наших отечественных пользователей (желающих воспользоваться чем-то импортным и желательно бесплатно) и требованиями западных владельцев копирайта. Пока я таких чудаков вокруг просто не вижу. Абсолютно непонятно также, кто и как найдет выход из этого порочного круга, из этой проблемы "курицы и яйца": чтобы методика была профессиональной, она должна опираться на многотысячный банк данных, но этот банк невозможно собрать, если не начать распространять эту методику... совершенно сырой, то есть, практически "лапшевой", то есть, "работающей" во многом благодаря доверчивости и внушаемости испытуемых...
Когда кто-то смело утверждает, что выбрался из этого порочного круга, спросите его, какие он может предъявить доказательства. Передают ли, например, пользователи "Иматона" копии полученных ими протоколов в общую базу данных? Что делает с этой базой психометрическая служба "Иматона", перепроверяла ли она ключи к каждому пункту хотя бы один раз? Или эту работу выполняют в Ярославле работники тамошнего центра "Психодиагностика"?
А может быть, наш единственный шанс - перестать уповать на заокеанскую "кукурузу" и пересесть на нашу родную "гречку", которую наши остаточные "чудаки" уже (или еще?) вполне умеют выращивать? Вопрос остается риторическим. Ибо я задаю его нашим пользователям уже лет 10, предлагаю льготы за авансирование серьезных разработок, и все это время этот вопрос остается практически без ответа. В 1994 и 1997 году мы получили в ответ на нашу рассылку лишь пару десятков анкет-заявок. А в 1998 году в ответ на анкету, опубликованную в "Школьном психологе" (все-таки тираж газеты свыше 7 тысяч экземпляров), мы получили один (!!!) отклик.
Как во всех отраслях: наш потребитель мечтает прожить вовсе без нашего производителя. Но если куриные окорочка в обмен за нефть и газ мы еще как-то можем покупать, то купить тесты "в натуре" нам все равно не удастся. Хотим питаться "псевдокукурузой"? - Ну тогда "Бог в помощь", как говорится...


Источник: techclub.ru

 
 
« Пред.   След. »
© 2018 10й КАБИНЕТ
Website Security Test