В статье раскрываются методологические и методические особенности экспертного опроса как основы разработки и принятия управленческих решений. Обоснованы преимущества использования результатов опроса экспертов в управленческой практике.

Рассмотрен практический пример организации и проведения экспертного опроса специалистов аграрной сферы.

Ключевые слова: экспертный опрос, эксперт, экспертная оценка, управленческое решение, агропромышленная сфера, руководители, специалисты.

На современном этапе развития общества, в период крупнейших научно-технических и социально-экономических преобразований, растет потребность в получении достоверной и обоснованной информации как основы принятия управленческих решений. В большинстве случаев источниками такой информации выступают наиболее компетентные, обладающие глубокими знаниями о предмете исследования, включенные в проблему специалисты – эксперты.

Массовые опросы обеспечивают получение данных об общественном мнении, знаниях и установках людей в отношении тех или иных явлений социальной действительности, выявление их количественных параметров и распространенности. Они раскрывают отражение той или иной проблемы в общественном сознании, но не дают понимания возможных причин и способов ее решения. Кроме того, оценки и самооценки, высказанные респондентами в массовом опросе, зачастую могут оказаться искаженными.

Задачи экспертного опроса сфокусированы на получении обоснованной информации об изучаемой проблеме, отраженной в мнениях и оценках специалистов, обладающих достаточным опытом и знаниями в области решения узловых проблемных задач для формулирования выводов и практических рекомендаций. Это позволяет предоставлять субъектам управления информацию, необходимую для принятия и реализации управленческих решений, обеспечивая их объективность, компетентность, комплексность и многосторонность.

Широкое распространение методы опроса экспертов получили в 70-х гг. XX в. в связи с осознанием ограниченности методов экстраполирования и моделирования в сфере сложных социальных процессов и долгосрочных прогнозов [1, с. 3]. На современном этапе область применения экспертного опроса включает диагностическую, прогностическую, проектировочную, моделирующую функции, которые реализуются в диагностике и оценке состояния социальных систем и объектов, в прогнозировании и оценке вариантов социально значимых решений, а также социальных последствий реализации проектов и рекомендаций, в принятии решений, программировании и проектировании, а также в аттестации работников.

Спектр вопросов, решаемых с помощью метода экспертного опроса, включает определение управленческих задач и их приоритетности, выявление альтернативных вариантов решений и оценку их предпочтения, проведение полной и адекватной оценки ситуации, сложившейся в отрасли или организации. Роль опроса экспертов повышается при недостаточности статистических данных для прогнозирования развития той или иной ситуации, при исследовании не имеющих аналогов в социальной действительности процессов, а также при изучении объектов, обладающих специфическими характеристиками, о которых известно только профессионалам [2, с. 13].

Учитывая познавательный потенциал метода экспертного опроса, а также объективную необходимость в проведении таких исследований, особую значимость представляет раскрытие основных функций, методологических и методических особенностей опроса экспертов как основы принятия управленческих решений, а также рассмотрение конкретных исследовательских практик. Основное отличие экспертного опроса обусловлено ролью эксперта, выступающего не объектом исследования, а его участником, своего рода инструментом для оценки изучаемого объекта [3]. Экспертные мнения, оценки, суждения высказываются относительно некоторой реальности, находящейся вне эксперта, в то время как в массовом опросе сами респонденты выступают в качестве объекта, характеристики которого анализируются социологами. Суждения экспертов о различных сферах человеческой деятельности, предполагающие процедуру сравнения объектов и их свойств по выделенным критериям, называют экспертными оценками [4, с. 45].

Суть метода экспертных оценок заключается в сборе и обработке мнений об изучаемой проблеме, выраженных в количественной либо качественной форме, для подготовки информации для принятия решений представителями органов управления. Существует множество разновидностей метода опроса экспертов. В одних с каждым экспертом работают отдельно, ему не известно, кто еще является экспертом, в других экспертов собирают вместе для обсуждения проблемы. Однако во всех этих случаях структура экспертного опроса довольно сходна и включает такие этапы, как формулировка органом управления или лицом, отвечающим за принятие решения, цели экспертного опроса, создание рабочей группы, составление технического задания и плана-сценария сбора и анализа информации, отбор экспертов, сбор информации, анализ и интерпретация полученных результатов, подготовка информации для органов управления. Подбор и определение числа экспертов являются одним из ключевых методологических моментов проведения экспертного опроса.

В зависимости от поставленных задач число экспертов может быть зафиксированным и определяться статистическими методами проверки согласованности мнений и их усреднения для принятия обоснованных решений [5], либо расти в процессе проведения экспертизы (метод «снежного кома»). Численность экспертной группы не может быть большой в силу объективной ограниченности численности специалистов в рамках определенной предметной области, способных высказывать обоснованное мнение и делать прогнозные оценки, а также существования пределов, за которыми увеличение числа экспертов не дает существенного прироста информации. В то же время при малом числе экспертов на групповую оценку может оказывать влияние мнение каждого из них. В литературе в качестве наиболее оптимальной численности экспертной группы указывается 5–7 (максимально 10–15) человек при очных опросах и 20–30 (максимально 60–80) при заочных опросах [6, с. 21]. Главным условием выступает учет специфики проблемы исследования, возможность обеспечения равноправного участия специалистов различных направлений и высокий уровень их компетентности. Поскольку компетентность в исследуемой предметной области и реальная способность высказывать обоснованное мнение выступают основными критериями отбора, актуальной проблемой является разработка комплексных показателей компетентности эксперта.

В большинстве случаев исследователи руководствуются формальными показателями компетентности, такими как должность, стаж работы по специальности и в области, связанной с предметом исследования, ученые степень и звание, число публикаций и ссылки на них в литературе, участие в семинарах и конференциях по исследуемым проблемам и т. п. Одним из критериев выбора может служить успешность участия в предыдущих экспертизах. В этом случае может рассчитываться степень надежности эксперта ‒ отношение количества сделанных им прогнозов к количеству сбывшихся прогнозов. Данный критерий применим к специалистам, участвующим в сериях однотипных экспертиз, однако на практике чаще возникает необходимость проведения исследований, не имеющих аналогов. Кроме формальных показателей, в социологической практике существует несколько способов оценки компетентности экспертов: методы самооценки, взаимооценки, аттестации [4].

Метод самооценки подразумевает, что потенциальный эксперт сам дает оценку своим качествам: знанию предмета исследования, собственного вклада в исследование изучаемой проблемы, а также критичности своих оценок по балльным или вербально-числовым шкалам. Однако такой подход содержит риск субъективизма. При взаимной оценке потенциальные члены экспертной группы оценивают друг друга чаще всего путем составления списка специалистов, которых считают компетентными в данной сфере.

На основе этих списков рассчитывается коэффициент компетентности эксперта – отношение числа списков, в которых данный специалист присутствует, к общему числу составленных списков [7, с. 101‒102]. Разновидностью данного приема является аттестация, предполагающая голосование потенциальных экспертов, которое может проводиться в несколько туров до тех пор, пока состав предполагаемых участников экспертной группы не стабилизируется. К недостаткам метода взаимной оценки можно отнести слабую осведомленность о достижениях коллег, а также возможность проявления личностных и групповых симпатий и антипатий. Преодолением ограничения каждого из методов является применение комплексных оценок с использованием нескольких перечисленных подходов. Одним из наиболее простых и широко распространенных методов отбора экспертов является метод «снежного кома»: экспертов спрашивают о том, кто еще, по их мнению, может дать обоснованную информацию по данной проблеме. Таким образом, составленный список расширяется по мере проведения опроса. Процесс расширения списка завершается, когда новые фамилии практически перестали встречаться.

Можно утверждать, что данный метод отбора включает и своего рода взаимную оценку экспертов, что в совокупности с формальными критериями обеспечивает комплексный подход к оценке компетентности и выбору экспертов. Специфика метода экспертного опроса состоит в отказе от анонимности: респонденты в данном случае должны быть осведомлены о задачах, которые с их помощью решаются в ходе исследования. Инструментарий опроса не должен содержать косвенные или контрольные вопросы, вопросы-тесты, вопросы-ловушки. Виды вопросов определяются степенью разработанности гипотез исследования. Однако ввиду того, что часто предметом исследования становятся малоизученные явления и процессы, причины и возможные сценарии их развития достаточно сложно однозначно сформулировать на этапе постановки гипотез, а эксперт является осведомленным лицом, целесообразно использовать открытые вопросы. Организация и способы работы с экспертами зависят, прежде всего, от ответа на методологический вопрос о том, что должна представить экспертная группа в результате своей работы: информацию для принятия управленческого решения или проект самого решения.

В первом случае задача социологов ‒ получить максимально полную информацию о проблеме, положительных и отрицательных сторонах рассматриваемых вариантов ее решения и возможных вариантах развития изучаемой ситуации. При подготовке проекта решения результатом работы экспертной группы является выработка согласованного решения. Согласование мнения экспертов может достигаться путем исключения из экспертной группы тех, чье мнение отличается от мнения большинства, применением статистических процедур (например, если ответ эксперта представляет собой действительное число, то в качестве согласованного мнения рассматривают медиану, игнорируя отклоняющиеся ответы), с помощью кластерного анализа, когда при отсутствии согласованности экспертов разбивают на группы сходных по мнению [8, с. 52‒54]. Данный подход содержит риск отсеять в процессе исключения отклоняющихся от мнения большинства суждений, наряду с мнениями недостаточно квалифицированных лиц, наиболее оригинальные суждения экспертов, проникших в проблему глубже, чем остальные. Это может привести к потере значимой части информации и выработке неадекватного проекта управленческого решения [8, с. 53‒55].

Форма работы с экспертами определяется целью исследования. В социологической литературе нет единой классификации разновидностей метода экспертного опроса. Наиболее часто выделяют очный опрос экспертов (свободное интервью, «мозговая атака», метод отнесенной оценки) и заочный опрос (метод сбора мнений, «дельфийская техника»). Свободное интервью экспертов чаще всего проводится с разведывательной целью, чтобы получить первичную, достаточно глубокую и точную информацию о проблеме, наметить основные направления исследования, сформулировать гипотезы. Оно характеризуется минимальной стандартизацией, а число экспертов не превышает 10–15 человек [9, с. 47‒52]. В основе метода «мозговой атаки», получившего распространение в социальном прогнозировании и поиске путей решения проблем, лежит коллективное обсуждение проблемы, построенное таким образом, чтобы стимулировать творческую активность экспертов и добиться получения качественно новой информации. В данном случае могут использоваться простые процедуры обсуждения (спонтанная дискуссия по поставленной проблеме) и управляемые, предполагающие распределение ролей между экспертами в соответствии с их способностями и функциями в процессе обсуждения (руководитель, модераторы, генераторы, селекторы информации, стимуляторы обсуждения).

Суть метода отнесенной оценки состоит в выработке единого согласованного мнения экспертов в ходе обсуждения по детализированному сценарию, предполагающему выявление и преодоление разногласий. Заочный опрос экспертов включает разовый анкетный опрос, а также «дельфийскую технику», которая заключается в многократном анкетном опросе одних и тех же экспертов с целью достижения согласованного мнения. После каждого опроса эксперт знакомится с мнениями и аргументами других экспертов, не зная, кто их высказал, и может либо пересмотреть свою точку зрения в сторону сближения с мнением большинства, либо указать причину отклонения. Таким образом, можно утверждать, что достаточно широкий спектр разновидностей экспертного опроса позволяет использовать метод для решения многих исследовательских задач практически в любой предметной области.

Особая роль экспертных опросов в управлении подчеркивается российскими и белорусскими исследователями. В частности, экспертное знание выступает методической основой для осмысления модернизационных процессов и управления модернизацией системы образования в условиях инновационного развития экономики Российской Федерации: при обобщении теоретических основ университетского менеджмента и его практик, выделении новых типов российских университетов, определении перспектив дальнейшего развития вузовской науки, интеграции в европейское образовательное пространство и др. [2]. Примером успешного использования метода экспертного опроса для

разработки управленческих решений в социальной сфере может служить проведенное российскими социологами исследование организационных проблем государственно-частного партнерства в здравоохранении [6]. В результате опроса экспертов-руководителей медицинских учреждений и их подразделений (выделенных по таким критериям, как юридическая форма, государственный либо частный сектор деятельности, форма организации, численность сотрудников, виды оказываемых услуг) были представлены рейтинги основных факторов, влияющих на возможности и риски использования этой формы партнерства в организации медицинских услуг населению.

Результаты экспертных опросов используются как средство повышения надежности решения научных и управленческих проблем в сфере взаимодействия государственных органов власти с населением и правоохранительными органами, при разработке антикоррупционных программ, для формирования имиджа территорий, при моделировании социально-экономических процессов, происходящих вследствие реформирования земельных отношений, прогнозировании сценариев развития земельного рынка и др. [10; 11; 12]. Е. Е. Кучко обосновывает целесообразность использования экспертного опроса для диагностики и прогнозирования развития инновационной практики, подчеркивая наиболее выраженную степень эвристичности метода [13, с. 46]. Одним из перспективных направлений является привлечение в качестве экспертов руководителей и главных специалистов сельхозпредприятий для оценки хода реализации управленческих решений в аграрной сфере. Значимость экспертных оценок специалистов-практиков обусловлена их непосредственной включенностью в производственные процессы, способностью активно действовать в сфере своей профессиональной компетенции, исполняя наиболее актуальные и востребованные общественные задачи – решать проблему продовольственной безопасности страны и способствовать материальному и социально-психологическому благополучию сельских жителей [15, с. 111].

Анализ мнений экспертов важен как на начальных этапах реформирования, так и в период завершения и подведения их итогов, поскольку завершающая стадия управленческого цикла становится отправной точкой нового, стимулом к разработке новых управленческих решений. Это обусловило периодичность реализации исследовательских проектов сектором социологии села Института социологии НАН Беларуси под руководством доктора философских наук Р. А. Смирновой. Опросы главных специалистов и руководителей сельхозпредприятий были проведены в 2009 и 2011 гг. – на этапе реализации и завершения Государственной программы возрождения и развития села на 2005–2010 гг. (опрошено 92 и 100 респондентов соответственно), а также в 2013 г. ‒ на этапе дальнейшего реформирования агропромышленного комплекса и принятия комплекса мер, направленных на повышение экономической эффективности и конкурентоспособности сельскохозяйственных организаций (опрошено 130 руководителей и специалистов).

Предметное поле исследований включало оценки эффективности и поиск путей совершенствования деятельности предприятий и аграрной сферы в целом, анализ возможностей эффективного использования человеческих ресурсов села, отношение к инновационным процессам в агросфере. Целевую аудиторию опроса составили директора сельскохозяйственных предприятий (СПК, ЧУП и др.) и специалисты высшего звена, обладающие необходимым статусным и профессиональным потенциалом для принятия стратегически важных для развития сельхозорганизаций управленческих решений [15, с. 111]. Формальным критерием отбора экспертов выступила занимаемая должность. Кроме того, учитывались такие показатели, как стаж работы в агросфере, число подчиненных. При составлении списка экспертов необходимым требованием являлось включение в него руководителей и специалистов, представляющих организации, различающиеся по уровню эффективности, масштабам производства, региональной принадлежности, что дало возможность получения более полной и объективной картины. Сбор социологической информации осуществлялся методом раздаточного анкетного опроса по полуформализованной анкете.

Содержание открытых и полузакрытых вопросов обусловлено высокой степенью заинтересованности экспертов в изучаемых проблемах и позволило получить компетентные развернутые и содержательные ответы по целому спектру специфических проблем, касающихся деятельности конкретных сельхозпредприятий и аграрной сферы в целом. Результаты исследований продемонстрировали высокую степень включенности опрошенных экспертов в инновационные процессы в агросфере: по данным опроса 2013 г., специалистам и руководителям известны основные положения концепции реформирования АПК (11,5 % – хорошо известны, 70 % знают в общих чертах), большинство (80 %) в целом согласны с основными положениями концепции. Однако более половины представителей административно-управленческого корпуса сельхозпредприятий (60,8 %) считают, что реформа еще не проведена. Рыночность функционирования сельскохозяйственных предприятий страны, по мнению руководителей и специалистов, проявляется в появлении конкуренции на рынке сбыта продукции (38,7 %), в самостоятельности в сфере производства, переработки и ценообразования (29,7 %), в появлении фермерства и крестьянских хозяйств (16,2 %). Однако почти каждый третий заявил, что фактического перехода на рыночные отношения в целом по стране пока не произошло. Данные экспертных опросов, проводимых с периодичностью в три года, позволили зафиксировать динамику мнений руководителей и специалистов сельхозпредприятий по ключевым вопросам реформирования агропромышленной сферы, в частности, увеличение числа сторонников частной собственности. В 2009 г. 30,4 % экспертов-специалистов ответили, что поддерживают частную собственность на земли сельскохозяйственного назначения.

В ходе опроса 2013 г. 37,7 % респондентов заявили, что для Беларуси в наибольшей степени подходит частная собственность на сельскохозяйственные земли, а на вопрос: «Вы лично за частную собственность на землю или против?» более половины (52,3 %) дали утвердительный ответ. О том, что сельскохозяйственные предприятия должны быть приватизированы, заявили 27,9 % участников опроса 2013 г., тогда как в 2011 г. только 6,5 % специалистов и руководителей считали, что сельхозпредприятия должны быть приватизированы. Среди важнейших преимуществ экспертного опроса при изучении проблем аграрной сферы – возможность получить целостную картину результатов внедрения управленческих решений как на уровне отдельных предприятий, так и в более глобальном масштабе, поскольку именно специалисты-практики неизбежно сталкиваются с издержками проведения реформ на местах, способны увидеть положительные и отрицательные стороны и выработать предложения по улучшению работы как своего предприятия, так и сферы аграрного производства в целом [14, с. 274].

В ходе опроса 2013 г. руководителями и специалистами, имеющими опыт руководства и работы в хозяйстве, были высказаны мнения о факторах, препятствующих развитию аграрно-промышленного комплекса. Проведенный анализ мнений экспертов позволил сгруппировать указанные респондентами недостатки в работе АПК, тормозящие развитие сельского хозяйства. Р. А. Смирнова выделяет 3 группы факторов, обусловленные: 1) государственной политикой в аграрной сфере (диспаритет цен на сельскохозяйственную и промышленную продукцию, отсутствие необходимой рыночной среды, медлительность и фрагментарность аграрных реформ, низкий технико-технологический уровень, непроработанность юридически-правовой базы реформы), 2) сознанием и экономическим поведением населения (слабый платежеспособный спрос населения, боязнь частной собственности на землю, ее купли-продажи и залога, недостаточно сильный слой предпринимателей, инерционность экономического менталитета населения, низкая мотивация труда работников сельхозпредприятий), 3) организационно-управленческой деятельностью в самих сельхозпредприятиях (низкий уровень организационно-управленческих кадров, недостаточный уровень образования специалистов – выпускников аграрных вузов, необходимость сельхозпредприятиям самим решать социальные проблемы) [14, с. 279]. Последняя группа факторов в значительной степени сконцентрирована на кадровых проблемах современных сельхозпредприятий. Включение в систему рыночных отношений, модернизация производства способствуют росту экономических показателей, повышению конкурентоспособности предприятия. Оборотная сторона медали – проблема избыточной низкоквалифицированной рабочей силы и недостаток квалифицированных кадров на селе. Более трети экспертов (36,5 %) заявили, что для эффективной работы на их предприятиях не хватает постоянных работников. Среди требуемых работников – животноводы, механизаторы, агрономы, зоотехники.

В то же время более половины экспертов отмечают, что можно было бы обойтись меньшим количеством постоянных работников. Для этого, по мнению специалистов и руководителей, необходимо улучшить организацию производства (41,3 %), перевести ручные операции на современные технологии (39,7 %), повысить мотивацию и интенсивность труда (17,5 % и 15,9 % соответственно). Основными препятствиями для привлечения рабочей силы экспертами были названы низкая заработная плата (54 %), непрестижность и непривлекательность сельских профессий для молодых специалистов (30,2 %), отсутствие работников без вредных привычек (15,9 %). А в качестве основных мер по привлечению квалифицированных кадров, молодежи в агросферу, по мнению представителей административно-управленческого корпуса, являются, прежде всего, повышение оплаты труда, нормированный восьмичасовой рабочий день, обеспечение достойных социально-бытовых условий.

В ходе опроса экспертов были определены возможные варианты развития новых сфер приложения труда, в том числе и вне сельскохозяйственного производства. Это, прежде всего, развитие на сельских территориях предприятий по переработке сельхозпродукции – большинство респондентов высказались за подобный вариант. В качестве других вариантов в порядке убывания степени значимости были названы: размещение в сельской местности филиалов промышленных предприятий, развитие экотуризма, торговли и бытового обслуживания населения, стимулирование личных подсобных хозяйств, их товарное производство, реформирование работы потребкооперации, создание добровольных крестьянских кооперативов по производству, переработке, сбыту, снабжению.

Проведенные экспертные опросы позволили более четко увидеть и сформулировать проблемы и определить возможные варианты их преодоления. В ходе реализации описанных исследовательских проектов использование метода экспертного опроса позволило выявить гораздо больше конструктивных решений поставленных проблем, чем ожидалось перед началом исследования. Что же касается методики самого экспертного опроса, то проведенные исследования показали, что даже в достаточно простых вопросах и при наличии разработанной системы гипотез могут «всплывать» такие нюансы и варианты решений, которые невозможно предусмотреть заранее. Таким образом, экспертный опрос (и его разновидности) является одним из эффективных методов получения объективной, надежной и глубокой информации, комплексной разработки компетентных, грамотных и адекватных решений и их внедрения в практику социального управления и планирования.

Список использованных источников

1. Бешелев, С. Д. Математико-статистические методы экспертных оценок / С. Д. Бешелев, Ф. Г. Гурвич. – [2-е изд., перераб. и доп.]. – М. : Статистика, 1980. – 263 с.

2. Хлебович, Д. И. Экспертный опрос как инструмент исследования проблем высшего профессионального образования: предпосылки и практика использования / Д. И. Хлебович // Изв. ИГЭА. ‒ 2013. ‒ № 6 (92). ‒ С. 12‒20.

3. Экспертные оценки в социологических исследованиях / С. Б. Крымский [и др.] ; АН УССР, Ин-т философии. – Киев : Наук. думка, 1990. – 320 с.

4. Масленников, Е. В. Метод интеграции концепций экспертов в социологическом исследовании (Выявление, оценка и обобщение эмпирического знания) / Е. В. Масленников. – М. : Изд-во Моск. ун-та, 1992. – 88 с.

5. Эйтингон, В. Н. Методы организации экспертизы и обработки экспертных оценок в менеджменте : учеб.-метод. пособие / В. Н. Эйтингон, М. А. Кравец, Н. П. Панкратова. – Воронеж : ВГУ, 2004. – 44 с.

6. Нечаев, В. С. К вопросу об экспертной оценке организационных аспектов государственно-частного партнерства в здравоохранении / В. С. Нечаев, И. Э. Чудинова, Б. А. Нисан // Социология медицины. ‒ 2012. ‒ № 1 (20). ‒ С. 21‒23.

7. Кошевой, О. С. Организация экспертного опроса с привлечением специалистов органов государственного и муниципального управления / О. С. Кошевой, Е. С. Голосова, Ш. Г. Сеидов // Изв. высших учеб. заведений. Поволжский регион. Обществ. науки. – 2012. – № 1 (21). – С. 98–107.

8. Орлов, А. И. Организационно-экономическое моделирование : учеб. : в 3 ч. / А. И. Орлов. – М. : Изд-во МГТУ им. Н. Э. Баумана, 2011. – Ч. 2 : Экспертные оценки. ‒ 486 с.

9. Белановский, С. А. Свободное интервью как метод социологического исследования / С. А. Белановский // Социология: 4М. ‒ 1991. ‒ № 2. ‒ С. 5‒19.

10. Фролова, И. И. Коррупция в органах власти: результаты экспертного опроса / И. И. Фролова // Актуальные проблемы экономики и права. ‒ 2012. ‒ № 4. ‒ С. 104‒107.

11. Андрианова, Н. А. Структура и технологии формирования имиджа Краснодарского края (по материалам экспертного опроса) / Н. А. Андрианова // Вестн. Волгогр. гос. ун-та. Сер. 4, История. Регионоведение. Междунар. отношения. ‒ 2008. ‒ № 2. ‒ С. 155‒161.

12. Мальцев, К. В. Использование методов экспертного опроса в исследовании формирования и развития земельного рынка в России [Электронный ресурс] / К. В. Мальцев // Вопр. управления. ‒ 2007. ‒ Вып. 1. – Режим доступа: http://vestnik.uapa.ru/en/issue/2007/01/11/. ‒ Дата доступа: 10.10.2016.

13. Кучко, Е. Е. Социологическое изучение инноваций / Е. Е. Кучко // Социол. альм. ‒ 2012. ‒ № 3. ‒ С. 42‒47.

14. Судьба белорусской провинции: социологический анализ / Р. А. Смирнова [и др.] ; под общ. ред. Р. А. Смирновой. – Минск : Беларус. навука, 2015. ‒ 434 с.

15. Смирнова, Р. А. Инновационный потенциал руководителей и специалистов сельского хозяйства / Р. А. Смирнова // Весн. Брэс. ун-та. Сер. 2, Гісторыя. Эканоміка. Права. ‒ 2015. ‒ № 1. ‒ С. 111‒117. T.

Т. В. КУЗЬМЕНКО