You may have wondered more than once why some pre-election polls do not correspond to the subsequent outcome. Stephen Engelberg, editor-in-chief of the non-profit news agency ProPublica, has described why predictions and results sometimes differ so much. His conclusions can also be applied to the forms of employee surveys conducted by companies.
The systems that our society uses to measure how people feel simply do not work at a certain level. This includes especially surveys used by various organisations to analyse people's sentiments.
The internal data gathered by companies provides a clear idea of whether employees feel committed and satisfied. But if executives happen to access references, for example, on portals where employees, both past and present, anonymously evaluate company culture, they are taken aback: in many cases external sources indicate employees are less engaged than internal surveys suggest. Sometimes, though, it's the other way around.
At first glance, it may seem that external sites must have skewed data, thus creating a false impression, because the people supplying the information may not be a valid sample of the employee base. However, Engelberg states his research in companies often reveals it is in fact the internal data that contains a number of deviations.
There are several reasons for this. Some of them reflect the problems that plague both political and various opinion polls. The sample may be unrepresentative; for instance, it is extremely difficult to determine whether those completing the internal surveys are representative of employees across the entire organisation.
Rajeev Peshawaria, author of Open Source Leadership, for example, suggests some employees are too busy to complete the surveys at all, while others deliberately avoid them because they do not believe their answers will be genuinely anonymous.
The employees who complete the internal surveys are in fact determined by self-selection, and this is an unrepresentative sample of participants.
At the same time, it is not always clear how each respondent interprets a given question. Another problem companies face is an inability to define issues clearly in order to prevent different interpretations. For example, asking about an employee's level of engagement based on a scale from 1 (lowest) to 10 (highest) may lead to distorted answers.
For instance, an employee who feels highly motivated and involved in tasks they enjoy will record a mark of 10. On the other hand, an employee who feels they enjoy a well-balanced work and personal life may decide on a 5. Thus people with similar levels of engagement will actually offer a completely different assessment in the survey.
Surveys can be designed to offer specific and clear definitions of terms, leaving room for extensive qualitative data in which people explain in their own words why they answered the way they did. Detailed information may also be included to clarify how anonymity will be ensured. Sometimes, however, data relevance issues persist. People are simply too complex, so the data provides only clues rather than insight.
So what does all this mean? That companies should rely less on data to understand employees and predict their behaviour. In a nutshell:
- Ask less, observe more. To find out how your employees feel and what challenges they face, look around and make a note what you see. Do people work well together? Do they treat each other with respect? Does everyone get a chance to talk and be heard?
- Avoid "pseudo voices". When employees point out problems, they often slip through cracks and have no impact. The so-called "pseudo voice" gives employees the "illusion of participatory influence". Unfortunately, this is also common at companies that claim to be committed to giving employees a chance to contribute their ideas. If you want to involve employees, take all feedback seriously.
- Look ahead. Focus more on building a better future and less on assessing the state of affairs right now.
-bb-
Proč výsledky zaměstnaneckých průzkumů často vůbec neodpovídají realitě?
Možná jste se kolikrát pozastavili nad tím, proč některé volební výzkumy neodpovídají výsledné realitě. Stephen Engelberg, šéfredaktor neziskové zpravodajské agentury ProPublica popsal, proč se predikce a výsledky někdy tolik odlišují. Jeho závěry lze aplikovat i na formy zaměstnaneckých průzkumů, které společnosti realizují.
Systémy, které naše společnost používá k měření toho, jak se lidé cítí, prostě na určité úrovni nefungují. Zahrnuje to především průzkumy, které různé organizace používají ke zkoumání sentimentu lidí.
Interní údaje, které podniky shromažďují, jim dávají jasnou představu o tom, zda se jejich zaměstnanci cítí angažovaní a spokojení. Ale když se pak vedoucí pracovníci náhodou dostanou k referencím například na portálech, kde zaměstnanci i bývalí zaměstnanci anonymně hodnotí firemní kulturu, nestíhají se divit. Externí zdroje v mnoha případech naznačují, že zaměstnanci jsou méně angažovaní, než jak ukazují interní průzkumy. Někdy to ale bývá i opačně.
Na první pohled se může zdát, že externí weby musí mít zkreslená data, což vytváří nesprávný dojem, protože lidé, kteří odesílají informace, nemusí představovat platný vzorek základny zaměstnanců. Engelberg však uvádí, že ve svém průzkumu ve firmách často zjišťuje, že právě interní data mívají řadu odchylek.
Má to několik důvodů. Některé z nich odrážejí problémy, které trápí i politické průzkumy a různé průzkumy veřejného mínění. Vzorek může být nereprezentativní. Například je nesmírně obtížné zjistit, zda jsou lidé, kteří vyplňují interní průzkumy, ve skutečnosti typičtí zaměstnanci pro celou organizaci.
Rajeev Peshawaria, autor knihy Open Source Leadership, například uvádí, že někteří zaměstnanci jsou tak zaneprázdněni, že průzkumy nevyplňují vůbec. Někteří se jim dokonce vyhýbají, protože nevěří, že jejich odpovědi budou skutečně anonymní.
Zaměstnanci, kteří interní průzkumy vyplňují, jsou ve skutečnosti určeni samovýběrem, a jedná se tak o nereprezentativní vzorek účastníků.
Zároveň není vždy jasné, jak si každý respondent vyloží danou otázku. Dalším problémem, s nímž se společnosti potýkají je i to, že nedokáží dobře definovat otázku, aby měla jasný význam a předcházela různým interpretacím. Například když se zeptáte na míru angažovanosti zaměstnance a požádáte ho o hodnocení na stupnici od 1 (nejnižší) do 10 (nejvyšší), můžete čelit zkresleným odpovědím.
Například zaměstnanec, který se cítí být vysoce motivován a zapojen do pracovních úkolů, které ho baví, označí na stupnici 10. Zatímco zaměstnanec, který cítí, že má dobře vyvážený pracovní a osobní život uvede na stupnici 5. Lidé s podobnou úrovní angažovanosti ve skutečnosti uvedou zcela odlišné hodnocení v průzkumu.
Průzkumy mohou být navrženy tak, aby nabízely konkrétní a jasné definice pojmů. Mohou ponechat prostor pro rozsáhlá kvalitativní data, ve kterých lidé vysvětlí svými vlastními slovy, proč odpověděli tak, jak odpověděli. Lze také zahrnout podrobné informace, které objasní, jak bude zajištěna anonymita. Někdy ale i tak problémy s relevancí dat přetrvávají. Lidé jsou zkrátka příliš složití a data poskytují spíše vodítka – nikoli vhled.
Co to tedy znamená? Znamená to, že podniky by se měly méně spoléhat na data, pokud jde o porozumění zaměstnancům a předvídání jejich chování. Ve zkratce:
- Ptejte se méně, pozorujte více. Chcete-li zjistit, jak se vaši zaměstnanci cítí a jakým výzvám čelí, podívejte se kolem sebe a všimněte si, co vidíte. Spolupracují lidé dobře? Zacházejí k sobě navzájem s respektem? Dostává každý příležitost mluvit a je slyšen?
- Vyhněte se „pseudo hlasům“. Když zaměstnanci poukazují na problémy, často tyto problémy proklouznou trhlinami a nemají dopad. Tzv. „pseudo hlas“ dává zaměstnancům „iluzi participativního vlivu“. Bohužel je běžný i ve společnostech, které tvrdí, že se zavázaly dát zaměstnancům šanci přispívat svými nápady. Chcete-li zapojit zaměstnance, berte veškerou zpětnou vazbu vážně.
- Dívejte se vpřed. Zaměřte se více na budování lepší budoucnosti a méně na posuzování toho, v jakém stavu se věci nacházejí nyní.
-bb-