자료 수집

1. 간략한 설명2. 종류

2.1. 면접법

2.1.1. 초점집단면접법

2.2. 문헌연구법2.3. 사례연구법2.4. 실험법2.5. 앙케트2.6. 일지연구법2.7. 질문지법

2.7.1. 우편조사법2.7.2. 인터넷조사법2.7.3. 전화조사법2.7.4. 집단조사법

2.7.4.1. 배포조사법

2.8. (참여)관찰법

2.8.1. 에스노그라피

2.9. 청취자 조사법 (콜인)2.10. 패널조사법

2.10.1. 델파이 기법

3. 분석단위와 관찰단위4. 관련 문서

1. 간략한 설명

資料收集 / data collection
연구에 직간접적으로 필요한 일체의 정보를 얻기 위한 수집 활동 및 이를 지원하는 모든 과정.[1] 자료수집은 사회과학의 연구를 하기 위해서 대단히 중요한 부분이며, 실제로 어떤 연구가 받아들여지지 않을 경우에는 이것이 잘못되어 학계의 비판을 받는 것인 경우도 많다.

이 바닥에서 꽤 유명한 말이 있는데, " 쓰레기를 집어넣으면 쓰레기가 나온다"(Garbage in, garbage out)이다. 다시 말해, 자료수집이 제대로 되지 않으면 이후에 아무리 실험설계가 좋아도, 아무리 훌륭한 질문지를 만든다고 해도, 아무리 이상적인 면접을 진행한다고 해도, 그렇게 해서 얻어진 데이터의 가치는 그저 쓰레기일 뿐이라는 뜻이다. 그래서 사회과학 분야의 수많은 연구자들은 자료수집을 세심하게 준비하고 설계하는 경우가 많다.

이하의 종류 중에서 문헌연구법을 제외한 모든 수집방법들은 공통적으로 하나 이상의 표본을 구해서 연구하게 되는데, 이 경우 표본조사의 통계적 신뢰성과 진실성도 마찬가지로 중요해지게 된다. 만일 표본을 추출할 필요가 없는 연구는 모집단 전체를 대상으로 하게 되므로 가장 정확하게 현실을 알려주지만, 그만큼 시간과 비용이 기하급수적으로 증가하게 되기에 인구학이나 정책학, 국정운영의 일부 분야에서만 쓰이고 있을 뿐이다.

연구자는 반드시 하나의 자료수집 방법을 고집할 필요는 없으며, 가능한 한 다각도의 여러 자료들을 수집하여, 그것들이 모두 같은 방향을 가리키고 있는지를 확인해야 한다. 소수를 대상으로 중점적인 연구를 시행했다면, 다른 한편으로는 대규모 표본을 대상으로 다소 피상적인 연구를 병행하는 것도 좋다. 정성적 데이터를 확보했다면 이제 정량적 데이터를 확보하기 위해 발바닥에 불이 나도록 뛰어야 한다. 이처럼 다양한 자료수집 방법을 동원해야 하는 이유는, 어느 하나의 방법이 무조건 옳은 것은 없으며, 각각 장점과 단점이 굉장히 명확하기 때문에 서로가 서로를 보완할 수 있도록 해야 하기 때문. 삼각검증 항목도 함께 참고.

이하의 내용은 고등학교 교과과정 중 사회문화 과목에서도 첫 단원에서 간략하게 접해보게 된다. 사회조사분석사 자격증을 준비하는 사람들도 열심히 익히는 내용이다.

2. 종류

(가나다순)

2.1. 면접법

자세한 내용은 면접법 문서 참고하십시오.

2.1.1. 초점집단면접법

자세한 내용은 초점집단면접법 문서 참고하십시오.

2.2. 문헌연구법

타인의 기존 연구를 통해서 이미 축적되어 있는 데이터를 수집하는 방법. 그 정의 상 이차적 연구(secondary research)에 속한다.

거의 모든 연구는 일단 이것부터 시작한다. 일단 어느 연구주제를 설정했다면, 그것이 인류 역사상 최초로(…) 관심을 끈 주제가 아닌 이상, 누군가는 분명히 여러분보다 먼저 그 주제에 관심을 갖고 뭔가 연구를 해 놓은 흔적이 있다. 아이작 뉴턴의 유명 어록을 약간 변형해서 설명하자면, 어떤 분야의 거인이 되기 위해서는 먼저 거인의 어깨 위에 올라서야만 한다. 남의 연구와 기여의 내용은 싹 무시하고 자기 혼자만의 이론체계를 세우는 걸 두고 보통 독자연구라고 부른다.(…) 엄밀한 과학 분야에서 이런 짓을 했다가는 유사과학이라는 딱지가 붙을 수도 있다.

예를 들어 여러분이 광고의 특성에 관련된 소비자 반응의 차이를 연구하고자 한다면, 광고에 대해서 연구한 경영학 관련 분야나 심리학의 몇몇 분야들을 우선 찾아다니면서 그 분야 권위자들의 연구를 찾아볼 필요가 있는 것이다. 그리고 그것들을 모두 섭렵한 후, 그들의 책더미 위에 올라앉아서, 비로소 "어라, 이거 이상하군. 그렇다면 이건 왜 이렇지?" 라고 혼잣말을 중얼거려야 하는 것이다. 반대로 만약 여러분이 전혀 뜬금없는 주제, 이를테면 외계인심리학(…) 같은 것에 흥미가 생겼다면?[2] 그래도 문헌연구를 해야 한다. 왜냐하면 인간과 외계인의 심리 사이에 차이가 없을 것이라고 전제하는 영가설(null hypothesis)이 필요하기 때문. 인간과 외계인이 어떻게 다른지를 이해하려면 먼저 인간의 심리가 어떤지를 알아야 하기 때문에 여전히 심리학 관련 연구성과들에 통달해야만 한다.

물론 여러분이 논문을 쓰는 게 목적이 아니라 저널리즘이나 공무수행 등으로 뛰고 있다면, 그 대상이 꼭 학술연구 관련 문헌일 필요는 없다. 기존에 존재하는 신문기사, 인터넷 기사, 서적, 간행물, 잡지, 동영상, ~~나무위키 항목들,~~ 인터넷 덧글(…)까지도 연구주제에 따라서는 얼마든지 문헌연구법의 대상이 된다. 이쯤되면 일반인 수준에서도 웬만큼 지식축적에 관심과 흥미가 있는 사람이라면 늘상 하는 것일 따름. 어떤 연구에 필요한 사전 배경지식 확충의 성격이 강하기 때문에, 이것만 하고 끝내는 연구는 연구가 아니라 그냥 일반인들의 약간은 하드(?)한 취미생활이라 불러야 할지도 모르겠다.

문헌연구법은 연구자가 즉시로 1차자료를 수집하기 어려운 여건이거나, 연구자에게 당장 시간과 예산이 주어지지 않은 상태이거나, 연구자가 그 분야에 대한 사전지식을 충분히 확보하지 못한 상황에서 필수적이다. 무엇보다도, 자신의 관심분야와 실제 그 학문의 큰 흐름(트렌드)을 함께 파악하여 연결하기 위해서도 필요하다. 한편 문헌연구법의 한계는, 각 문헌들의 신뢰도를 개별적으로 측정할 필요가 있으며,[3] 교차검증 없이 신뢰도가 낮은 문헌을 연구의 기반으로 삼을 경우 자신의 연구도 함께 쓸모없어진다는 점이다. 더불어, 문헌의 내용을 고스란히 받아들이는 것이 아니라 연구자가 주관적으로 해석할 여지가 생긴다는 문제도 있다.

문헌연구법에는 다음의 종류들이 있다.

문헌검토(literature review; lit. review)
어떤 특정한 연구문제를 놓고 그에 관련이 있는 선행문헌들을 검토한다. 논문의 앞부분에 등장하며, 분야에 따라 문헌검토의 중요성은 각각 다르다. 구체적인 포맷은 명시화되어 있지 않지만, 그 연구문제에 적합한 이론적 조망이 선택되어서 적합한 연구 가설을 이끌어냈는지 여부가 문헌검토의 질적 수준을 결정한다. 제시되는 순서는 가장 일반적이고 포괄적이며 고전적인 문헌에서부터 연구자가 직접 참고할 가장 가까운 선행연구 문헌의 순서로 깔때기처럼 범위를 축소하는 형태이다. 리뷰의 형태로 제시되는 문헌검토의 경우에도, 어떤 하나의 연구문제 키워드를 놓고 이에 관련하여 수행된 여러 편의 연구들을 '시리즈' 형태로 소개하게 된다.

메타 분석(meta-analysis)
메타분석은 분석에 대한 분석이라고 말할 수 있다. 즉 통계적 방법을 활용한 양적 연구들이 적게는 10건 남짓, 많게는 수십 건까지 충분히 누적되었을 때, 일정한 통계적 기준을 만족하는 각 연구들의 결과 데이터들을 관측값으로 삼아서 그에 대한 분석을 수행한다. 즉 메타분석을 통해 산출되는 데이터는 연구결과에 대한 연구결과가 되는 것. 기존에는 효과 크기(effect size)를 바탕으로 하여 정말로 어떤 현상이 존재한다는 것이 객관적으로 확인되는지에 집중하였으나, 연구투명성이 강조되는 현대에는 깔때기도표(funnel plot)를 활용하여 '출판되지 않고 숨겨진 데이터' 가 몇 건인지와 같은 감사(audit)의 기능도 수행하고 있다. 하나의 논문 속에 7~8건 이상의 다수의 연구를 반복수행했을 때 마지막으로 그 모든 연구결과들을 추려서 작게 메타분석을 하기도 한다.

메타합성(meta-synthesis)
질적 연구의 메타분석. 질적 근거 합성(qualitative evidence synthesis)이라고도 한다. 여러 건의 질적 연구들이 있을 때 각각이 제공하는 통찰이나 이해, 시사점을 하나로 통합하는 작업이며, 이를 통해 연구문제에 관련된 개념이 재정립되고 모든 연구들을 한데 묶어주는 하나의 주제(theme)가 도출된다. 방법론의 역사는 상대적으로 깊지 않으나, 질적 연구에서 체계화된 연구 활동이 강조됨에 따라 현대에 급속하게 발전하였다.

연구동향분석(research trend analysis)
시간적 흐름에 따라 어떤 주제 혹은 방법(론)을 채택한 연구가 어떤 식으로 변화하고 있는지 파악할 때 사용되는 연구법으로, 연구의 역사를 살피는 작업이라고도 할 수 있다. 특정 키워드를 연구문제로 삼은 연구가 연대별로 접근법이나 방법론, 사용하는 이론이 어떻게 달라졌는지 살펴보거나,[4] 특정 방법론이 발전하면서 점차 어떤 식으로 활용되어 갔고 어떤 연대에 어떤 주제에 집중적으로 적용되었는지[5]도 파악할 수 있다. 추가적으로 아래의 체계적 검토에서처럼 각각의 연구의 가치나 질적 수준을 평가하는 작업도 포함될 수 있고, 이를 바탕으로 기존 연구들이 공유하는 문제점을 짚어줄 수도 있다. 일부 저널 및 저자들은 최신 연구의 동향이나 향후 연구방향(future direction)에 대한 논의를 넣기도 한다. 연구동향분석 결과가 학술지 논문으로 나오는 분야도 있지만, 핸드북을 연구동향분석 전담 매체로 활용하는 분야들도 있다.

체계적 검토(systematic review)
학문적 기준을 근거로 하여 문헌들을 수집·선정·평가하는 연구법으로, 단순한 문헌검토와는 달리 학문 공동체 내에서 사전에 합의된 원칙과 절차, 규율, 지침에 의거하여 검토하게 된다. 은근히 중요한 것은 각각의 문헌들을 검토하는 전체 과정이 투명하게 공개되어야 한다는 것. 그리고 체계적 검토는 각각의 문헌들의 질적 수준에 대해서 객관적인 기준에 비추어 반복 가능하게 평가하는 과정을 거친다.[6] 메타분석에 반드시 체계적 검토가 선행된다거나 혹은 체계적 검토가 메타분석의 예비 단계라고 이해하는 분야들에서는, 마지막으로 이 검토의 결과를 통계분석하여 하나의 통합된 수치를 도출하기 위해 메타분석을 시행한다. 하지만 분야에 따라 이런 통합된 수치의 도출이 불필요하거나 아예 불가능할 수도 있으며, 이 경우에는 메타분석 없는 체계적 검토만으로도 충분하다. 대학원생들이 체계적 검토를 연습하기 위해 문헌들을 읽고 보고서로 제출하는 경우에는 체계화된 검토(systematized review)라고 부르기도 한다.

이상의 설명은 상호배타적인 분류가 아니며, 많은 경우 중첩이 심하여 큰 혼란을 불러일으키기도 한다. 예컨대 체계적 검토와 메타분석은 한데 묶여서 논문이 나오는 경우도 많기 때문에 양자가 서로 같은 것이라는 혼동도 있다. #관련자료 특히 의학계에서 그런 관행이 많은데, 의학계는 체계적 검토 후 메타분석을 연이어 수행하는 것이 용이하고 통찰도 많은 분야이긴 하지만, 그들은 두 연구법을 남들보다 더 많이 발전시켰고 그 과정에서 논의도 더 많이 했을 뿐이다. 두 연구법이 굳이 묶일 이유가 없거나 아예 묶는 것이 불가능한 분야들도 많지만 그런 쪽에선 연구법에 대한 논의가 충분치 못하다 보니 이런 혼동이 더욱 심화되었다. 문헌연구법의 분류에 대해서 더 엄밀한 논의를 원한다면 Grant & Booth(2009)[7]의 문헌을 볼 것.

문헌연구법도 정말 작정하고 '체계성' 을 부여하기 시작하면 한도끝도 없이 엄격해진다. 여러 학문분야들에서 대중적으로 따르는 체계적 절차는 다음과 같다.

우선 연구문제 또는 연구주제부터 명확하게 정의해야 한다. 그리고 그 정의와 동일한 정의를 취하는 선행연구 분야들을 한정할 필요가 있다. 이는 향후 문헌검색에 활용할 키워드를 어떤 것들로 잡을지 판단하는 과정까지 포함하게 된다.
문헌검색에 활용할 검색시스템을 명시해야 한다. 물론 가장 손쉽게 활용할 수 있는 것은 구글 스칼라이지만, Web of Science나 SCOPUS 등의 학술 데이터베이스를 활용하는 연구자들이 많다. 필요하다면 단순한 구글 검색결과도 포함시킬 수 있으며, 학문적 처지가 그런 쪽이라면 당연히 그렇게 하는 게 옳다.
문헌검색 대상으로 포함시킬 출판연도 범위를 명시해야 한다. 2~3년만 지나도 낡은 연구 취급받는 분야들에서는 너무 오랜 옛날 문헌까지 포함시킨다면 동향검토 이상의 의미는 갖기 힘들다. 반면 인문학처럼 오래되긴 했어도 여전히 학계에 큰 영향력을 끼치는 문헌들을 포함해야 한다면 연도를 넓게 잡아주는 것이 좋다.
문헌의 질적 수준 및 가치를 평가할 평가기준을 명시해야 한다. 메타분석을 염두에 둘 경우 효과 크기 같은 통계적 수치가 쓰일 수도 있고, 실험설계의 관점에서 평가할 수도 있고, 표본의 크기나 표본 동질성 또는 표본의 인구학적 특성과 같은 표본조사의 관점에서, 혹은 아예 임팩트 팩터와 같은 저널 수준 지표를 통해서 평가할 수도 있다. 또한 결과의 보고 및 해석을 바탕으로 평가하는 것도 가능하지만, 이 경우 객관화된 체크리스트나 가이드라인 등을 활용해야 한다.
문헌검색 대상에서 제외시킬 스크리닝 기준을 명시해야 한다. 예컨대 주류 (특히 양적인) 방법론을 따르지 않은 문헌, 간접적으로만 변인 통제의 차원에서 다루는 문헌, 기준에 미치지 못할 만큼 저질의 저널에 실린 문헌, 영어 이외의 언어로 쓰인 문헌, 지나치게 소표본을 사용한 문헌, 핵심 데이터가 보고에서 누락된 문헌, 교신저자의 연락처가 바뀐 문헌 등이 자주 선정되는 제외 기준이다.
가능한 모든 문헌을 본격적으로 검색하고, 얻어진 최초 검색 문헌의 총합을 보고한다. 여기에는 미출판 데이터(unpublished data) 역시 포함된다.[8] 이후 검색시스템별, 출판연도별, 출판여부별, 기타 분류별로 검색된 문헌의 빈도를 분석하여 보고한다.
상기 정립된 기준에 입각하여 스크리닝을 실시하고, 각 기준별로 검토에서 제외하기로 결정한 문헌의 빈도를 분석하여 보고한다. 미출판 데이터는 반드시 포함시켜야 할 대상이다.
최종적으로 검토 기준에 완전하게 부합하여 마지막까지 남겨진 검토 대상 문헌의 총합을 보고한다. 이 수는 최초 검색 문헌의 총합에 비해 극히 일부일 수도 있어서, 최초에는 만수천 건의 문헌이 검색되었다가 이래저래 다 빼고 보니 최종적으로는 수십 건의 문헌밖에는 남지 않는 경우도 얼마든지 가능하다.
검토 대상 문헌들을 상기 정립된 기준에 입각하여 본격적으로 평가한다. 이 평가는 반복 가능하여 신뢰할 수 있는 결과를 산출해야 한다. 평가결과를 통계적으로 통합할 수 있으며 그러한 작업의 가치가 있는 분야들에 한하여 메타 분석을 수행할 수 있다.
평가 결과를 해석하고 그로부터 얻어진 통찰을 보고한다.

정리하자면 체계적인 문헌연구법은 "버려야 할 문헌은 과감하게 다 버리되, 버리지 말아야 할 문헌은 최대한으로 긁어모아라" ＋ "객관적인 평가기준을 미리 정해놓고, 문헌이 확보되면 그 평가기준에 부합하는지만 봐라" 가 요지라고 할 수 있다.

문헌들을 선정하는 것은 무조건 많이 포함시켜도 안 되지만 너무 깐깐하게 조금만 포함시켜도 곤란하다. 세상에 완벽한 연구는 없고, 설령 완벽한 문헌들만 모은다 하더라도 이를 통해 얻어진 검토 결과는 현실과 괴리되기 십상이다. 실제 연구 현장에서 흔히 빠지곤 하는 함정이나 자주 발생하는 실수들, 부적절한 접근법이나 방법론을 취하는 연구 관행들이 있을 때에는 그야말로 치명적이다. 하지만 반대로, 이것저것 한도끝도 없이 모으다 보면 결과적으로 그 검토 결과의 품질이 나빠지는 문제가 발생한다. 연구자들은 검토를 통해서 통찰을 얻어야 하는데, 수준 낮은 문헌들이 그 검토 결과를 왜곡시키면 그로부터 얻어진 통찰도 못 믿을 '썰' 로 전락하게 되는 것이다. 따라서 문헌의 선정 기준은 양쪽 사이에서 교묘한 줄타기를 해야 하는 문제이며, 이를 가리켜 방법론적 질(methodological quality)에 관련된 딜레마로 칭하기도 한다.

2.3. 사례연구법

특정 사례에 대하여 연구목적에 부합하도록 자료를 측정하는 방법. 영어로는 "case study" 라고도 불린다.

일반적으로 사회과학이나 자연과학 모두 사례연구법은 별로 좋아하지도 않고 잘 쓰지도 않는다. 반면 교육학이나 임상심리학과 같은 일부 분야에서는 나름대로의 가치가 있는 듯. 짐작하듯이 사례연구법의 한계는 매우 명확해서, 표본추출의 한계로 인해 해당 특정 사례를 일반화하는 것도 불가능한 데다, 인과관계를 밝히는 것도 불가능하고, 일반적으로 질적 자료로 간주되기 때문에 계량화 역시 막막하다는 점이다. 게다가 연구자의 주관이나 편견이 반영될 위험도 존재한다!

간혹가다 뇌과학 분야에서는 사례연구가 쓰이기도 한다. 물론 이런 분야에서는 일반화의 문제가 좀 더 수월하며, 연구윤리로 인해 실험과 같은 다른 연구방법들이 크게 제약을 받는다는 점도 감안해야 한다.[9] 예를 들어 어떤 사람이 정말정말 우연한 사고로 인해서 정말정말 우연히 측두엽 내측 손상이 발생했다고 가정하자. 이 환자가 병원에 발을 들여놓은 결과로 인류의 뇌전증 지식은 크게 발전하게 된다.(…) 또는 뇌의 다른 문제로 인해(ex.뇌종양) 뇌의 일부를 잘랐더니 전혀 예상치 못한 이상한 부작용이 발생할 수도 있다. 분리뇌에 대한 연구성과도 이것에 상당 부분 의존한 바 있다.[10]

일반인들 사이에서는 나름대로 자주 볼 수 있다. 당장 성형외과 광고가 흔히 이렇고 개미들도 주식시장의 특정 주의 추세를 예측하기 위해 동원하는 경우가 있다.

2.4. 실험법

자세한 내용은 실험 문서 참고하십시오.

2.5. 앙케트

자세한 내용은 앙케트 문서 참고하십시오.

2.6. 일지연구법

자세한 내용은 일지연구 문서 참고하십시오.

2.7. 질문지법

자세한 내용은 질문지법 문서 참고하십시오.

질문지법에는 다양한 아종들이 있기 때문에, 아래에 서술될 내용을 표로 정리하면 대략 다음과 같다. 면접법과 비교되는 경우도 많기 때문에 면접법 또한 포함하였고, 굵게 처리된 글씨는 그 자료수집 방법에서 흔히 거론되는 대표적 장·단점이다.

	우편조사법	인터넷조사법	전화조사법	집단조사법	배포조사법	면접법
접근성[11]	높음	높음	높음	낮음	낮음	낮음
응답률[12]	낮음	낮음	낮음	높음	높음	높음
조사비용[13]	낮음	낮음	높음	높음	높음	높음
조사현장[14]	비통제	비통제	통제	통제	비통제	통제
대표성[15]	높음	낮음	높음	높음	높음	낮음
응답시간[16]	충분	충분	부족	부족	충분	충분

2.7.1. 우편조사법

사전에 준비한 질문지를 표본추출된 응답자에게 우편으로 보내서 답안을 회신하도록 하는 방식이다. 사회학 교수이자 방법론 연구자인 돈 딜먼(D.A.Dillman)에 의해 크게 발전하였다.

어찌 보면 복잡할 것 같지만, 의외로 편한 방법이다. 우선 우편조사법은 조사자가 조사의 주제와 목적, 성격에 대해서 차분하게 준비해서 잘 정리할 여유가 있다. 게다가 우편 비용과 종이값, 잉크값만 빼면 조사자가 실제로 조사비를 들일 만한 건덕지가 별로 없어서 경제적이기도 하다.[17] 일반적인 질문지법에 비해서 조사원들의 거마비가 들지 않는다는 상대적인 재정적 장점도 있다. 일반적인 질문지법에 비해서 지리적 한계를 더 잘 극복할 수 있다고도 볼 수 있다. 예를 들어 균일한 표본추출을 위해 전국 팔도에 있는 응답자들에게 우편을 보내야 한다면, 각지에 흩어진 소수의 응답자들을 일일이 쫓아다니며 질문지를 주는 것보다는 훨씬 수월하기 때문이다. 또한 조사자와 응답자가 얼굴을 마주 볼 일도 없어서 태도 변인을 무시할 수 있게 된다.

응답자 입장에서도 꽤 편한데, 익명성이 보장되는 것이 가능하며, 가만히 앉아있기만 해도 우편 배달부가 알아서 집으로 찾아와서 친히 질문지를 건네주게 되므로(…) 수고롭게 조사자를 찾아갈 필요가 없다. 또한 우편조사법은 일반적인 질문지법보다 응답에 필요한 시간이 더 넉넉해서, 시간적 여유를 갖고 응답할 수 있게 된다. 그렇기 때문에 질문 자체에 상당한 정보량을 담을 수 있고, 필요하다면 별도의 박스로 구체적인 부연설명까지 해 줄 수도 있다. 그래서 응답자들은 충분히 숙지된(informed) 상태로 응답에 임할 수 있다.

그러나 우편조사법은 역시 나름의 단점을 갖고 있다. 가장 큰 문제는 처참할 정도로 낮은 회수율. 일반적으로 10~25% 정도의 회수율을 자랑(?)하며, 그 이상 회수되었다면 운이 좋은 것이다. 응답자가 막상 우편을 받아보고 나서 "뭐야 이건" 하고 던져버릴 수도 있고, 개인적으로 바쁜 일이 생겨서 응답을 못 할 수도 있고, 한동안 출타중이어서 우편을 제때 확인하지 못할 수도 있고, 보내는 것을 깜박하고 잊어버릴 수도 있으니... 그 외에도 문제점은 수두룩한데, 주변 사람들이 응답자 대신 질문지를 완성하거나 주변 사람들의 압력이나 부추김이 반영될 우려가 있다.[18] 더불어, 발송으로부터 오랜 시간이 지난 후에 회신되는 자료를 처리하기가 곤란하다는 점, 질문지 각 질문 항들의 독립성을 보장하기가 어렵다는 점[19]도 있다. 현대 대한민국에는 별 의미가 없지만, 질문지법이 다 그렇듯이 문맹자에게 쓸 수 없는 방법이기도 하다. 그 외에도 질문지법의 공통적인 단점으로, 해당 연구주제에 적극적이거나 흥미가 있거나 어느 쪽으로든 입장이 확고한 사람들이 주로 참여한다는 특징이 있어서, 입장이 보다 애매하거나 먹고사니즘에 지친 응답자들은 잘 회수가 되질 않는다.

우편 회수율을 높이는 방법은 몇 가지가 있는데, 조사자 개인이나 연구기관의 권위를 강조하는 방법,(…) 질문지를 뭔가 고급스럽게 만들어서 시선을 사로잡는 방법, 질문지를 길고 장황하게 만들기보다는 짧고 쉬워 보이게 만드는 방법, 익명성을 보장한다는 약속을 하는 방법, 질문지 겉봉에 조사자의 연락처를 공개하는 방법, 반송용 봉투와 우표를 동봉해서 발송하는 방법, 응답자가 바쁠 것으로 여겨지는 날짜는 피하는 방법 등이 있다. 이래도 안 될 것 같다 싶으면 별도로 자잘한 사례나 기념품을 주겠다고 약속할 수도 있고,(…) 정 안 되겠다 싶으면 편지나 전화로 독촉(follow-up)을 할 수도 있다. ~~이렇게까지 해야 하나 싶을 정도로 필사적이다~~

2.7.2. 인터넷조사법

아래 전화조사법과 함께 질문지법과 면접법이 섞인 수집방법으로, 위의 우편조사법에서 조금 더 장단점이 명확하게 드러나는 방법이다. 일반적으로 컴퓨터의 보조를 받는 자료수집(CADAC; Computer Assisted Data Collection)이라는 수집방법의 한 종류에 속하지만, 대중적으로는 사실상 서로 의미가 통하는 모양. CADAC의 다른 수집방법을 일부 들자면 다음이 있다.

CATI: Computer Assisted Telephone Interview - 컴퓨터의 보조를 받는 전화면접법
CAPI: Computer Assisted Personal Interview - 컴퓨터의 보조를 받는 일대일 면접법
CASI: Computer Assisted Self Interview - 컴퓨터의 보조를 받는 자기면접법

인터넷조사법은 크게 두 가지로 나누어지는데, 첫째는 위의 우편조사법의 한 변형으로, 이메일을 활용하는 우편조사법이다. 둘째는 연구자나 연구기관, 정부기관의 웹 페이지를 이용하는 것이다. 흔하게 볼 수 있지만 그만큼 허점도 많은 방법이다. 불특정 다수에게 응답을 요청하는 만큼 표본추출 자체는 사실상 물 건너간 셈이며, 한 사람이 여러 아이피를 가지고 여러 사람인 척하며 중복 응답할 수도 있고 [20] , 설문지에 응할 준비가 되어 있지 않은 사람들이 우르르 몰려들어서 설문지는 읽지도 않고 마구잡이로 불성실하게 작성해서 제출할 위험도 있다.[21] 또한, 현대 대한민국에 큰 의미는 없지만, 인터넷이 들어가지 않는 오지나 인터넷 비용을 감당하지 못하는 저소득층에게는 실시할 수 없다. 그러나 웹 페이지에서 조사하는 것은 이메일 조사법에 비해 조사가 더 빠르게 완료된다.

인터넷조사법에 장점이 없다고는 할 수 없는데, 가뜩이나 편리한 우편조사법의 장점이 더욱 극대화되었다고 보면 된다. 게다가 작성하는 것도 일일이 손으로 글씨를 써야 하는 우편조사법에 비해 훨씬 빠르고 쉬우며, 클릭 몇 번이면 발송이 완료된다! 특히 웹 페이지를 이용할 경우, 연구자 입장에서도 별도의 코딩작업 따위는 필요없이 컴퓨터가 알아서 취합해서 데이터를 산출하고, 필요하다면 응답빈도 등의 통계까지 내 준다!

이 때문에 일부 인터넷조사법은 아예 특정 네티즌들을 패널 자격으로 세워서 패널조사법과 결합하여 운용하기도 한다. 인터넷조사법의 단점들을 최대한 보완하고, 장점을 최대화시키면서 패널조사법의 장점도 함께 살리는 것. 이런 인터넷 조사기관의 패널들은 다양한 혜택을 받게 되는데, 설문 한 건당 참여시 포인트 얼마, 월간 설문 몇 건 이상 참여시 마일리지 얼마, 신규 패널에게는 문화상품권 얼마, 설문참여 1등 패널에게는 제주도 여행 상품권, 이런 식으로 인센티브를 제도화하여 더 많은 참여를 유도하게 된다. 이렇게 한다고 하더라도 질문지법 특유의 한계점들 중 상당수는 만회할 수 없어서, 여전히 패널의 대리응답 가능성이나 불성실한 응답의 가능성은 배제하기 어렵다.

인터넷조사법의 대표적인 예로는 Amazon Mechanical Turk(MTurk)가 있는데,[22] 나름대로 표본대표성을 보장하면서 신속하고 정직한 답변들을 받아볼 수 있다는 장점으로 인해 사회과학자들의 각광을 받았다. 그러나 곧 이들이 알고보니 죽치고 MTurk 에 앉아서 연구참가자로 뛰며 대충대충 응답하고는 사례비만 낼름 받아 챙기는 " 프로패널러"(...)가 아니냐는 의혹이 제기되었고,[23] 그 때문에 집중력 확인 설문지(ACQ)가 개발된다거나[24] 또는 CrowdFlower, Prolific Academic 같은 다른 사이트를 새로 알아본다거나[25] 하는 노력들이 이어지고 있는 중이다.

2.7.3. 전화조사법

전화를 활용하여 응답자와 접촉함으로써 자료를 수집하는 방법으로, 마치 콜센터에서 하듯이 면접원이 직접 전화로 질문할 때에는 위에서 소개된 CATI로 분류되며, 사람을 쓰지 않고 TTS(Text-to-Speech)를 통해 전환된 문구를 읽는 음성을 재생하는 경우에는 자동응답기(ARS; auto-response system)를 활용한 전화조사법이라고 한다. ARS든 CATI든 전문업체가 진행하게 되지만, 인건비 문제가 있다 보니 ARS 쪽이 압도적으로 싸다. 1,000명 미만에게 전화를 돌릴 경우 대략 수백만 원 선에서 비용이 형성되는 편. 일반적으로 ARS는 양적 조사에 적합하며, 질적 자료를 수집할 때에는 CATI를 활용할 수밖에 없다. 물론 CATI를 통해 양적 조사를 하는 경우도 적지 않다.

기업체들이 흔히 실시하는 시장조사로서도 물론 활발히 활용되지만, 지방자치단체에서 매년 수행하는 정책만족평가나, 국가단위 각종 사회조사 등 의외로 공공성을 띤 목적으로 수행된다. 그렇기 때문에 이런 전화에 불성실하게 응답하거나 비협조적으로 나오는 것은 나랏님이 발행하는 통계표의 숫자를 바꿀 수 있으며(…) 최악의 경우에는 나 하나 때문에 그 해의 지자체 주요업무계획이 뒤바뀔 수도 있다. 반면 학계에서는 아무래도 잘 쓰이지 않는 편이다.

당초에는 우편조사법의 주요 한계점인 '저조한 응답률' 문제를 해결하리라 기대되었으나, 현실적으로는 각종 금융업체들의 아웃바운드 홍보전화 때문에 ARS를 활용할 경우 10% 미만의 처참한 응답률을 기록하는 일이 많다(…). 기껏 전화를 받았더니 "안녕하세요? 주민 여러분의 우리마을 축제 만족도를 조사하기 위해..." 따위의 낭랑한 목소리가 나오면 대부분이 그냥 끊는다는 것. 그래서 웬만큼 돈이 있다 싶은 조사기관에서는 인건비를 각오하고 CATI를 쓰기도 한다. CATI의 경우 하술되겠지만 ARS의 비싼 상위호환이라고 느껴질 정도로 쾌적한 조사가 가능하지만, 이 역시 그냥 끊는 사람들이 많다. 그래도 모르면 모르겠다, 힘들면 힘들다 응답하는 유도리(?)가 가능한 조사방법이니, 혹시라도 CATI를 받으면 짜증내지 말고 친절하게 협조해 주자(…). 조사원들도 사람이다.

전화조사법과 궁합이 잘 맞는 표본추출 방법은 층화추출법(stratified sampling)이다. 이때 전화조사법은 모집단의 인구학적 특색을 고려하면서 응답자 풀을 만들게 된다. 그래서 대개의 전화조사는 응답자의 성비, 연령대, 거주지역, 기타 인적사항들을 쿨하게 전부 공개하곤 하는데, 가능한 한 실제 모집단의 분포와 유사한 형태로 추출하는 경우도 있지만, 필요하다면 모집단의 분포를 어기고 특정 응답자층에 가중치를 부여할 수도 있다.[26]

우편 및 인터넷조사법과 마찬가지로, 전화조사법의 장점은 일반적인 질문지법이 도달하지 못하는 한계를 보완한다는 차원에서 이해되어야 한다. 전화조사법은 대면 질문지법에 비하여 시간과 공간의 제약을 극복할 수 있다. 응답자를 만나러 왔다갔다하는 시간이 사라지므로 더 빠른 자료수집이 가능하며, 마음만 먹는다면 전국 팔도의 응답자들과도 만날 수 있는 것이다. 바로 이 점으로 인해, 어떤 긴급한 사회적 이슈가 터지면 아침에 조사를 시작해서 저녁에 그 결과를 발표하는 게 가능하다. 또한 우편조사법 및 인터넷조사법과 함께, 집 밖으로 잘 나가지 않는 인구계층을 설문에 반영하는 데에도 강력하며, 특히 중년 여성들을 타깃으로 하려는 선거 후보자들이 전업주부 지원정책을 편성하기 위한 근거자료를 모을 때에도 매우 좋다.

모든 조사방법들이 대개 그렇지만 전화조사법은 (특히 ARS의 경우) 단점이 상당히 많다. 가장 큰 문제점은 결국 쉽고 간단한 설문으로 활용범위가 제한된다는 데 있다. 양적 설문을 위해 질문지 배분을 준비하다가 전화조사법으로 도중에 바꿀 경우, 조사자는 자신이 준비한 설문지를 전부 뜯어고쳐야 한다. 질문 문장은 간결체로 다시 깔끔하게 정리되어야 하며, 응답 보기 역시 짤막한 단어 한두 개 정도로 길이가 짧아져야 하고, 보기의 수 역시 너무 많으면 앞쪽의 보기를 기억하지 못하므로 5~6개 미만으로 줄여야 한다. 또한 충분히 기다려주지 않는다는 점 때문에 응답자가 시간에 쫓기는 압박을 받을 수 있으며, 질문에 대한 이해를 돕기 위한 시각자료를 쓸 수 없다. 아울러 대한민국에는 그다지 해당사항이 없지만, 언어가 다른 외국인이나 유무선 전화서비스에 가입되어 있지 않은 사람들의 의견까지는 들을 수 없다.

ARS가 아니라 CATI일 경우에는 이런 문제가 상당히 완화될 수 있다. 질문이 다소 복잡하거나 정교할 경우 질문이 이해가 되지 않으니 다시 읽어 달라고 (또는 부연설명을 해 달라고) 응답자가 부탁할 수 있으며, 기억나지 않는 보기가 있다거나 헷갈리는 보기가 있을 경우에도 조사원에게 응답자가 질문할 수 있고, 잘 모르겠거나 생각을 해 봐야 하는 질문이 있다 하더라도 잠시 기다려달라고 한 뒤 여유 있게 응답하는 것이 가능하기 때문이다. 그렇기 때문에 CATI를 통한 전화조사법은 그나마 좀 더 양질의 정보를 얻을 수 있으며, 응답자가 질문에 대해 충분히 이해하고 숙지한 상태로 응답했다는 타당성을 부여할 수 있게 된다.

그 외에도 흔히 언론에까지 보도되는 문제들로서, 전화를 어느 시간대에 거는가에 따라 응답 결과가 바뀔 수 있다는 한계가 있다. 예컨대 한낮에 전화를 건다면 청장년층은 밖에서 내내 일하고 있으므로 집을 지키는 노인들이 주로 전화를 받을 가능성이 있으며, 직장인들은 과소응답되고 전업주부들은 과대응답될 위험도 있다.[27] 다음으로, 유선전화와 무선전화 중 어느 쪽인가 역시 응답 결과를 좌우할 수 있는 문제가 된다. 마찬가지로 유선전화는 주로 집에 머무르는 노인들이 받기 쉬우며, 현대의 청장년층은 자신의 1차 연락수단으로 휴대전화 번호를 활용하기 때문에 유선전화만 줄창 걸다가는 그들의 응답을 누락할 수 있다. 마지막으로, 낮은 응답률로 인하여 설문 주제에 관심이 많은 사람들의 의견만 과잉수집할 위험이 있다. 이런 가능성들은 특히 선거철 정치인 여론조사 때마다 늘상 불거지고 있으며, 호감도나 지지도에서 밀리는 쪽에서 늘 여론조작설을 제기하는 원인이 된다. 이상의 이유로 인해, 전화조사법은 표본조사의 관점에서 본다면 선택편향 및 표본 대표성 문제를 안고 있다.

2.7.4. 집단조사법

질문지법의 한 종류로, 일정한 장소에 피조사자들을 모아 놓고 사전에 준비한 질문지를 배포하여 작성하도록 하는 방식이다.

개념상 대면조사법에 대응되는 조사법일 수도 있으며, 이 경우에는 질문지법의 FGI 버전이라고 볼 수도 있겠다. 또한 어떤 분류에서는 자기보고식 조사(self-report survey)의 한 종류로 이해하는데, 이때 집단조사법 외에 유치법(留置法)이라고 하여 조사자가 응답 현장에 함께하지 않는 조사법도 있다. 광의의 집단조사법은 꼭 질문지법의 일부로만 취급되지는 않으며, 대개는 면접법과 함께 실시하는 혼합연구로 설명된다.

집단조사법은 특정 집단이나 조직, 특정 동질적인 구성원들을 대상으로 자료를 얻는 것인데, 예를 들어 대학교에서 교수가 학기 마지막 즈음에 자신의 강의를 평가할 수 있도록 설문지를 나누어 주고 피드백을 받는 것을 들 수 있다.[28] 여기서 연구의 주제가 되는 모집단은 그 집단의 전체 혹은 조직의 전체가 되며, 특정 장소에 모인 소수의 응답자들이 표본집단이 된다. 즉 이렇게 취합된 데이터는 그 집단 내부에서만 의미가 있으며 외부에까지 일반화하기는 어렵다. 한편 심리학이나 사회학 등지에서 강의 전후에 대학원생 선배들이 들어와서 설문 응답 좀 해 달라고 쭉 뿌렸다가 싹 걷어가는 형태의 질문지법 또한 집단조사법의 흔한 사례다.

다른 질문지법들이 으레 그렇듯, 집단조사법의 장점은 비용을 절감할 수 있다는 것이다. 연구자가 가가호호 방문하는 것이 아니라 응답자들이 직접 모인다는 점에서 시간을 줄일 수도 있긴 하지만, 여전히 코딩 절차 자체는 남아있으므로 아주 많이 절감된다고 하긴 어렵다. 더불어, 질문지의 내용 중 이해가 안 되는 것에 대해서는 연구자가 직접적으로 피드백을 줄 수 있으며, 무엇보다도 회수율이 대단히 높다! 작성을 완료한 사람만 제출 후 퇴실할 수 있도록 한다면 사실상 100% 회수.(…) 아울러 여러 응답자들이 서로 동일한 환경 하에서 응답하게 되므로 조사의 환경적 조건을 표준화할 수 있다는 장점도 있다.

집단조사법의 단점은 워낙 많으므로(…) 특별히 개조식으로 나열할 수 있을 것이다.

각 피조사자끼리 서로의 존재에 의해 영향을 받을 수 있다. 성생활과 같은 민감한 질문의 경우 실제보다 과장되게 응답할 수 있고, 정치적인 이슈에 대해서는 실제보다 더 중도주의적으로 응답할 수 있다. 또한 응답자들이 설문에 진지함이 없다면[29] 뒤쪽 후미진 곳에서 자기들끼리 상의해 가며 응답하는 광경도 볼 수 있다(…).
조사자의 태도 변인이 개입할 수 있으며, 대규모 집단을 효과적으로 통제하는 기술이 요구된다. 많은 사람들 앞에 섰을 때 머릿속이 하얗게 되는 사람이라면 주의가 필요하다. 필요 시에는 응답자들의 윗사람과 협력하여 함께 응답자 집단을 통제하는 것이 가능하다.
조사를 진행하는 장소의 영향을 심하게 받을 수 있다. 애초에 장소섭외가 안 되면 조사 자체가 불가능하고(…) 기껏 장소가 확보되어도 분위기가 시장 바닥 수준이거나 건물 공사를 하고 있다면 집중력이 흐트러질 수밖에 없다. 이런 경우 질문지가 길거나, 생각을 많이 해 봐야 하는 내용일 때, 연구에 무시하지 못할 변인이 될 수 있다.
응답자를 모으기 위해서는 우선 소속 단체나 기관에 협조를 구해야 하는데 이것이 쉽지 않을 수 있다. 우리나라에서 경찰이나 소방관, 군인 등 특수한 직종에 근무하는 사람들을 대상으로 한 설문조사가 흔치 않은 이유도 여기에 있다. 현실적으로는 그쪽에서 일하는 지인들을 거쳐서 알음알음 진행하게 되며, 중간에 높으신 분들을 거칠수록 응답률이 높아진다.
어린이나 노약자, 장애인 등의 취약계층에게는 부적합하다. 이런 응답자들은 아무리 질문지법이라 해도 무조건 일대일 대면조사법이 원칙이며, 필요할 경우에는 옆에 동석해서 각 문항의 의미를 해설해 줄 수 있는 보호자도 대기시켜야 한다.
분업화된 대규모 조직에서는 모든 응답자들을 한날 한시에 같은 장소로 모으는 것도 쉽지 않은 일이다. 어찌어찌 날짜를 잡더라도, 상당수 결석자들이 생기거나 응답 도중 급히 퇴실하는 사람들이 발생하게 된다. 이런 경우에는 인터넷조사법이 차라리 나을 수 있다.

특히 기관에서 자체적으로 실시하거나, 기관의 의뢰로 외부의 전문가가 조사를 실시하는 집단조사법의 경우, 집단조사법의 단점이 굉장히 증폭될 수 있으므로 주의가 필요하다. 극명한 예로 군대에서 높으신 분들이 쑥덕거려서 배포한 '병영생활 만족도 조사' 따위에 응답할 경우, 군인들의 응답에 큰 의미를 부여할 수는 없을 것이다. 이처럼 왜 이 조사를 하는지 서로 뻔한 입장에서는 조사를 승인해 준 윗사람들의 비위를 맞추어 주기 위해 아랫사람들이 거짓으로 응답할 가능성이 높다. 이 때문에 종종 무기명으로 설문을 실시하는 것을 대안으로 내세우기도 하지만, 폐쇄적인 조직에서는 글씨체만 보고도 누가 이런 응답을 했는지 전부 들통난다는 게 문제.

2.7.4.1. 배포조사법

집단조사법의 한 종류. 다른 모든 것은 집단조사법과 같지만, 여기서는 한 자리에 모아서 싹 돌렸다가 싹 회수하지 않고, 한 자리에 모아서 질문지를 한 부씩 안겨주고 돌려보냈다가 나중에 다시 모아서 회수한다. 즉 일반적인 집단조사법은 현장에 모여서 바로 질문지에 응답해야 하지만, 배포조사법은 현장에 모여서 질문지만 받아 가지고 집에 와서 응답하게 된다. 응답한 결과는 다시 모이기로 예정한 일자 및 시간에 제출해야 한다. 혹시 통·반장이나 아파트 부녀회에서 마을사업 설문조사라며 B4 크기의 커다란 질문지를 나눠주는 걸 받아본 적이 있다면 그것이 바로 배포조사법이다. 대학교에서도 학부생들이나 대학원생들 본인이 직접 응답하면 집단조사법이지만 부모님이 응답하셔야 하는 질문지는 집으로 가져가야 하므로 배포조사법이 된다.

배포조사법이 집단조사법에 비해 갖는 장점은, 기존의 집단조사법에 비해 응답 여건을 더 충분히 제공한다는 데 있다. 집단조사법에서 응답이 늦어지는 일부 응답자들은 굉장한 심리적 압박을 느끼게 되는데, 배포조사법은 그런 문제 없이 자기가 편할 때 응답함으로써 느긋하고 깊게 생각할 여유를 가질 수 있다. 또한 별도의 응답 장소를 섭외하지 못했을 때, 예상 응답자들이 매우 바쁠 때, 집단의 동조 압력을 배제해야 할 때에도 적절하다. 반대로 배포조사법의 단점은 조사자가 응답 환경을 통제할 수 없다는 것이다. 각 응답자들의 집까지 쫓아가서 똑바로 응답을 하는지 감시할 수 없는 노릇이기 때문이다(…). 그래서 불성실 응답이나 심지어는 대리응답을 우려해야 하는 경우도 있다. 또한 배포조사법은 집단조사법에 비해 응답 소요기간이 더 길고, 회수 당일에 질문지를 빠뜨리는 사람이 꼭 나오기 때문에 응답률이 다소 감소하게 된다.

2.8. (참여)관찰법

자세한 내용은 관찰법 문서 참고하십시오.

2.8.1. 에스노그라피

자세한 내용은 에스노그라피 문서 참고하십시오.

2.9. 청취자 조사법 (콜인)

Call-in

언론사들에서 어떤 대담 프로그램이나 토크쇼, 토론회를 방송하면서 시청자들에게 걸려오는 전화를 받아 의견수집을 하는 방법이다. 그 성격 상 전화면접법의 한 종류로 분류되기도 하나, 학계에서 실제 면접조사를 할 때 사용하지는 않는다. 현대에는 유명 정치 유튜버들도 슈퍼챗 기능을 활용하여 콜인에 유사한 의견수집을 하기도 하나, 이것은 자료수집이 아니라 본질적으로 수신료 혹은 청취료에다 응원 메시지를 적어 보내는 수익창출에 가깝다.

자료수집에 있어 응답자들의 자발성이 가장 높은 방법이며, 실제로 응답자들이 그 조사 주제에 대해서도 높은 관심과 지식 및 참여욕을 갖고 있다. 일반적인 면접법에서는 다소 막연한 응답이 나오거나 서로 어색한 관계로 라포(rapport) 및 프로빙(probing) 기술이 요구되는 반면, 콜인의 경우 직접적으로 주제의 핵심을 찌르는 응답을 얻을 수 있어서 매우 효율적이다. 그러나 전화조사법의 단점과 마찬가지로 콜인 역시 시간적 한계로 인해 한 사람과 심도있는 대화를 주고받기는 어렵고, 전체 대중의 생각으로 일반화하는 데 한계가 있으며, 다른 수집방법들이 조사자 변인에 영향을 받듯이 콜인 또한 방송 진행자가 어떤 스타일인지가 변인으로서 영향을 끼칠 수 있다.

2.10. 패널조사법

조사대상을 특정 표본집단으로 고정시키고, 동일한 질문을 그들 "패널" 들에게 반복적으로 실시하면서 시계열적 변화 데이터를 추출하는 방법이다. 정성적이면서 동시에 시계열적인 측면이 포함되어 있는 것이 특징.

패널조사법은 조사대상자의 태도 및 행동변화에 대한 정확한 분석이 가능하고, 얻어진 데이터가 불분명할 경우 추가적인 데이터를 확보하는 것이 비교적 쉽다. 이런 장점이 있는 반면, 다른 한편으로는 초기 연구비용이 상당히 많이 들어간다는 단점이 있고, 시간이 지나면서 표본 수가 점차 감소할 수 있으며,[30] 시계열 연구가 보통 그렇듯이 반복적인 질문에 익숙해지게 된다는 문제도 있다. 물론 가장 근본적인 통계적 한계, 표본추출의 대표성 역시 간과할 수 없으며, 영 좋지 않은 패널이 섞였다는 게 뒤늦게 밝혀지더라도 연구 도중에 패널을 바꾸는 것이 불가능하다.

종단적 연구(longitudinal research)라는 큰 범주 하에서, 패널조사법은 흔히 추세조사법 및 코호트 조사법과 비교되곤 한다. 패널조사법이 갖는 대표적인 차이점은 오랜 시간 동안 동일한 사람들로 구성된 패널을 운영하여 반복 질문한다는 데 있다. 여기서 코호트 조사법은 굳이 동일한 사람일 필요는 없고, 삶의 궤적이 비슷한 세대 혹은 연령층으로 구성되기만 하면 반복질문의 대상으로 삼는 것이다. 한편 추세조사법은 코호트 기준이 아니라 조사대상이 되는 특정 집단을 기준으로 반복조사한다. 이에 대해서는 연구 문서도 참고.

패널조사법의 패널들을 어떤 동질적인 분야의 전문가들로 구성할 경우는 따로 델파이 기법이라고 불린다. 하단의 링크 참고.

2.10.1. 델파이 기법

자세한 내용은 델파이 기법 문서 참고하십시오.

3. 분석단위와 관찰단위

수집할 자료는 반드시 그 자료수집의 계기가 된 문제의식과 관련이 있어야 한다. 이 문제의식은 제대로 정제될 경우 분석단위(unit of analysis)를 산출하며, 분석단위는 그 문제의식에 대한 설명을 하기 위해 필요한 가장 작은 수준의 단위가 된다. 예컨대 '음악에 맞추어 신나게 춤을 추면 지적장애인들이 행복해할까 아니면 오히려 힘들어할까' 하는 문제의식이 있을 때, 이에 상응하는 분석단위는 조사에 응하는 지적장애인들 개개인이 된다. 그런데 '지적장애인을 위한 음악치료 프로그램의 성과평가' 를 목적으로 할 경우에는, 이 문제의식에 대한 분석단위는 관심의 대상이 되는 음악치료 프로그램이 된다. 한편으로 '음악에 맞추어 신나게 춤을 추는 지적장애인들의 행복한 모습을 접하면 비장애인들의 편견이 감소할까' 하는 문제의식에서는, 이번에는 분석단위가 비장애인 집단으로 바뀐다.

대부분의 경우 실제로 자료를 수집하게 되는 대상은 분석단위와 일치하지만, 일치하지 않는 경우도 의외로 많다. 조사자가 자료수집을 하는 대상의 단위는 관찰단위(observational unit)가 되는데, 위의 사례를 그대로 가져올 경우 지적장애인들의 행복 여부를 파악하기 위한 자료수집 방법에 따라 관찰단위가 달라질 수 있다. 관찰법을 활용한다면 분석단위와 관찰단위가 모두 지체장애인으로 동일해진다. 그러나 면접법을 활용할 경우에는 분석단위는 지체장애인이지만 관찰단위는 그 시설의 장이나 보호자로 바뀌게 된다. 지체장애인 본인들이 장시간의 성찰적인 면접 활동을 하기는 어렵고, 곁에서 뒷바라지를 해 오던 가까운 사람들이 더 잘 알기 때문이다. 하지만 이런 부득이한 경우가 아니라면, 관찰단위와 분석단위가 서로 어긋남으로 인해 조사의 논리에 문제가 생길 가능성이 생긴다.

전통적으로 모든 단위는 조사의 범위(scope)와 분석수준(level of analysis)에 따라 정렬되어 소개된다. 가장 미시적인 단위에서부터 가장 거시적인 단위를 기준으로 늘어놓을 경우에는 개인 - 집단 - 사업 혹은 정책 - 제도 - 국가 순으로 정렬된다. 그렇다면, 관찰단위와 분석단위가 서로 어긋나는 상황은, 관찰단위가 분석단위보다 더 거시적이거나, 관찰단위가 분석단위보다 더 미시적인 경우로 정리될 수 있다. 전자의 형태로 어긋난 상황을 생태학적 오류(ecological fallacy)라고 하며, 후자의 형태로 어긋난 상황을 개인주의적 오류(individualistic fallacy)라고 부른다.

생태학적 오류는 숲의 속성이 나무에게서도 고스란히 발견될 것이라는 논리를 유도한다. 관찰단위는 제도니 국가니 하면서 거대한 담론을 껴안는데, 분석단위는 뭇 사람들 개개인을 설명하는 것이다. 이런 류의 논리에 대해 사회과학계 일부에서는 '과잉사회화' 같은 용어를 사용하기도 한다. 평범한 사람들의 일거수일투족을 설명하는 데 있어서 변증법이니 가부장제니 신자유주의니 냉전이니 하는 썰들을 꺼내드는 것은 너무 큰 호들갑일 수 있는 것이다. 일반인들을 분석하고자 한다면 일반인에게서 자료를 수집해야 하지, 그들이 알고 있을지조차 모를 거대한 이야기의 자료를 수집하는 것은 불필요하다. 흑인이 랩을 잘 한다고 해서 당장 내 앞의 흑인이 프리스타일 랩을 멋지게 뽑을 거라는 보장이 없고, 동아시아에는 권위적 부모가 많다고 해서 당장 우리네 부모님들까지 항상 근엄하고 엄격하리라는 보장이 없다. 서울시의 데이터로 강북구의 정책을 짤 경우, 강북구민들과는 아무 상관없는 강남구민들의 삶의 질 데이터가 강북구 정책근거를 왜곡시킨다.

개인주의적 오류는 나무의 속성만을 파악한 후 그것이 곧 숲의 속성일 거라는 논리를 유도한다. 즉 관찰단위가 개개인이나 잘해봐야 집단 수준인데, 그것만 가지고서 분석단위인 제도와 문화, 국가 전체를 설명하려고 하는 것이다. 대한민국 사회의 공동체성을 파악하려는데, 단순히 질문지법으로 "귀하는 옆집에 문제가 생기면 도와주시겠습니까?" 같은 질문만을 할 수는 없다. 공동체 의식을 함양하는 지자체 정책들, 마을 주민들이 함께할 수 있는 공간적 환경, 마을 사업에 지원되는 예산의 금액, 대중매체에서 묘사되는 이웃의 모습 등에 대한 자료를 수집해야 하는 것이다. 그렇지 않으면 거시적인 사회적 구조를 제대로 담아낼 수 없게 된다. 일례로 미국에서는, 1920년대밖에 안 된 시점에 이미 성차별이 끝났다고 생각했으며 1960년대 무렵에는 존 그리핀(J.H.Griffin)이라는 기자가 《Black Like Me》 를 출간하여 고발할 때까지 인종차별이 미국에서 사라졌다고 믿곤 했다. 하지만 현대의 관점에서는 그 시절 자체가 차별이 심했었다고 평가하고 있고, 2020년대에도 그때처럼 행동하는 사람은 '꼴통'(bigot)이라는 딱지가 붙게 되었다. 서울시의 데이터로 대한민국의 정책을 짜면 엄연히 현존하는 도농격차의 구조적 모순이 가려지게 된다.

정리하자면 생태학적 오류는 분석단위가 작음에도 너무 거시적이고 큰 단위의 자료를 수집했기에 발생하는 문제이고, 개인주의적 오류는 분석단위가 큰데도 너무 미시적이고 작은 단위의 자료를 수집했기에 발생하는 문제이다. 이것은 각 사람들마다 그들이 획득하기 용이한 자료의 수준이 다르기에 벌어지는 현상일 수 있다. 예컨대 사회 운동가들은 늘 거대한 논의에 익숙하다 보니 분석단위가 작아지면 자꾸 추상적인 이야기를 내놓게 되고, 사회의 구조적 측면에 무관심한 사람들은 늘 개개인의 인생 이야기에만 관심이 있는지라 분석단위가 커지면 구조맹이라는 조롱을 받게 된다. 현장에서 자료를 수집해야 하는 조사자들이나 연구자들 외에도, 일반인들 역시 사회적 문제의식에 적합한 분석을 하기 위해서는 먼저 적합한 관찰단위를 대응시켜야 하는 것이다.

4. 관련 문서

🏬 사회과학 조사·연구 방법론 둘러보기
{{{#!wiki style="margin: 0px -10px -5px; min-height: 26px" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin: -5px -2px -11px"		<colbgcolor=#C1F3FF>📝 서론	<colbgcolor=#F7FFFF,#191919> 사회과학 · 과학적 방법 · 사회조사 · 연구 · 가설 · 이론( 이론적 조망) · 연구윤리
🔍 조사방법론 I	변인 · 정의 · 상관관계와 인과관계 · 실험( 실험설계 · 통제 · 통제집단과 실험집단) · 사례연구
🔍 조사방법론 I	자료 · 자료수집( 면접법 · 초점집단면접법 · 질문지법 · 관찰법) · 코딩
📈 조사방법론 II	표본조사 · 지표 · 측정 · 신뢰도와 타당도 · 지수 · 척도
📊 사회통계	통계적 방법 · 기술통계학 · 확률 및 분포 · 추론통계학 · SPSS · 분석기법( 분산분석 · 회귀분석)

👔 공인 자격증	사회조사분석사 · 빅데이터분석기사 · 국가공인 데이터분석 전문가
📂 메타 문서	연구방법론 관련 정보
^{상기 문서들은 한국통계진흥원 및 한국산업인력공단의 출제범위에 의거하여 엄격히 망라되어 있으며, 동 기관의 과목별 구분·명명에 의거하여 조사방법론은 2파트로 구분됨}

}}}}}}}}} ||

<colbgcolor=#000> 과학 연구 · 실험 Scientific Research · Experiment
{{{#!wiki style="margin: 0 -10px -5px" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin: -6px -1px -11px"	<colbgcolor=#000><colcolor=#fff><rowcolor=#000,#fff> 배경	과학적 방법
기반	수학( 미적분학 · 선형대수학 · 미분방정식) · 통계학( 수리통계학 · 추론통계학 · 기술통계학)
연구· 탐구	논증( 귀납법 · 연역법 · 유추(내삽법 · 외삽법)) · 이론( 법칙 · 공리 · 증명 · 정의 · 근거이론 · 이론적 조망) · 가설 · 복잡계( 창발) · 모형화(수학적 모형화) · 관측 · 자료 수집 · 교차검증 · 오컴의 면도날 · 일반화
연구방법론	합리주의 · 경험주의 · 환원주의 · 복잡계 연구방법론 · 재현성( 연구노트)
	통계적 방법	혼동행렬 · 회귀 분석 · 메타 분석 · 주성분 분석 · 추론통계학(모형( 구조방정식) · 통계적 검정 · 인과관계와 상관관계 · 통계의 함정 · 신뢰도와 타당도)
측정· 물리량	물리량( 물리 상수 · 무차원량) · 차원( 차원분석) · 측도 · 단위(단위계( SI 단위계 · 자연 단위계) · 단위 변환) · 계측기구 · 오차( 불확도 · 유효숫자 · 과학적 기수법)
실험	실험설계 · 정성실험과 정량실험 · 실험군과 대조군 · 변인(독립 변인 · 조작 변인 · 종속 변인 · 변인 통제) · 모의 실험( 수치해석) · 맹검법 · 사고실험 · 인체실험 · 임상시험 · 실험 기구
연구윤리	뉘른베르크 강령 · 헬싱키 선언 · 연구투명성 · 연구 동의서 · 연구부정행위 · 표절( 표절검사서비스) · 편향 · 문헌오염 · 자기교정성 · 연구윤리위원회
논문· 과학 공동체	소논문 · 리포트 · 논문제출자격시험 · 연구계획서 · 형식( 초록 · 인용( 양식 · 참고문헌) · 감사의 글) · 저자 · 학회 · 세미나 · 학술대회 · 동료평가 · 지표 · 학술 데이터베이스 · 게재 철회 · 학제간 연구
철학 관련 정보 · 연구방법론 관련 정보 · 수학 관련 정보 · 자연과학 관련 정보 · 물리학 관련 정보 · 통계 관련 정보 · 사회과학 조사연구방법론			}}}}}}}}}

[1] 한승준, 《조사방법의 이해와 SPSS 활용》, p.195. [2] 실제로 국제경제학자 폴 크루그먼은 1978년 조교수 시절에 《성간(星間) 무역 이론》(…)이라는 SF스러운 논문을 쓴 적이 있다. [3] 예를 들어 인터넷에 떠도는 동성애 관련 썰들과 성심리학 논문들의 동성애 관련 연구내용은 다를 수밖에 없을 것이다. [4] ex. "불평등을 주제로 한 연구들은 ○○년대에는 마르크스주의에 입각하여 수행되다가 이후 ○○년대 들어 생애주기에 따른 부의 응축이라는 관점에서 논의되었고, 세대 이론을 통한 접근법은 어느 시점에서나 비주류적이었다" 같은 식. (실제 해당 분야의 연구역사와는 무관하며, 단순히 이해를 돕기 위한 예시화임에 유의할 것.) [5] ex. "사례연구를 활용한 문헌들은 ○○년 전까지는 사례에 대한 엄격한 기준을 제시하지 않았으나, ○○년 이후로 이에 대한 가이드라인이 세워지면서 양적으로 급격한 증가를 보였고 ●●학을 비롯한 폭넓은 분야들에 진출하기 시작했다" 같은 식. [6] 즉, 검토하는 연구자가 바뀐다 하더라도 같은 기준과 체계성을 갖고서 같은 문헌을 평가한다면 같은 검토 결과가 도출되어야 한다. [7] Grant, M. J., & Booth, A. (2009). A typology of reviews: an analysis of 14 review types and associated methodologies. Health information & libraries journal, 26(2), 91-108. [8] 흔히 리뷰논문을 학계의 원로들이 쓴다는 인식이 있는데, 실제로 그 바닥에서 방귀깨나 뀐다는 석학일수록 리뷰논문을 쓰기 수월한 것이 사실이다. 특히 미출판 데이터는 학계에서 회색문헌에 해당할 만큼 얻기가 극히 어려운 문헌으로, 중진급만 되더라도 수많은 저자들에게 데이터 달라는 이메일을 스팸 뿌리듯 돌리며 문자 그대로 싹싹 빌어야 한다(…). 하지만 그 분야에 연줄이 많고 인맥의 네트워크가 강한 '이너 서클' 에 해당하는 원로 석학들은 앉은 자리에서 전화만 싹 돌리면 곧바로 데이터들이 착착 모인다(…). [9] 희귀한 뇌 손상 환자가 나타나면 연구자들이 반색하는 이유가 바로 이것이다. 실험을 하겠답시고 멀쩡한 사람 두개골을 열더니 뇌를 여기저기 잘라보거나(…) 지지거나 종양을 만들거나 하는 짓거리는 대중매체에서나 볼 수 있는 가상의 상황이다.(…) [10] 한때는 앞서 말한 뇌전증의 치료를 위해서 대뜸 뇌량을 잘라서(…) 이쪽 측두엽에서 발생한 과도한 뇌파가 저쪽 뇌반구로 퍼져가는 걸 막았기 때문. [11] 접근성과 응답률은 대체로 상충되는 경향이 있다. 즉 공간적 한계를 극복하고 자료를 수집하기 위해 고안된 방법들은 대체로 응답의 회수율이 낮은 편이며, 응답자들을 만나거나 모으기 어려운 방법들은 그만큼 응답의 회수가 확실하다. [12] 응답률 낮기로 악명 높은 방법으로 우편조사법이 있으며, 전화조사법의 경우 스팸 전화가 많다는 방법론 외적인 이유로 응답률이 낮다. 반면 집단조사법은 응답해야만 퇴실이 가능하기 때문에 100%에 가까운 응답률이 나오고, 면접법의 경우 원하는 자료가 수집될 때까지 라포(rapport)와 프로빙(probing)을 번갈아가며 사용할 수 있다. [13] 조사비용은 조사원 훈련비 및 거마비, 응답자 사례 및 기념품비 등이 모두 포함된다. 이 비용을 최소화할 수 있는 가장 좋은 방법은 웹 설문을 활용한 인터넷조사법이다. 반대로 면접법은 조사원 훈련비와 응답자 사례 모두 크게 소요되며, 제도권에서는 못해도 1시간에 10만원 이상 사례하는 경우가 많다. [14] 조사원이 없을 때 응답함으로써 조사현장을 통제할 수 없는 방법들로 우편조사법, 인터넷조사법, 배포조사법이 있다. 이들은 불성실 응답이나 대리응답을 우려할 수 있다. 반면 전화조사법은 조사원의 영향력이 지나치게 강하여, 사소한 말투나 단어의 사용조차 응답 결과를 바꿀 수 있을 정도이다. [15] 응답 결과를 일반화함에 있어서 면접법과 인터넷조사법은 설득력을 갖기 힘들다. 면접법은 극소수 면접 대상자의 주관이 반영되며, 인터넷조사법은 정보사회 취약계층의 여론을 반영하지 못한다. [16] 일반적으로 조사현장을 통제할 수 없는 방법들이 응답시간을 충분히 부여하는 경향이 있다. 전화조사법은 질문과 보기를 읽어주기에도 시간이 촉박하여 문제가 된다. 배포조사법은 응답시간을 보장하는 방향으로 고안된 특수한 집단조사법이다. 예외적으로 면접법에서 조사자는 개개인이 응답할 수 있는 충분한 시간을 제공한다. [17] 시간적으로는 절대 경제적이지 않다. 회수된 답변들을 컴퓨터에 입력하고 코딩하는 절차가 기다리고 있기 때문. [18] 초등/중학생 미성년자들을 대상으로 자료를 수집한다고 가정하면 우편조사법은 사실상 최악의 수다. 어머니가 자녀를 학원에 보내놓고 본인이 대리로 작성해서 보내주거나, 설령 자녀가 직접 작성한다 해도 "모르는 질문이 있을까 봐서" 라는 명목으로 옆에 앉아서 이것저것 참견한다면... [19] 응답자는 조사자가 없는 상태라는 것을 이용하여, 질문지 최후반부의 보충 설명이나 연구의 진정한 의도 등을 먼저 본 다음 질문지를 작성할 수도 있다. 응답자를 처음에는 부득이 살짝 속였다가 마지막에 진실을 밝히는 형태의 연구에서는 쓸 수가 없는 수집방법. [20] 최근에는 개별화된 설문 발신이 가능해 한 사람이 중복응답을 못하도록 막는 기법도 쓰인다: 예) http://www.nownsurvey.com [21] 예를 들어 어디 CNN 같은 곳에서 "일본이 위안부 성노예 문제에 대해 더 진심으로 사과해야 한다고 생각하십니까?" 와 같은 앙케이트가 올라오면, 사람들이 읽지도 않고 "무조건 YES 누르세요!" 만 반복적으로 퍼뜨리고 다니는 경우가 많다. 흔히 말하는 " 퍼뜨려주세요". [22] Paolacci, Chandler, & Ipeirotis, 2010. [23] Chandler et al., 2015. [24] Peer et al., 2015. [25] Peer et al., 2017. [26] 예를 들어 고령화가 심각한 농어촌 지자체에서 농산업 지원사업에 대한 전화조사법을 실시한다고 가정하자. 그 마을의 여론을 정확히 반영해야 할 경우에는 노인 응답자들의 비중을 총인구에서의 노인인구 비율만큼 맞춰야 할 것이다. 하지만 추후 젊은 귀농인들을 유치할 계획이 있다면, 청년영농인 응답자들의 최소 비중을 정해놓고 일단 그 비율만큼은 채우려고 할 수도 있다. [27] 이 점에서 CATI와 ARS를 비교할 수도 있다. CATI 조사원들은 대체로 평일 09~18시 사이에 '출근' 해서 응답자들에게 전화를 걸어야 하므로 같은 시간대에 일하기 바쁜 청장년층의 응답이 과소표집되고, ARS의 경우 기계인지라 휴일이나 저녁 시간에도 자유롭게 전화를 걸 수 있어서 청장년층까지 모두 표집할 수 있다. ARS보다 CATI가 무조건 더 좋은 방법이 아닐 수 있다는 말이다. [28] 이런 교수평가제는 대부분 인터넷조사법과 결합하여 각 학교 포털 등에서 운영되고 있다. [29] 집단조사법은 응답자들이 크게 의욕이 없을 수 있으며, 반쯤 강제적으로 끌려온 사람들일 가능성이 있다. 실제로 가치 있는 데이터를 만든다기보다는 의무적으로 해야 할 일을 해치운다는 분위기가 더 강하다면, 불성실한 응답으로 인해 데이터가 오염될 수밖에 없다. [30] 연구대상의 성숙(maturation) 및 중도탈락(mortality) 때문이다.