[합의안 도출]

지침에서 제기된 모든 임상 문제의 답이 잘 수행된 임상시험에서 나온 객관적인 근거를 통해 얻어지는 것은 아니다. 풍부한 경험과 전문지식이 있는 임상 전문가가 여러명이 의견을 모아 방침을 결정할 수 있다. 이 과정은 새로운 과학 지식을 생산하는 것은 아니지만 공동의 합의점을 찾아 제시하거나 peer practice에 대한 의견의 정도를 제공할 수 있다. 합의안 도출법은 비공식적 방법과 공식적 방법이 있다.

[근거중심 진료지침 개발과정에서 합의과정의 필요성]

1. 근거가 전혀 없을 경우

2. 관심분야와 정확히 일치하지 않는 근거를 갖고 있는 경우

3. 근거에 기반하여 작성된 권고항목에 대해 이견/논쟁이 초래될 수 잇는 경우

그러나 합의가 강력한 근거를 대신할 수 없음

[비공식적 합의방법과 공식적 합의방법]

1. 비공식적 합의방법 (informal consensus methods)
- 영향력이 큰 소수가 주도하기 때문에 개인적 견해에 치우칠 수 있음
- 다양한 의견보다는 만장일치가 강요됨. 소수 의견이 무시될 수 있음

2. 공식적 합의방법 (formal consensus methods)
- 과정과 결과에 대한 명백한 구조를 가짐
- 새로운 과학지식을 창조하는 것은 아님.
- 전문가들의 지식을 수집하여 유용성이 큰 정보를 만들 수 있음

[공식적 합의 도출방법 - 델파이법, 명목집단법, 합의도출회의]

[공식적 합의법의 특성]

1. 충분한 숫자 (safety in number) - 집단의 결정이 개인의 결정보다 잘못될 가능성이 적다.

2. 권한 (authority) - 집단의 결정이 개인의 결정보다 인정을 받는다.

3. 합리성 (rationality)

4. 통제된 과정 (controlled process)

5. 과학적 신뢰성 (scientific credibility)

# 미국 National Guideline Clearinghouse에서는 리뷰한 증거의 상대적인 중요성을 평가하는 보다 많은 방법을 소개하고 있다.

1. Expert Consensus
2. Expert Consensus (Committee)
3. Expert Consensus (Delphi Method)
4. Subjective Review
5. Weighting According to a Rating Scheme (Scheme Given)
6. Weighting According to a Rating Scheme (Scheme Not Given)

[델파이법 (일종의 expert consensus 방법)]

[델파이 기법의 적용 분야]

1. 공식적 합의 권고(안)의 개발

2. 권고(안) 개정안에 대한 동의 여부 및 추가 항목의 개발

3. 권고(초안)의 임상현장에서의 실행가능성 (혹은 활용도) 측면에 대한 평가

4. 취합된 의견 혹은 제안된 항목들에 대한 동의 여부 및 정도의 분석

5. 취합된 의견 혹은 제안된 항목들에 대한 우선순위 결정

이 방법은 처음에 여러 사람이 한 자리에 모여 토론하는 데서 오는 비효율성을 줄이고, 영향력 있는 소수에 의하여 의사 결정이 이루어지는 것을 방지하며, 동료들의 의견에 반대하기 어려운 폐단을 극복하기 위하여 고안되었다. 합의 단계 제1단계에서는 예측하고자 하는 주제를 구체화하여 질문지를 작성하고 이에 관련 된 전문가들을 선정한다. 제2단계에서는 1차 응답 내용을 정리하여 최초의 응답자들에게 알려 주는 후속 질문지를 개발하여 그들의 의견을 다시 조사한다. 제3단계에서는 각종 통계 기법들을 활용하여 일련의 조사 과정에서 얻어진 내용들을 최종적으로 정리하고, 결과를 해석한다.

보통 25-30명이 참여하여 2-3 round를 시행하는 경우가 많다. 현실적으로 70%의 합의도 쉽지 않다.

[델파이 기법을 이용한 합의안 도출 과정]

1. 개발위원회 구성
2. 설문개발
3. 전문가 패널선택
4. 델파이 라운드
5. 새로운 설문에 대한 반응을 포괄함
6. 3 라운드 후 동의 혹은 비동의 정도를 분석함
7. 권장사항에 대한 패널의 동의를 얻음

http://www.tandfonline.com/doi/full/10.1080/13683500903440689

[델파이 기법의 장단점]

1. 장점

(1) 응답자들의 익명성이 유지되므로 외부 영향으로 결론이 왜곡되는 것을 방지할 수 있다.

(2) 통제된 환류과정을 반복함으로써 주제에 대한 관심을 높일 수 있다.

(3) 응답의 결과가 통계적으로 처리됨으로써 비교적 객관적 결론을 도출할 수 있다.

2. 단점

(1) 동원된 전문가들의 자질과 역량 문제

(2) 델파이 과정에서 응답이 불성실하거나 조작될 가능성이 있음

(3) 설문여하에 따라 응답이 크게 달라질 수 있다는 비판이 제기됨

(4) 예측된 사건들 사이의 잠재적인 관계가 무시될 가능성이 있음

(5) 예측이 상호보강적이거나 상호배타적인 항목을 포함하는 경우가 있음. 객관적 예측기법으로 델파이 기법을 보완키위해 상호영향분석(cross-important analysis)이 사용됨

[델파이 기법에서 사용하는 9-point Likert scale and Don't know]

1: strongly disagree with statement

4-6: neither agree nor disagree with statement

9: strongly agree with statement

Don't know: not had experience of this area to comment

[델파이 기법에서 합의 (consensus)에 대한 정의 - outliers 삭제 후 남은 의견들만을 대상으로 요약, 분석한다]

'Agreement' with a statement: remaining responses (standard 75%) must lie within the 3-point range 6-8 or 7-9

'Disagreement' with a statement: remaining responses (standard 75%) must lie within the 3-point range 1-3 or 2-4

'Ambivalence' with a statement: remaining responses (standard 75%) must lie within the 3-point range 3-5, 4-6 or 5-7

'No consensus' with a statement: remaining responses (standard 75%) are distributed with at least 12.5% in boxes 1-3 and at least 12.5% in boxes 7-9

[권고문안의 수정]

1. 라운드 반복시 '합의'된 권고문안은 빼고 합의 안 된 문안들만 가지고 다음 라운드를 진행할 경우 라운드 횟수가 단축될 수 있고, 참가자들의 의견을 표시하기 쉽다.

2. 'near' 거의 합의에 도달한 권고문안은 그룹의 반응을 취합하여 수량화한 피드백과 함께 다음 라운드에 그대로 제시한다. 패널리스트들이 한번 더 생각한 후 그들의 의견을 수정할 수 있도록 한다.

3. 패널리스트들의 조언이 감안된 권고문안에 대하여 합의를 이루지 못했을 경우에는 다시 한번 조언을 면밀히 검토한다. 문장이 모호해서 다시 다듬어야 한다 등의 조언이 있는 경우 이를 반영하여 권고 문안을 수정할 수 있다.

4. 패널리스트들의 의견이 정말 너무 달라서 '합의'가 이루어지지 않고 있는 경우라면 합의를 이끌어 내기가 어렵다. (1) 권고문안 자체를 삭제한 후 다음 라운드로 넘어가거나 (2) 델파이 과정을 통하여 합의하지 못했지만 개원가에서 주로 선호하는 권고사항일 가능성일 수 있고 진료지침 권고안 개발의 중요 정보일 수 있기 때문에, 진료지침 작성시 이에 대한 언급과 함께 향후 연구 과제로 제언할 필요가 있다.

[명목집단법 (nominal group technique, NGT)]

[명목집단법의 적용 분야]

1. 아이디어의 창출 및 제안된 아이디어의 중요도에 대한 투표

2. 근거가 없는 경우 전문가 의견을 반영한 권고문안의 개발

3. 근거수준 및 권고수준 등급화 기준의 채택

4. 취합된 의견 혹은 제안된 항목들에 대한 적합성 혹은 필요성 여부 및 정도에 대한 투표

[명목집단법의 장점]

1. 진행과정이 간단하고 각 단계마다 좋은 경험을 얻을 수 있다.

2. 아이디어 창출과 그룹의 공감대 형성을 위한 효율적인 방법이다.

3. 전반단계 - 상호작용을 금하여 각자의 생각이 충분히 표현되어야 한다.

4. 후반단계 - 모든 사람들이 참여하여 의견을 나누고 평가할 수 있다.

[명목집단법의 단점]

1. 전반단계(아이디어 제출 단계)에서 토론을 금하기 때문에 새로운 아이디어 수립이 제한됨

2. 투표를 이용하기 때문에 여러 방법의 장점을 조합한 대안을 만들기 어렵다.

[명목집단법 수행절차]

1. 개인적으로 아이디어 창출 (individual generation of ideas)

2. 돌아가며 아이디어 제안 (round-robin reporting of ideas)

3. 제안된 아이디어들을 통합 조정 (group clarification of ideas)

4. 조정된 아이디어들에 대한 투표 (individual voting on ideas)

5. 투표결과에 대한 토의 (discussion on results)

[More readings]

1. The Delphi process (PDF) (link2)

2. 델파이 기법의 이해와 적용사례 (link2)

3. 델파이 기법을 적용한 consensus statement 작성 예 - nasal valse comprimise (link2)

[Home]