티스토리 뷰
목차
프로그램이 끝나고 나서 "만족하셨나요?" 한 장짜리 설문지를 나눠주는 것, 그게 평가의 전부라고 생각하셨습니까? 저도 현장에 처음 나갔을 때는 그렇게 생각했습니다. 그런데 사회복지실천에서 말하는 평가는 훨씬 앞에서 시작되고, 훨씬 깊은 곳까지 들여다보는 작업이었습니다. 노인맞춤돌봄서비스에서 일하면서 그 차이를 온몸으로 배웠습니다.
평가는 언제 시작되는가 — 기초선의 의미
어르신의 상태가 "좋아졌다"고 말할 수 있으려면, 처음 상태가 어떠했는지부터 알아야 합니다. 당연한 말처럼 들리지만, 실제 현장에서는 이 시작점을 제대로 기록하지 않는 경우가 꽤 있었습니다.
사회복지실천 평가에서는 이 시작점을 기초선(baseline)이라고 부릅니다. 여기서 기초선이란 개입이 이루어지기 전 대상자의 현재 상태를 일정 기간 반복 측정한 자료를 의미합니다. 쉽게 말해, 서비스를 시작하기 전에 "지금 이 사람이 어떤 상태인가"를 객관적으로 확인해두는 과정입니다.
제가 노인맞춤돌봄서비스에서 근무할 때, 평소에는 이웃과 대화를 나누던 어르신이 점점 전화 응답이 짧아지고, 외출을 하지 않으며, 식사를 거르는 모습이 반복되었습니다. 그 변화를 그냥 "기분이 안 좋으신 날"로 넘겼다면 아마 개입 시점을 놓쳤을 것입니다. 하지만 일정 기간의 기록이 있었기 때문에 "이건 패턴이다"라는 판단을 내릴 수 있었습니다.
단일사례연구에서 기초선 자료수집이란 곧 개입 이전에 종속변수를 측정하는 것입니다. 예를 들어 독거 어르신의 우울감이 표적 행동(종속변인)이라면, 외출 빈도, 전화 통화 시간, 식사 횟수처럼 관찰 가능한 지표를 개입 전부터 꾸준히 기록해야 합니다. 이렇게 해야 이후 전화상담이나 집단활동을 제공했을 때 실제 변화가 있었는지 비교할 수 있습니다(출처: 보건복지부).
기초선 단계에서 무엇을 측정할지 정하는 것도 생각보다 중요한 일이었습니다. 같은 문제를 두고도 측정 지표는 부정적 지수와 긍정적 지수로 나눌 수 있습니다. 예를 들어 외로움이 문제라면, "외롭다고 말하는 횟수"를 줄이는 방향(부정적 지수)으로 볼 수도 있고, "다른 사람과 대화하는 횟수"나 "프로그램 참여 횟수"가 늘어나는 방향(긍정적 지수)으로 볼 수도 있습니다. 제 경험상 이 두 가지를 함께 살피는 것이 훨씬 현실적이었습니다.
- 기초선: 개입 전 대상자 상태를 일정 기간 반복 측정한 자료
- 표적 행동(종속변인): 변화를 확인하려는 구체적인 행동이나 상태
- 긍정적 지수: 문제가 없음을 나타내는 지표 (예: 외출 횟수, 대화 참여 빈도)
- 부정적 지수: 문제가 있음을 나타내는 지표 (예: 외롭다고 말하는 횟수)
단일사례설계, 이론과 현장 사이
사회복지실천에서 단일사례설계(single-case design)를 처음 배웠을 때, 솔직히 이건 예상 밖이었습니다. 대규모 실험 연구가 어려운 사회복지 현장에서 한 사람의 변화를 반복적으로 측정해 개입 효과를 확인하는 방법이라는 설명을 듣고 나서야 "이게 현장이랑 맞닿아 있구나" 싶었습니다.
단일사례설계는 여러 형태가 있습니다. 가장 기본적인 AB설계는 기초선(A) → 개입(B) 순서로 구성됩니다. 독거 어르신 사례처럼 전화상담에 이어 집단활동을 제공하는 경우라면 ABC설계, 즉 기초선(A) → 첫 번째 개입(B) → 두 번째 개입(C) 구조가 됩니다. 이처럼 ABC설계와 ABAC설계는 다중요소설계(복수요소설계)에 해당합니다. 여기서 다중요소설계란 두 가지 이상의 개입 방법을 순차적으로 적용하면서 각각의 효과를 살펴보는 설계 방식을 의미합니다(출처: 한국사회복지사협회).
제가 직접 현장에서 맞닥뜨린 상황 중 가장 인상 깊었던 건 BAB설계였습니다. BAB설계란 위기상황에서 기초선을 먼저 수집할 여유 없이 즉시 개입(B)을 시작하고, 이후 개입을 잠시 중단해 기초선(A)을 확인한 뒤 다시 개입(B)을 재개하는 방식입니다. 독거 어르신이 갑자기 식사를 며칠째 거르거나 불안감이 심해진 경우, 평가 절차를 기다리다가 위험해질 수 있습니다. 그때는 기록보다 개입이 먼저입니다.
다만 솔직히 말씀드리면, BAB설계에서 개입을 의도적으로 중단하는 A 단계가 노인복지 현장에서는 현실적으로 어렵다고 느꼈습니다. 효과가 있는 서비스를 "연구를 위해" 멈추는 것이 과연 윤리적으로 타당한가 하는 의문이 들었기 때문입니다. 이론적 엄밀성보다 클라이언트의 안전과 권리가 항상 먼저라고 생각합니다.
중간에 방향을 바꿀 수 있는 용기 — 형성평가의 실제
프로그램을 끝까지 밀고 나가는 것이 과연 좋은 일일까요? 제 경험상 꼭 그렇지는 않았습니다. 방문요양센터에서 근무할 때, 낙상 위험이 높은 어르신에게 이동 지원 서비스를 제공하면서 일정 기간이 지나도 낙상 위험이 줄지 않는다면 서비스 방식을 바꿔야 합니다. 그냥 계속 제공하는 것이 능사가 아닙니다.
이때 필요한 것이 형성평가(formative evaluation)입니다. 여기서 형성평가란 개입이 진행되는 도중에 이루어지는 평가로, 서비스가 올바른 방향으로 가고 있는지 확인하고 필요하면 내용을 수정하기 위한 과정을 의미합니다. 프로그램이 끝난 뒤에 효과를 판정하는 총괄평가(summative evaluation)와는 다릅니다.
제가 전담 사회복지사로 근무할 때, 생활지원사가 전달해주는 일상 속 변화가 형성평가의 핵심 자료였습니다. "이번 주에 어르신이 먼저 전화를 거셨어요"라는 한 마디가, 전화상담의 정서지원 효과를 보여주는 증거가 됩니다. 반대로 "전화를 부담스러워하시는 것 같아요"라는 피드백이 나왔다면, 통화 횟수나 방식을 조정해야 한다는 신호였습니다.
집단활동에서도 마찬가지였습니다. 처음에는 참여를 극도로 꺼리던 어르신이 3주차쯤 되어 먼저 "다음 주에 또 있어요?"라고 묻기 시작했다면, 그것은 점수로 표현하기 어렵지만 분명히 긍정적인 변화입니다. 형성평가는 이런 질적인 신호를 놓치지 않기 위한 장치이기도 합니다.
한 가지 더 주의해야 할 점은, 프로그램 만족도가 높다고 해서 실질적인 변화가 있었다고 단정할 수 없다는 것입니다. "재미있었다"는 반응과 "외로움이 줄었다"는 변화는 다른 이야기입니다. 만족도와 효과를 구분해서 평가해야 서비스의 실제 가치를 제대로 확인할 수 있습니다.
자주 묻는 질문
Q. 기초선은 얼마나 오래 측정해야 하나요?
A. 정해진 기간은 없지만, 대상자의 상태가 안정적인 패턴을 보일 때까지 측정하는 것이 원칙입니다. 일반적으로 3회 이상 반복 측정해서 일정한 경향이 확인되면 기초선으로 활용할 수 있습니다. 단, 위기상황에서는 기초선 수집보다 즉각적인 개입이 우선입니다.
Q. BAB설계는 어떤 상황에서 쓰나요?
A. BAB설계는 클라이언트가 위기상황에 있어서 기초선을 먼저 수집할 여유 없이 즉각적인 개입이 필요한 경우에 사용합니다. 개입(B) → 기초선(A) → 재개입(B) 순서로 진행되며, 개입 중단 단계에서 윤리적 판단이 반드시 필요합니다.
Q. 형성평가와 총괄평가는 어떻게 다른가요?
A. 형성평가는 개입이 진행되는 중간에 서비스 방향을 점검하고 수정하기 위한 평가입니다. 총괄평가는 프로그램이 끝난 후 최종 효과를 판정하는 평가입니다. 현장에서는 두 가지를 함께 활용해야 서비스 품질을 실질적으로 높일 수 있습니다.
Q. 사회복지 평가에서 긍정적 지수와 부정적 지수를 둘 다 봐야 하나요?
A. 가능하면 함께 보는 것이 더 정확합니다. 부정적 지수(문제 행동의 빈도)만 보면 문제가 줄었는지는 알 수 있지만, 긍정적인 변화가 실제로 생겼는지는 확인하기 어렵습니다. 예를 들어 우울감이 줄었다는 것과 삶의 만족도가 올라갔다는 것은 다른 이야기일 수 있습니다.
결론
사회복지실천 평가가 어렵게 느껴지는 이유는 측정 자체가 낯설기 때문만은 아닌 것 같습니다. "이 서비스가 정말 도움이 되었는가"라는 질문에 정직하게 답해야 한다는 부담감 때문이기도 하다고 생각합니다. 저도 현장에서 그 질문 앞에 여러 번 멈췄습니다.
결국 평가는 점수를 매기는 일이 아닙니다. 기초선을 기록하고, 개입 중간에 방향을 점검하고, 예상치 못한 변화도 성과로 읽어낼 줄 아는 눈을 키우는 과정입니다. 사회복지를 공부하거나 현장에서 일하고 계신 분이라면, 다음 서비스를 설계할 때 "우리는 무엇을, 언제부터, 어떻게 측정할 것인가"를 먼저 물어보시길 권합니다.
참고: 보건복지부 / 한국사회복지사협회
