한 5년 전 얘기다.

따르릉~따르릉~

다른 부서에서 전화가 왔다. 그러면서 하는 말이, 자료가 이상하단다.
'이크! 뭘 하나 놓쳤나보다' 생각하고 직접 가서 얘기를 들어보니, 비율 자료를 합하면 99.9% 밖에 나오지 않는데 생산된 자료는 100.0%라서 서로 값이
다르다는 것이다. 대충 이런 경우였다.

A지역 판매량 : 33.3%
B지역 판매량 : 33.3%
C지역 판매량 : 33.3%
판매량 합계 : 100.0%

(음... 왜 그럴까?)

문제는 간단했다. 멍청하게 비율만 뚫어져라 보고 있었다는 것(물론 나도 그 말에 넘어가서 멍청하게... -_-;;)

이유는 시스템에서 반영하는 유효자릿수와 순환소수가 섞여 나타난 문제 아닌 문제였다. 아래처럼 말이다.

A지역 판매량 : 100개 (33.3%)
B지역 판매량 : 100개 (33.3%)
C지역 판매량 : 100개 (33.3%)
판매량 합계 : 300개 (100.0%)

비율 자료를 볼 때 통상 소수점 셋째자리 까지만 보는데, 백분율로는 나타내면 00.0% 이다. 그래서 시스템에서는 개별 항목을 소수점 셋째자리까지만 계산해 보여줬는데, 이 멍청한 것들이 엑셀로 계산하면서 그 비율을 곧이곧대로 적용해 버린 것이다. 그러니 합계가 99.9%가 나오지... (그래서 이를 얘기해줬더니 이해를 못하던데, 아무리 문과 출신이라지만 너무들 하더라)

어떤 계산이든 유효자릿수를 설정하는 것은 별 것 아닌 것 같아도 상당히 미묘한 부분이다. 다음의 경우를 보자.

(1÷3)×3 = ?

(한국 지형에 전혀 강하지 않은) 애니컬 SPH-S3900에 내장된 전자계산기로 계산한 결과는 0.99999 이다. 그러나 우리가 익히 알고 있는 답이 아니다(여러분도 주위에 있는 계산기 또는 휴대전화로 직접 계산해 보시기 바란다).

이는 얼핏보면 유효자릿수 설정 때문에 나타나는 문제 같지만 실제로는 바로 전 단계(괄호內) 중간 결과값을 임시 저장하지 않고 유효자릿수 다섯째자리 까지만 잘라버려서 나타나는 문제다. 즉 유효자릿수 문제에 프로그래머의 멍청함까지 보태진 문제가 되겠다.

그런데 이렇게 눈에 잘 보이지 않는 계산상에 문제는 사사오입을 비롯해서 비일비재하다.