더북(TheBook)


4.51바이트 부동소수점의 정밀도


1바이트 부동소수점 설계를 마쳤는데 석연치 않은 점이 하나 있습니다. 변환 과정에서 가수부를 담을 공간이 부족해 가수부에 들어갈 데이터인 1111에서 맨 뒤에 있는 1을 누락했던 것을 기억하나요? 이렇게 되면 0x4f는 7.75라는 실수를 완벽하게 표현하지 못합니다.

1.111 × 22 = 1 × 22 + 1 × 21 + 1 × 20 + 1 × 2-1 = 7.5

0.25만큼 차이가 나므로 정밀도가 그만큼 떨어집니다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.