SIFT 알고리즘이 발표된 이후, 많은 사람이 SIFT의 속도와 성능을 개선한 알고리즘을 발표했습니다. 2008년에 발표된 SURF(Speed-Up Robust Features) 알고리즘은 SIFT에서 사용한 DoG 영상을 단순한 이진 패턴으로 근사화하여 속도를 향상시켰습니다[Bay08]. 2012년에 발표된 KAZE 알고리즘은 가우시안 함수 대신 비등방성 확산 필터(nonlinear diffusion filter)를 이용하여 비선형 스케일 스페이스를 구축하여 특징점을 검출합니다[Alcantarilla12]. KAZE 알고리즘은 객체의 윤곽을 잘 보전함으로써 블러링, 크기 및 회전 변환, 잡음 등의 영향으로 변형된 영상에서 같은 특징점을 반복적으로 찾아내는 성능이 뛰어납니다.

그러나 SIFT, SURF, KAZE 방법은 스케일 스페이스를 구성하는 등의 복잡한 연산을 수행해야 하기 때문에 실시간 응용에서 사용하기 어렵다는 단점이 있습니다. 또한 이들 특징점 알고리즘에 의해 만들어지는 기술자는 128개 또는 64개의 실수 값으로 구성되어 있어서 메모리 사용량이 많고 특징점 사이의 거리 계산도 오래 걸릴 수 있다는 단점이 있습니다. 그래서 2010년 전후로는 특징점 검출이 매우 빠르고 이진수로 구성된 기술자를 사용하는 알고리즘이 발표되기 시작했습니다. 그중 2011년 발표된 ORB(Oriented FAST and Rotated BRIEF) 알고리즘은 당시 OpenCV를 관리하던 연구소에서 개발한 방법으로서, SIFT와 SURF를 대체하기에 좋은 알고리즘입니다[Rublee11].

ORB 알고리즘은 기본적으로 FAST 코너 검출 방법을 이용하여 특징점을 추출합니다. 다만 기본적인 FAST 알고리즘은 영상의 크기 변화에 취약하기 때문에 ORB 알고리즘은 입력 영상의 크기를 점진적으로 축소한 피라미드 영상을 구축하여 특징점을 추출합니다. 그리고 각 특징점에서 주된 방향 성분을 계산하고, 방향을 고려한 BRIEF 알고리즘으로 이진 기술자를 계산합니다.