알고리즘 매매와 DMA란 무엇인가

알고리즘 매매를 한 마디로 정의한다면 "컴퓨터 프로그램(알고리즘)을 이용한 매매 집행 서비스"라고 할 수 있습니다. 여기에서 매매 집행 서비스(trade execution service)라는 용어를 이해하기 위해서는 증권 산업 구조에 대한 약간의 부가적인 설명이 필요합니다. 따라서 여기에서는 증권 산업 구조, 특히 거래소와 증권사의 셀사이드 비즈니스에 대해서 설명을 하고 넘어가겠습니다.

바이사이드와 셀사이드

증권 산업은 다양한 자산에 대해 일반 투자자가 자신의 돈으로 투자를 할 수 있는 기반을 마련해 주는 산업입니다. 투자를 위해서는 두 가지 단계가 필요합니다. 첫 번째는 투자를 위한 자산을 선택하고 관리하는 것이고 두 번째는 실제로 이 자산을 사거나 파는 행위입니다. 첫 번째 역할을 도와주는 쪽을 운용 업무 주체 혹은 바이사이드(buy-side)라고 부르고 두번째 역할을 도와주는 쪽이 유통 업무 주체 즉 셀사이드(sell-side)입니다. 우리가 흔히 펀드에 가입한다고 말할 때의 펀드 회사가 바이사이드의 대표적인 주체입니다. 그러나 펀드회사가 주식을 매매하기 위해서는 반드시 셀사이드인 증권사와 거래소를 통해야 합니다.

셀사이드 비즈니스

일반투자자들은 바이사이드 비즈니스 즉, 펀드회사가 하는 일에 대해서는 비교적 익숙하고 많은 지식을 가진 반면, 셀사이드 비즈니스, 즉, 증권사 및 거래소의 증권 유통 업무에 대해서는 피상적인 이해만을 가진 경우가 많습니다. 그러나 알고리즘 매매에 대한 이해를 위해서는 거래소 및 증권사의 유통업무에 대한 기본적인 지식이 있어야 합니다.

장외 거래

다른 모든 자산을 매매할 때와 같이 주식의 매매도 거래 상대방이 존재하고 쌍방의 거래 조건만 맞다면 거래를 이루어 질 수 있습니다. 이를 장외 거래라고 합니다. 부동산 매매, 혹은 인터넷 거래 사이트를 이용하여 매매를 해 보신 경험이 있다면 이런 장외거래에서 있을 수 있는 다양한 어려움을 알 수 있을 것입니다. 일단 원하는 주식을 거래할 거래 상대방을 찾기도 힘들고 간신히 거래 상대방을 찾았다 하더라도 거래 조건을 맞추기가 쉽지 않습니다. 또한 전화 통화후 막상 거래를 하려는 순간에 상대방이 거래를 취소하거나 조건을 변경하자고 하는 경우도 많아 거래가 쉽게 이루어 지지 않습니다.

거래소의 장내 거래

이러한 장외 거래의 불편을 해소하기 위해 만든 것이 거래소(exchange)입니다. 그런데 이 세상에 존재하는 대부분의 거래소는 회원제(membership)기반입니다. 즉 일정한 요건을 갖추고 있는 회원만이 거래소의 기반 시설을 이용하여 매매를 할 수 있습니다. 회원제로 거래가 이루어지는 이유는 다양하지만 기본적으로는 일정한 신용도와 자격을 갖춘 주체에게만 거래를 허용함으로써 시장 전체의 거래 시스템을 안정화 하기 위함입니다. 한국 거래소의 회원은 증권사라는 이름을 가진 금융회사입니다. 그런데 회원 즉, 증권사만 거래소를 통해서 주식을 매매할 수 있다면 지금까지 일반 투자자는 어떻게 주식을 매매한 것일까요? 사실은 증권사가 일종의 대리 매매를 한 것입니다. 증권사의 고객이 전화를 통해 매매를 하든, HTS를 통해 매매를 하든 어떤 방법으로 하여도 결국 모든 거래는 그 증권사의 보증(sponsership)아래 이루어집니다. 따라서 증권 거래후 대금 지불이 이루어 지지 않는 경우, 일차적으로는 지급 책임은 회원사 즉, 증권사에 있습니다. 물론, 증권사와 고객간의 채무 관계에 의해 최종 책임은 고객에게 가겠지만 거래 시스템의 원활한 작동을 위해 일차적으로는 회원사가 매매에 대한 모든 책임을 지게 되어 있습니다. 따라서 일반투자자가 펀드에 가입하여 펀드회사에게 돈을 준다고 하여도 펀드회사가 거래소의 회원사가 아니라면 일반투자자와 마찬가지로 회원사를 통해 주식의 매매를 하여야 합니다.

전통적 집행 서비스 - 수동 집행과 DMA

앞서 말한 바와 같이 거래소를 통한 모든 증권 매매는 회원사를 통해야하만 하므로 증권 매매를 하기 위해서는 우선 증권사에 거래 의사 표시 즉, 주문 행위를 하여야 합니다. 주문의 방법은 다양합니다. 전화를 걸어서
증권사 직원과 통화를 하여 구두로 의사를 표시할 수도 있고 HTS라고 부르는 증권사-고객 통신 시스템을 이용할 수도 있습니다. 혹은 FAX나 핸드폰 등 기타 증권사에서 제공하는 다양한 방법을 이용하여 증권사에 주문을 할 수 있습니다. 여기에서 주의해야 할 점은 일반 투자자는 "거래소"가 아닌 "증권사"에 주문을 내는 것이라는 점입니다. 그리고 이 주문을 "증권사"가 실제 "거래소"에 내는 과정을 거칩니다. 전화를 사용하여 주식 매매를 하는 경우에는 일반 투자자도 이러한 단계에 대해 잘 인식하고 있습니다. 고객이 증권사에 전화를 하면 이에 대응하여 증권사의 직원이 단말에 무언가 입력을 하는 행위가 쉽게 떠오르기 때문입니다. 이러한 증권사의 서비스를 수동 집행 서비스(manual execution service)라고 부릅니다.

그런데 HTS의 경우도 마찬가지라고 하면 의아해 하시는 분들이 계십니다. HTS는 고객과 시장 즉, 거래소 시스템을 직접 연결해 주는 것 아니냐고 반문하는 경우가 있는데 사실은 거래소 시스템은 일반 고객과 연결되어 있지 않습니다. 해외의 경우는 일부 예외가 있을 수 있고 이러한 사항에 대해서는 다음 장에서 다루겠지만 우리나라의 경우 규정에 의거하여 거래소의 시스템은 회원사에만 연결을 허락해 줍니다. 따라서 증권사의 고객이 HTS에서 주문을 내면 이 정보가 증권사의 주문 관리 시스템(OMS:Order Management System)으로 들어가고 여기에서 위험관리 체크를 한 뒤 다시 그 증권사의 딱지(tag)를 달고 거래소로 들어갑니다. 이러한 과정이 모두 전산화가 되어 눈에 보이지 않을 정도로 빠르게 이루어지 때문에 일반 고객은 마치 거래에 직접 주문을 내는 것처럼 인식할 수 있습니다. 따라서 이를 일반적으로 DMA(Direct Market Access)라고 부르는 경우가 많습니다. 해외에는 콜로케이션 서비스(collocation service)나 sponsored naked market access 서비스라는 것이 별도로 존재하기 때문에 이러한 서비스를 특정하여 DMA라고 하는 경우도 있지만 HTS등의 전산 시스템을 사용하여 증권사 직원이 일일이 개입하지 않고 주문이 거래소로 전달되는 경우를 통칭하여 DMA라고 부르는 것이 일반적입니다. 콜로케이션 서비스(collocation service)나 sponsored naked market access 서비스 등에 대해서는 다음 장에서 자세히 설명하도록 하겠습니다.

바이사이드를 위한 집행 서비스

일반 투자자들도 펀드 가입이 아니라 증권사를 통해 직접 주식매매를 해 보신 경우에는 위의 집행 서비스가 무엇인지 잘 이해하고 계신 것입니다. 그러나 일반 투자자가 아니라 바이사이드 즉, 펀드 회사가 고객인 경우에는 어떨까요? 증권사는 바이사이드에 대해 일반 투자자와는 차별적인 서비스를 제공합니다. 이는 바이사이드에서 원하는 것이 일반 투자자와 다른 경우가 많기 때문입니다. 가장 큰 차이점은 매매의 규모입니다. 일반 투자자의 매매규모는 시장 전체의 매매 규모에 비해 아주 작기 때문에 시장에 영향을 미치는 경우가 많지 않습니다. 그러나 바이사이드는 집합투자인 경우가 많으므로 한 번 매매할 때 매매 규모가 큽니다. 매매 규모가 크면 좋든 싫든 시장에 영향을 미치게 됩니다. 즉, 대규모 매수가 발생하면 가격이 오르고 매도가 발생하면 가격이 내립니다. 이를 시장 충격(market impact)라고 부르는데 이는 시장의 유동성(liquidity) 및 정보 전달성과 관련됩니다. 유동성과 정보 전달성에 대한 자세한 이야기는 시장미시구조(market microstructure)에 관한 장에서 다루게 됩니다. 일단은 대규모 매매에서는 이러한 시장 충격이 발생한다는 것은 상식적으로 이해 할 수 있을 것입니다. 따라서 바이사이드의 주문을 집행하기 위해서는 이 주문을 그대로 시장에 전달하는 것으로 끝나서는 안되고 전략적 접근이 필요합니다. 이를 집행 전략(execution strategy)라고 하는데 생각할 수 있는 가장 쉬운 전략은 주문을 작게 쪼게서 시간 간격을 두고 연속적으로 내는 것입니다. 이를 TWAP(Time Weighted Average Price)전략이라고 부릅니다. 어떤 전략을 사용하든지 간에 대규모 주문에는 집행 전략이 필수적입니다. 손이 많이 가는 작업이라는 의미에서 이러한 수동 집행(manual trading execution)을 하이터치(high-touch)주문이라고도 합니다. 반대로 HTS등을 이용한 DMA주문은 개별 주문에 대해서는 증권사 직원의 개입이 없으므로 노터치(no-touch)주문이라고 합니다.

컴퓨터 프로그램을 이용한 집행 전략 수행

그런데 이 책을 읽고 있는 독자가 증권사의 바이사이드 주문 집행 전략을 담당하는 트레이더라고 생각해 보십시요. 큰 증권사의 트레이더는 보통 수십개에서 수백개의 종목에 대해 바이사이드 주문을 받습니다. 이를 하루 10개 정도로만 쪼개서 거래소에 낸다고 하더라고 수백, 수천의 주문을 하루 종일 발주하고 모니터링하고 있어야 합니다. 또한 사소한 실수라도 있으면 안되는 작업이므로 하나하나의 주문에 대해 많은 신경을 써야 합니다. 이러한 작업을 모두 수동으로 하는 경우 집행 실적은 트레이더의 능력에 좌우됩니다. 따라서 이러한 트레이더의 업무를 보조하기 위해 간단한 집행 작업이나 TWAP과 같은 간단한 집행 전략은 증권사 내부적으로 컴퓨터 프로그램에 의지하는 경우가 늘어났습니다. 이를 프로그램 매매라고 부릅니다.

신규 집행 서비스 - 알고리즘 매매

1990년 대 중반까지는 해외에서도 알고리즘에 의한 집행은 증권사 내부에서만 트레이더의 툴(tool)로써 사용되고 바이사이드고객은 증권사가 무슨 전략을 어떤 툴을 써서 하든 신경을 쓰지 않았습니다. 그러나 주식시장의 성장성이 감소하고 금융 회사간의 경쟁이 심화되면서 바이사이드와 셀사이드 모두에서 거래비용(transaction cost)에 대한 관심이 높아지게 되었습니다. 펀드회사의 거래비용은 크게 두가지로 나누어지는데 증권사에 지불하는 명시적인 거래 수수료와 시장 충격에 의해 발생되는 숨겨진 거래 비용입니다. 일단 거래 수수료 측면에서 하이터치 주문은 거래 수수료가 아주 높습니다. 숙련된 트레이더가 하루 종일 신경을 써야 한다는 점에서 높은 수수료를 피할 수 없습니다. 시장 충격도 기본적으로 주문을 작게 쪼개면 쪼갤 수록 감소하는 것이 일반적인데 사람이 하는 경우에는 업무 한계가 존재합니다. 만일 컴퓨터가 집행 서비스를 100% 처리할 수 있다면 인건비 절감 및 시장 충격 감소로 전반적인 거래비용이 크게 감소할 수 있습니다. 그러나 컴퓨터는 주어진 프로그램에 의해서만 움직이므로 다양한 시장의 상황에 적절하게 대응하는데 한계가 있고 따라서 기존에는 트레이더가 이를 계속 모니터링하면서 수정해 주는 것이 당연한 일이었습니다. 그렇지 않으면 사람에 비해 집행 품질이 떨어지기 때문입니다. 이러한 당시까지의 집행 서비스 관행을 바꾼것이 크레딧 스위스라는 회사의 AES(Advanced Execution Service)라는 알고리즘 집행 서비스였습니다.

크레딧 스위스는 AES(Advanced Execution Service)라는 이름으로 알고리즘 집행 프로그램을 고객이 직접 사용할 수 있게 해 주는 대신 수수료를 기존의 하이터치 수수료에서 DMA와 유사한 레벨로 낮추었습니다. 알고리즘에 의한 집행이 이루어지면 사람보다 성능이 떨어지지만 이런 성능 저하를 감수하고라도 싼 서비스를 원하는 고객이 있다면 서비스를 제공해 주겠다는 영업 전략이었습니다. 크레딧 스위스의 전략은 거래비용을 낮추고자 하는 당시의 상황과 맞아 떨어져서 인기를 얻었고 곧 바이사이드용 주문 채널은 기존의 수동주문, DMA 두 가지 채널에서 알고리즘 매매가 포함된 세 가지 채널로 확립되게 되었습니다.

알고리즘 매매란 "컴퓨터 프로그램(알고리즘)을 이용한 매매 집행 서비스"

여기까지 읽으셨다면 제가 처음에 이야기한 "알고리즘 매매란 컴퓨터 프로그램(알고리즘)을 이용한 매매 집행 서비스"라는 말이 무슨 의미인지 이해가 되었을 것이라고 생각합니다. 그런데 독자 중에는 "알고리즘 매매란게 그냥 주문 집행 서비스라고? 알고리즘을 이용해서 투자자가 뭔가 돈을 벌게 해주는 신기한 프로그램이 아니였어?"라는 생각을 하시는 분도 분명히 있을 것입니다. 컴퓨터가 투자 의사 결정 자체를 하는 것도 분명히 알고리즘에 의한 매매이므로 알고리즘 매매라고 할 수 있겠습니다만 이는 단지 용어 사용의 문제입니다. 해외 금융 산업에서 알고리즘 매매(algorithmic trading)이라고 하면 일반적으로는 지금까지 이야기한 매매 집행 서비스를 이야기하는 경우가 대부분이라고 생각하시면 됩니다. 다만 용어에 대해서는 알고리즘 매매가 아닌 전산 매매(electronic trading)이라는 경우를 사용하는 경우도 있습니다.

왜 알고리즘 매매를 알아야 하는가

또 다른 독자는 "만약 알고리즘 매매가 투자 의사 결정이 아닌 집행 서비스만 하는 것이라면 굳이 내가 공부할 필요는 없겠군. 난 투자를 통해 돈을 버는 것이 목적인데 내게 집행 서비스가 무슨 소용이지?"라고 생각하실 수도 있을 것입니다. 만일 소규모의 자금을 이용하여 장기 투자를 하는 일반 투자자라면 이 생각이 틀리지 않습니다. 그러나 대규모 자금을 운용하는 바이사이드 관련업무를 하시는 분이나 일반 투자인 경우에도 회전율이 높은 단기 투자를 하는 분들은 반드시 알고리즘 매매에 대해 공부하실 것을 추천합니다.

현재 미국이나 유럽과 같은 알고리즘 매매 선진국에서는 조사에 따라 다르지만 대략 전체 매매의 80%가 알고리즘 매매에 의해 집행되고 있다고 추정됩니다. 이는 알고리즘 매매가 가져다 주는 거래 비용 감소 등의 효과에 대해 이미 업계에서 인정이 되었다는 의미입니다. 아직까지 국내에서는 바이사이드에서 알고리즘 매매에 대한 관심이 낮습니다. 여러가지 이유가 있겠지만 가장 큰 이유는 거래소가 단일 거래소이고 시장 변동성이 높기 때문이라고 생각됩니다. 시장 변동성이 높은 경우에는 수익률이 집행 과정에서 보다는 투자 의사 결정에서 대부분 결정되므로 거래비용에 별로 신경을 지 않게 됩니다. 또한 ATS(alternative trading system)등이 존재하지 않는 단일 거래소 구조이기때문에 거래 비용을 낮출 수 있는 방법이나 최선 집행 의무(best execution)에 대한 니즈도 없습니다. 그러나 올해부터는 자본시장법 개정에 의해 ATS등이 도입되고 시장의 유통구조가 크게 변화될 가능성이 있습니다. 따라서 운용업계에서는 피할 수 없는 선택으로 다가올 것입니다.

스켈핑(초단기) 혹은 단기 투자를 하는 투자자에게도 알고리즘 매매 전략에 대한 공부는 큰 도움이 됩니다. 바이사이드의 대규모 주문 전략을 알 수도 있고 알고리즘 매매의 전략 설계에 시장미시구조 이론이 바탕이 되기 때문입니다. 시장 미시구조 이론은 기본적으로 시장 바깥의 정보가 시장 내의 증권 가격으로 어떻게 전이되는가를 연구하는 학문입니다. 초단기 혹은 단기 투자자는 증권의 가격이 그 근본 가치가 수렴해나가는 과정이 아니라 정보가 시장으로 들어가고 소화되는 과정에서 발생하는 가격의 움직임을 이용하기 때문에 알고리즘 매매의 연구는 간접적인 도움을 줄 수 있습니다.