오늘은 ChatGPT가 얼마나 대단한 친구인지에 대해 옛날 이야기를 좀 해보겠습니다.
야후, 엠파스, 네이버, 구글, 특허검색엔진 키프리스, 윕스, MS 빙, 이런 모든 검색엔진의 공통점이 있습니다. 바로 키워드 검색엔진이라는 점입니다. 내가 넣은 키워드가 들어있는 문서는 가져오고, 들어있지 않은 문서는 가져오지 않습니다. 아주 심플하죠.
키워드가 여러개일 경우에는 둘 다 있는거만 가져올까요(AND 연산), 둘 중 하나라도 있으면 가져올까요(OR 연산) 이 정도로 처리합니다. 이런 연산을 불린(Boolean) 연산이라고 합니다. 수학자 불린씨의 이름을 따왔죠. 그래서 키워드 검색 엔진을 불린검색엔진이라고도 부릅니다.
그럼 키워드 검색엔진이 아닌 검색엔진은 뭘까요? 자연어 검색엔진이라고 합니다. 단어가 있냐 없냐만 따지는 것이 아니라, 주어 동사 목적어 문법까지 고려를 해서 검색자가 질문한 내용에 대해 부합되는 대답을 가져다 주려고 노력하는 알고리듬입니다.
기어의 마찰을 줄이는 방법은?(How to reduce the friction of the gear?)라고 질문을 했을 때, reduce, friction, gear라는 단어들이 있냐 없냐 만을 따지는 것이 아니라, reduce라는 단어가 동사 자리에 들어가 있고, friction of the gear라는 단어 또는 문장이 목적어 자리에 들어가 있는 문서들만 찾아와 줍니다. 이러면 질문자의 의도에 훨씬 부합하는 결과를 가져오겠죠.
이런 검색엔진을 자연어(인간이 일상생활에서 쓰는 자연스러운 말이라는 의미에서 자연어라고 부릅니다)검색엔진이라고 부릅니다.
영어로 Natural Language Search Engine이라고 하고, 이렇게 자연어를 처리해서 의미와 의도까지 매칭되는 정보만 찾는 과정을 자연어 처리(Natural Language Processing)라고 부릅니다. 요즘 NLP라는 단어가 많이 들리고 있죠. 다른 말로는 Semantic(시멘틱) Search Engine이라고도 부릅니다.
자연어검색을 시도했던 검색엔진은 꽤 있었습니다. 대부분은 실패하고 사라졌죠. 지금은 사라진 엠파스도 한때는 자연어검색을 하겠다고 표방했으나, 검색 결과의 퀄리티를 높이지 못하고 결국 사라졌습니다.
이게 결코 쉽지 않은 기술이지만 그래도 잘 해낸 회사가 있습니다. 미국에 Invention Machine Corp.라는 회사가 있었습니다. 창의적 아이디어를 발상하는 '트리즈(Theory of Inventive Problem Solving)'라는 방법론을 교육하고 컨설팅 하는 유명한 회사였습니다.
이 회사의 트리즈 방법론에 보면 기술 용어를 쓰면 우리 산업의 아이디어만 찾을 수 있지만, 기술 용어가 아니라 어떤 대상에게 어떤 유익한 작용을 하는가라는 관점에서 동사와 목적어를 정의하고 그것으로 검색을 하면 얼마든지 다른 산업의 아이디어와 기술도 찾을 수 있으며, 그렇게 찾은 기술은 우리와 같은 문제를 해결하고 우리와 같은 기능을 구현한 사례이므로 충분히 우리에게 벤치마킹할 시사점을 준다는 개념을 만들었습니다.
그래서 이 회사가 컨설팅으로 번 돈을 부어가며 소프트웨어를 하나 만들었습니다. 그 이름이 Goldfire Innovator 입니다. 전기전자의 IEEE, 자동차의 SAE 같은 유명 저널들과 제휴해서 기술 논문 DB를 갖추었고, 미국 및 주요 국가들의 특허 DB도 갖추고, 여기에다가 자연어검색엔진을 만들어서 연결시켰습니다.
how to remove dust particle? 처럼 자연어로 검색을 하면 수많은 산업분야에서 먼저 입자를 제거하기 위해 쓰인 기술과 특허와 논문과 아이디어를 찾아주었습니다. 동사와 목적어의 위치가 단어가 일치하는 것들만 찾아주니까 검색 결과의 정합성이 높고 아주 좋았습니다.
당시에 Semantic Search Engine으로 검색하면 위키피디아에 약 7개 정도의 자연어검색엔진이 나왔는데, 이 Goldfire가 두번째 자리에 있었습니다.
Invention Mechine이라는 이 회사는 트리즈 컨설팅으로도 유명했지만 이 Goldfire가 더 유명해졌습니다. 이 회사를 IHS라는 회사가 인수를 했습니다. 이 Goldfire를 가지기 위해서였죠.
IHS는 글로벌 탑티어 리서치 회사입니다. 가트너 리포트도 발행하고 IHS Automotive는 가장 권위 있는 자동차 분야 리서치 페이퍼이며, 리포트 PDF 파일이 수천만원에 판매됩니다. PDF 파일만 판매하는 IHS의 글로벌 매출은 1조원 정도였습니다.
워낙 리서치 페이퍼를 많이 만들다보니, 자기 자료를 잘 찾고 활용하기 위해서 Goldfire의 자연어검색 능력이 필요했던거죠. 그리고 나중에 이 IHS는 다시 S&P에 인수되었습니다. 우리가 잘 아는 그 스탠다드 앤 푸어스의 그 S&P 맞습니다.
Goldfire는 지금도 S&P 그룹 산하에 있습니다.
Goldfire Cognitive Search | Accuris
Find answers, not information. On average, an engineer will consult 13 different sources before they find the answer they’re seeking. That adds up to about 42% of your engineering team’s time simply spent looking for siloed data. Engineers are innovators, builders, creators – their time is worth.
S&P의 글로벌 엔지니어링 솔루션을 담당하는 Accuris라는 계열사에서 지금도 판매하고 있습니다. 굉장히 큰집에 인수되어서도 아직도 건재하네요.
저는 예전에 이 Goldfire Innovator라는 엔지니어링 소프트웨어의 한국 리셀러도 하고, 사용자 교육도 많이 했습니다. 삼성전자, LG전자, 현대자동차, 한온시스템 등등 여러 대기업에서 활용방법 강의를 했습니다.
판매가격은 1 copy에 PC 고정형은 3천만원 정도 했고, 임직원 누구나 접속할 수 있는 서버 버전은 1 copy에 1억 정도 했습니다. 왠만한 기업은 엄두도 못내고 삼성전자나 현대자동차 정도 되면 10 copy 정도 운영을 했습니다. 연구소 직원 수만명을 위해서 10 copy 정도 산겁니다.
ChatGPT의 능력
가격이 상당했던 Goldfire Innovator 소프트웨어가 하던 자연어검색을 ChatGPT는 아주 우습게 해냅니다. Goldfire보다 더 뛰어난 실력과 품질을 보여줍니다.
불과 10년 전에는 Goldfire Innovator가 1억에 팔렸습니다. 저 프로그램을 사용하는 방법에 대한 사용자 교육도 하루 강사료가 백만원을 넘었습니다. 자연어 검색이 그렇게 어렵고 고급진 기술이었습니다.
ChatGPT는 자연어 검색과 유사한 자연어 질문 이해와 자연어 답변 생성을 아주 잘 해내고 있습니다.
ChatPDF 같은 사이트 이용해서 PDF 파일 걸어주고 질문하면 자연어 검색해서 찾아서 결과 요약도 가능합니다.
여러분은 지금 1억짜리 프로그램을 무려 공짜로 쓰고 계신겁니다.
이제 ChatGPT를 바라보는 마음이 조금은 바뀌셨을거라 생각합니다. ^^
누추한 제 PC에 귀한신 ChatGPT가 오신겁니다.
귀하게 대접해 드립시다.
