대규모로 사용자 의도를 분류하는 방법

MarketMuse의 기계 학습 연구 엔지니어로서 저는 컴퓨터 코드와 숫자에 몰두하며 하루를 보냅니다. 그러나 이 게시물에서는 사용자 의도 분류라는 흥미로운 분야를 살펴볼 때 모든 것을 제쳐두도록 합시다.

사용자 의도를 대규모로 분류하는 기능은 전 세계의 마케터에게 엄청난 잠재력을 가지고 있습니다. 이 게시물에서는 사용자 의도가 무엇인지, 분류가 가져올 수 있는 이점, 일부 사람들이 문제에 접근하는 방법, MarketMuse가 취하고 있는 전략에 대해 간략하게 설명합니다.

사용자 의도란 무엇인가

우리는 우리의 의도를 표현하기 위해 인간의 언어를 사용합니다. 정상적인 대화 과정에서 이것은 거의 문제가 되지 않습니다. 그러나 검색자가 일반적으로 가능한 한 적은 수의 단어를 사용하는 검색 쿼리의 경우 의도를 식별하기 어려울 수 있습니다.

검색 의도라는 주제에 대해 광범위하게 작성했으므로 예비 단계를 건너뛰고 문제의 핵심으로 바로 가겠습니다. 모든 검색어 뒤에는 의도가 있습니다. 그 의도를 충족시키는 콘텐츠의 능력은 검색 결과에 콘텐츠를 배치하는 주요 요소입니다. 잘 쓰여지고 주제가 풍부한 기사는 의도가 적절하게 언급되지 않으면 검색 결과가 좋지 않습니다.

이것이 우리가 사용자 의도를 대규모로 분류하려고 하는 이유입니다.

사용자 의도 분류의 이점

사용자 의도를 분류하면 MarketMuse 플랫폼에 상당한 영향을 미칩니다. MarketMuse를 사용하는 사람들이 잠재적으로 이익을 얻을 수 있는 여러 가지 방법이 있습니다.

예를 들어, 6천만 개의 주제에 대한 기능을 저장하는 역사적 SERP 서비스를 유지 관리합니다. 믹스에 사용자 의도를 추가하면 기능과 의도의 변경 간의 상관 관계를 관찰할 수 있습니다. SERP에서 순위를 유지하고 있는 최고 실적 페이지를 분석하고 변화하는 의도에 따라 어떻게 적응했는지 확인할 수 있습니다.

또한 MarketMuse Content Briefs를 지원하는 5천만 개 이상의 주제가 포함된 지식 그래프 서비스를 유지 관리하여 주제별 권장 사항을 제공합니다. 의도 분류는 이러한 권장 사항을 구체화하는 데 도움이 됩니다. 동일한 원칙이 질문 엔진에도 적용됩니다.

이러한 개선 사항에는 물방울 효과가 있습니다. 우리의 콘텐츠 브리프는 NLG(자연어 생성) 엔진인 MarketMuse First Draft를 구동하기 때문에 브리프에 대한 개선 사항은 NLG 출력에 반영됩니다.

사용자 의도 조사 현황

검색과 관련된 사용자 의도에 대한 연구는 많지 않습니다. 대부분의 연구는 클라이언트에 대한 일반적인 사용자 의도를 중심으로 이루어집니다. 예를 들어 웹 사이트용 챗봇을 개발 중이고 방문자에게 응답하거나 적절한 리소스로 안내할 수 있도록 사용자 의도를 분류하려고 합니다.

서서히 사용자 의도를 검색에 대한 대규모로 분류하려는 시도에 관심이 높아지고 있습니다. 알고 계실 수도 있는 몇 가지 인기 있는 예는 Content Harmony의 Kane Jamison과 RankSense의 Hamlet Batista입니다.

Content Harmony의 경우 검색 의도를 분류하기 위해 발견적 접근 방식을 취합니다. 특정 쿼리에 대한 SERP 기능을 보고 유형을 결정합니다. 예를 들어, 쇼핑 목록을 보는 경우 트랜잭션 쿼리여야 하고 뉴스 항목을 보는 경우 정보용이어야 합니다.

블로그 게시물에서 인정했듯이 이 방법에는 많은 단점이 있습니다. 휘발성입니다. Google에서 검색 기능 형식을 변경하면 의도가 잘못 분류될 수 있습니다. 블랙 프라이데이나 크리스마스와 같이 쿼리 의도에 대한 계절적 변화도 마찬가지입니다. Content Harmony에 따르면 이러한 접근 방식을 사용하면 사용자 의도의 변화를 감지하기 위해 시즌의 순위 변화를 주시해야 합니다.

Hamlet Batista가 Search Engine Journal 기사에서 논의한 접근 방식은 우리의 전략과 유사합니다. 따라서 확장 가능한 방식으로 검색 의도를 분류하는 방법에 대해 논의하겠습니다.

사용자 의도 분류에 대한 MarketMuse 접근

MarketMuse에서 우리는 대규모로 사용할 수 있는 신뢰할 수 있는 분류기를 개발하기 위해 최근 기계 학습 및 자연어 생성의 발전을 활용하고 있습니다. 수천 개의 쿼리 데이터 세트를 기반으로 하는 딥 러닝 사용자 의도 분류 모델을 만들었습니다. 우리의 모델은 능동적인 학습 접근 방식을 취하여 지속적으로 새로운 데이터를 수집하고 능력을 향상시킵니다.

우리의 접근 방식은 "개체는 필요 없이 곱해져서는 안 된다"는 문제 해결 원칙인 Occam's Razor를 마음에 새깁니다. 간단하게 하기 위해 먼저 검색 쿼리 자체를 사용하여 분류할 수 있는지 확인합니다.

생성된 수천 개의 MarketMuse Content Briefs를 살펴보면 검색 의도가 일반적으로 다음 범주 중 하나에 속한다는 것을 알 수 있습니다.

• 비교
• 현지
• 정보 제공
• 거래

그것이 우리가 먼저 시작하는 것입니다.

문제는 그것이 그렇게 간단할 것인가 하는 것입니다. 모델이 키워드 구문만으로 분류할 수 있을 만큼 강력한가요? 그렇지 않은 경우 고려할 수 있는 다른 사항이 있습니다.

물론 계절성을 고려해야 합니다. 경험에 비추어 볼 때 Google은 계절에 따라 많은 검색어에 대한 사용자 의도를 변경한다는 것을 알고 있습니다. 우리가 추적할 주요 매개변수 중 하나는 장기간에 걸친 사용자 의도입니다. 많은 쿼리의 경우 시즌 시간이 검색 의도에 직접적인 영향을 미치기 때문에 이는 분류에 매우 유용합니다.

아마도 우리 모델의 가장 흥미로운 측면은 지속적으로 배우고 개선할 것이라는 점일 것입니다. 일반적으로 모델은 기능을 수행하도록 훈련되고 그게 전부입니다. 모델이 작동을 멈추면 새로운 데이터 세트로 전체를 다시 훈련시켜야 합니다.

우리의 접근 방식에서는 모델이 정적이지 않습니다. 항상 새로운 데이터를 제공하고 실수로부터 배우고 스스로 수정합니다. 즉, 검색 의도의 변화는 시간이 지남에 따라 달라지므로 이에 대응할 수 있습니다.

요약

검색자는 키워드 구문을 사용하여 의도를 표현합니다. 그 의도와 시간에 따른 변화를 인식하는 능력은 콘텐츠 전략과 콘텐츠 생성 방식에 상당한 영향을 미칠 수 있습니다. 마켓뮤즈에서는 인공지능의 도움을 받아 의도 분류를 추구하고 있습니다. 특히, 우리는 지속적으로 스스로를 훈련하고, 실수로부터 배우고, 조정하고 개선하는 기계 학습 모델을 사용하고 있습니다.