| 출원번호 | 14/173,470 |
| 출원일자 | 2014.02.05 |
| 출원인 | Facebook, Inc. |
| 공개/등록번호(일자) | US 2015/0222586 A1 (2015.08.06) |
| 발명의 명칭 | IDEOGRAMS BASED ON SENTIMENT |
컴퓨터에서 그래픽을 사용하게 되면서부터 컴퓨터는 TV가 되었다. 월드와이드 웹 (World Wide Web, WWW)이 컴퓨터에 등장한 이후, 인간에게 컴퓨터는 광고 전단지가 되었다. 2018년 7월 BBC가 보도한 뉴스에 의하면 영국 성인들이 문자 메시지를 사용하는 횟수가 음성 통화를 능가했다는 기사를 내보냈다. 문자 메시지는 통화를 능가하는 소통 방식이 된 것이다. 이전에는 현대인들에게는 없었던 음성 통화를 대신할 수 있는 비음성 소통방식인 메시지를 선호하는 추세가 되었다 (그림 1). 인간은 상대방과 대화를 하는 동안 목소리, 음조 등과 같은 음성적 단서에서 55%, 몸짓 언어 38%를 통해 비언어적 단서 (93%)를 얻는다. 앞의 문장에서 알 수 있듯이 얼굴과 표정은 인간의 감정을 표현할 수 있는 중대한 요소이다. 따라서 비언어적 단서를 텍스트에서 보여줄 수 있는 방법이 필요해졌다. 본 특허는 텍스트만으로는 발신자가 감정을 표현할 수 없으므로 하나 이상의 기호, 이미지를 사용하여 수신자에게 감정을 표현할 수 있도록 하는 감정 분석에 기반한 이디어그램 기법을 제안하였다.
그림 1. 감소하는 전화통화의 추세
그림 2는 메시지의 작성자가 메시지에서 송신되는 이디어그램 (135)의 "스티커 팩" 윈도우 (130)를 제시 받을 수 있는 실시 예를 보여준다. 작성자의 장치 (100)는 메시징에 사용하기 위해 임의의 세트의 스티커 팩 (130)을 사전에 설치할 수 있다. 또한, 작성자는 추가 이디어그램을 포함하는 추가 스티커 팩을 구매하는 옵션을 제시 받을 수 있다. 스티커 팩 (130)은 하나 이상의 이디어그램 (135)을 선택하기 위해 작성자에게 보여준다. 스티커 팩 (130)은 사용자가 해시태그 기호 #을 입력한다면 또는 메시징 플랫폼에서 전용 버튼 (137)의 선택에 의해 사용자 입력에 기반하여 디스플레이 된다.
스티커 팩 (130)은 특정 그룹 (131)으로 분류되었던 하나 이상의 이디어그램 (135)으로 구성된다. 작성자는 카테고리 탭 (132A-C)으로부터 특정 그룹을 선택할 수 있고, 스티커 팩 윈도우 (130)는 이디어그램의 선택된 그룹을 디스플레이한다. 예를 들어, 특정한 예술적 주제 또는 캐릭터를 묘사하는 이디어그램 (예컨대, 해피 푸 (Happy Poo) 또는 큐트 버니 (Cute Bunny) 이디어그램)은 함께 그룹화된다. 다른 스티커 팩은 다른 타입의 이디어그램을 삽입하도록 작성자에 의해 선택될 수 있다.
그림 2. "스티커 팩" 윈도우를 제시 받는 예시
그림 3은 메시징 플랫폼이 작성자가 입력한 텍스트 컨텐츠에 부분적인 정보에 기반하여 메시지의 작성자에게 특정 이디어그램을 제안할 수 있는 방법 (500)을 도시한다. 단계 (510)에서 작성자는 텍스트 메시지를 메시징 플랫폼으로 입력한다. 메시징 플랫폼은 입력 텍스트 메시지의 일부를 선택된다 (단계 (520)). 단계 (530)에서 메시징 플랫폼은 선택된 텍스트에 대해 감정 분석을 실행한다. 감정 분석은 (1) 음량, 어조 및/또는 억양을 감지하는 음성을 포함한 오디오의 분석, (2) 얼굴/동작 인식 및 감정 감지를 수행하는 비디오의 분석, 및/또는 (3) 펄스, 온도, 피부 전도성, 터치스크린을 타이핑/클릭하는 압력 및 /또는 속도, 및/또는 동공 수축/확장을 감지하는 생체인식 센서 데이터의 분석과 같이, 단어들, 구두법 및 이디어그램 사용법뿐 아니라 다른 표시의 정보들에도 기반한다. 이후 메시징 플랫폼은 입력 메시지의 작성자에게 적어도 하나의 이디어그램을 제한하도록 이용 가능한 이디어그램을 식별된 하나 이상의 감정과 비교한다 (단계 (550)). 메시징 플랫폼은 단계 (560)에서 각 이디어그램의 점수로 분류되거나 특정 점수를 초과하는 이디어그램만을 디스플레이하여 단계 (570)에서 작성자에게 제안하도록 이디어그램의 리스트를 생성한다. 예를 들어, 점수가 2 이상의 감정으로 퍼센트 분할된다면, 메시징 플랫폼은 그 감정의 원하는 점수의 ±10% 내 점수를 가진 이디어그램을 선택하는 것과 같이 특정 허용 임계치 내 감정 점수를 가진 이디어그램만을 선택한다. 단계 (580)에서 작성자는 단계 (590)에서 메시지에 삽입되도록 하나 이상의 이디어그램을 선택할 수 있고, 분석된 텍스트를 대체하거나 텍스트에서의 삭제 없이 텍스트 메시지에 삽입될 수 있다. 이디어그램은 또한 그 특정 이디어그램에 관한 메타데이터와 관련시킨다 (단계 (582)). 단계 (584)에서 점수는 메시징 플랫폼에 의해 수집된 사용 통계를 통해 업데이트한다. 적절한 경우, 특정 실시예는 그림 3의 방법의 하나 이상의 단계를 반복한다.
그림 3. 메시지의 작성자에게 특정 이디어그램을 제안할 수 있는 방법
그림 4는 이디어그램 (630)의 세트를 작성자에게 제안하도록 하는 입력 텍스트 (620)의 일부에 대한 감정 분석의 한 실시 예를 도시한다. 이디어그램은 다음과 같은 순서: 걱정됨, 불안함, 흥분함, 화남, 분노함, 속상함, 짜증남으로 배열하는 것과 같이 감정 범위로 배열된다. 이디어그램은 표현되고 있는 특정 감정 또는 정서에 대한 점수 또는 퍼센트 점수에 따라 배열된다. 메시징 플랫폼은 작성자의 텍스트 (620)의 일부에 대한 감정 분석을 수행한다. 이후, 분석은 상술한 방법에 기반하여 작성자가 표현하고자 하는 적절한 감정을 찾을 수 있다. 메시징 플랫폼은 팝-업 메뉴를 작성자에게 디스플레이하고, 분석된 텍스트를 하이라이팅하며, 감정에 대응하는 이디어그램의 리스트를 메뉴에 디스플레이할 수 있다. 다음으로 작성자는 리스트로부터 이디어그램 (635)을 선택하거나, 리스트를 더 스크롤 다운하거나, 메시징 플랫폼이 새로운 감정 분 석을 실행하게 하거나, 팝-업 메뉴에서 취소할 수 있다.
그림 4. 이디어그램의 세트를 작성자에게 제안
현재는 이모티콘이 다양화됨에 따라 사용자의 감정을 쉽게 표현할 수 시대가 되었다. 만약 텍스트만으로 사용자의 의사를 표현해야만 한다면 내용이 불명확해지거나 너무 딱딱한 대화만 오갈 수 있다. 이러한 딱딱한 텍스트에 이모티콘 몇 개를 추가함으로써 내용을 단락별로 나눌 수 있게 되고, 대화 내용을 더욱 부드럽게 만들 수 있다. 이미 귀여운 이미티콘을 사용자에게 제공하는 회사들에 의해 이모티콘 시장이 유지 또는 성장하고 있듯이 미래에는 이모티콘의 활용도가 어떻게 변해갈지 귀추가 주목된다.
특허법인ECM
변리사 김시우
swkim@ecmpatent.com
02-568-2670
컴퓨터에서 그래픽을 사용하게 되면서부터 컴퓨터는 TV가 되었다. 월드와이드 웹 (World Wide Web, WWW)이 컴퓨터에 등장한 이후, 인간에게 컴퓨터는 광고 전단지가 되었다. 2018년 7월 BBC가 보도한 뉴스에 의하면 영국 성인들이 문자 메시지를 사용하는 횟수가 음성 통화를 능가했다는 기사를 내보냈다. 문자 메시지는 통화를 능가하는 소통 방식이 된 것이다. 이전에는 현대인들에게는 없었던 음성 통화를 대신할 수 있는 비음성 소통방식인 메시지를 선호하는 추세가 되었다 (그림 1). 인간은 상대방과 대화를 하는 동안 목소리, 음조 등과 같은 음성적 단서에서 55%, 몸짓 언어 38%를 통해 비언어적 단서 (93%)를 얻는다. 앞의 문장에서 알 수 있듯이 얼굴과 표정은 인간의 감정을 표현할 수 있는 중대한 요소이다. 따라서 비언어적 단서를 텍스트에서 보여줄 수 있는 방법이 필요해졌다. 본 특허는 텍스트만으로는 발신자가 감정을 표현할 수 없으므로 하나 이상의 기호, 이미지를 사용하여 수신자에게 감정을 표현할 수 있도록 하는 감정 분석에 기반한 이디어그램 기법을 제안하였다.
그림 1. 감소하는 전화통화의 추세
그림 2는 메시지의 작성자가 메시지에서 송신되는 이디어그램 (135)의 "스티커 팩" 윈도우 (130)를 제시 받을 수 있는 실시 예를 보여준다. 작성자의 장치 (100)는 메시징에 사용하기 위해 임의의 세트의 스티커 팩 (130)을 사전에 설치할 수 있다. 또한, 작성자는 추가 이디어그램을 포함하는 추가 스티커 팩을 구매하는 옵션을 제시 받을 수 있다. 스티커 팩 (130)은 하나 이상의 이디어그램 (135)을 선택하기 위해 작성자에게 보여준다. 스티커 팩 (130)은 사용자가 해시태그 기호 #을 입력한다면 또는 메시징 플랫폼에서 전용 버튼 (137)의 선택에 의해 사용자 입력에 기반하여 디스플레이 된다.
스티커 팩 (130)은 특정 그룹 (131)으로 분류되었던 하나 이상의 이디어그램 (135)으로 구성된다. 작성자는 카테고리 탭 (132A-C)으로부터 특정 그룹을 선택할 수 있고, 스티커 팩 윈도우 (130)는 이디어그램의 선택된 그룹을 디스플레이한다. 예를 들어, 특정한 예술적 주제 또는 캐릭터를 묘사하는 이디어그램 (예컨대, 해피 푸 (Happy Poo) 또는 큐트 버니 (Cute Bunny) 이디어그램)은 함께 그룹화된다. 다른 스티커 팩은 다른 타입의 이디어그램을 삽입하도록 작성자에 의해 선택될 수 있다.
그림 2. "스티커 팩" 윈도우를 제시 받는 예시
그림 3은 메시징 플랫폼이 작성자가 입력한 텍스트 컨텐츠에 부분적인 정보에 기반하여 메시지의 작성자에게 특정 이디어그램을 제안할 수 있는 방법 (500)을 도시한다. 단계 (510)에서 작성자는 텍스트 메시지를 메시징 플랫폼으로 입력한다. 메시징 플랫폼은 입력 텍스트 메시지의 일부를 선택된다 (단계 (520)). 단계 (530)에서 메시징 플랫폼은 선택된 텍스트에 대해 감정 분석을 실행한다. 감정 분석은 (1) 음량, 어조 및/또는 억양을 감지하는 음성을 포함한 오디오의 분석, (2) 얼굴/동작 인식 및 감정 감지를 수행하는 비디오의 분석, 및/또는 (3) 펄스, 온도, 피부 전도성, 터치스크린을 타이핑/클릭하는 압력 및 /또는 속도, 및/또는 동공 수축/확장을 감지하는 생체인식 센서 데이터의 분석과 같이, 단어들, 구두법 및 이디어그램 사용법뿐 아니라 다른 표시의 정보들에도 기반한다. 이후 메시징 플랫폼은 입력 메시지의 작성자에게 적어도 하나의 이디어그램을 제한하도록 이용 가능한 이디어그램을 식별된 하나 이상의 감정과 비교한다 (단계 (550)). 메시징 플랫폼은 단계 (560)에서 각 이디어그램의 점수로 분류되거나 특정 점수를 초과하는 이디어그램만을 디스플레이하여 단계 (570)에서 작성자에게 제안하도록 이디어그램의 리스트를 생성한다. 예를 들어, 점수가 2 이상의 감정으로 퍼센트 분할된다면, 메시징 플랫폼은 그 감정의 원하는 점수의 ±10% 내 점수를 가진 이디어그램을 선택하는 것과 같이 특정 허용 임계치 내 감정 점수를 가진 이디어그램만을 선택한다. 단계 (580)에서 작성자는 단계 (590)에서 메시지에 삽입되도록 하나 이상의 이디어그램을 선택할 수 있고, 분석된 텍스트를 대체하거나 텍스트에서의 삭제 없이 텍스트 메시지에 삽입될 수 있다. 이디어그램은 또한 그 특정 이디어그램에 관한 메타데이터와 관련시킨다 (단계 (582)). 단계 (584)에서 점수는 메시징 플랫폼에 의해 수집된 사용 통계를 통해 업데이트한다. 적절한 경우, 특정 실시예는 그림 3의 방법의 하나 이상의 단계를 반복한다.
그림 3. 메시지의 작성자에게 특정 이디어그램을 제안할 수 있는 방법
그림 4는 이디어그램 (630)의 세트를 작성자에게 제안하도록 하는 입력 텍스트 (620)의 일부에 대한 감정 분석의 한 실시 예를 도시한다. 이디어그램은 다음과 같은 순서: 걱정됨, 불안함, 흥분함, 화남, 분노함, 속상함, 짜증남으로 배열하는 것과 같이 감정 범위로 배열된다. 이디어그램은 표현되고 있는 특정 감정 또는 정서에 대한 점수 또는 퍼센트 점수에 따라 배열된다. 메시징 플랫폼은 작성자의 텍스트 (620)의 일부에 대한 감정 분석을 수행한다. 이후, 분석은 상술한 방법에 기반하여 작성자가 표현하고자 하는 적절한 감정을 찾을 수 있다. 메시징 플랫폼은 팝-업 메뉴를 작성자에게 디스플레이하고, 분석된 텍스트를 하이라이팅하며, 감정에 대응하는 이디어그램의 리스트를 메뉴에 디스플레이할 수 있다. 다음으로 작성자는 리스트로부터 이디어그램 (635)을 선택하거나, 리스트를 더 스크롤 다운하거나, 메시징 플랫폼이 새로운 감정 분 석을 실행하게 하거나, 팝-업 메뉴에서 취소할 수 있다.
그림 4. 이디어그램의 세트를 작성자에게 제안
현재는 이모티콘이 다양화됨에 따라 사용자의 감정을 쉽게 표현할 수 시대가 되었다. 만약 텍스트만으로 사용자의 의사를 표현해야만 한다면 내용이 불명확해지거나 너무 딱딱한 대화만 오갈 수 있다. 이러한 딱딱한 텍스트에 이모티콘 몇 개를 추가함으로써 내용을 단락별로 나눌 수 있게 되고, 대화 내용을 더욱 부드럽게 만들 수 있다. 이미 귀여운 이미티콘을 사용자에게 제공하는 회사들에 의해 이모티콘 시장이 유지 또는 성장하고 있듯이 미래에는 이모티콘의 활용도가 어떻게 변해갈지 귀추가 주목된다.
특허법인ECM
변리사 김시우
swkim@ecmpatent.com
02-568-2670