8/31 IIPLAB 피드백 내용 중 일부.

  • 대형조의 단어 모사의 경우, 사람이 듣기에 이게 사람의 발음인지/앵무새의 발음인지 판단되지 않을 정도로 유사함.
    • 즉 대형조의 포먼트 등 음향학적 특징이 사람과 유사할 가능성이 있음
    • 따라서 whisper를 사용한 모사 판정이 가능할 수 있으니 체크 필요.
    • 또한 whisper 모델 크기별로(smallbaselarge) 경향성 차이가 크기 때문에 다양한 모델 크기에서 검증 필요.
  • 소/중/대형조별로 차이가 뚜렷하게 있다면 Classification이 사람/앵무새가 아니라 사람/소/중/대형조 이렇게 4개의 class로 나누는 task가(내부적으로, 모델입장에서는) 되어야함.
  • 때문에 차이를 확인하는 것은 추후 진행에 중요.

진행한 과제

  1. 소/중/대형조와 사람의 음향학적 특징 공통점 차이점 분석
  2. Whisper 6종(tiny·base·small·medium·large-v3·large-v3-turbo)에 대한 소/중/대형조별 단어 모사 인식 테스트

1. 소/중/대형조와 사람의 음향학적 특징 비교 분석

1-1. 사람의 음향학적 특징

  • 보호자가 말을 가르칠 때(학습 단어를 녹음할 때) 의도적으로 피치를 높여 발음하는 경향이 있는지 분석

앵무새는 높은 피치의 음을 잘 따라하는 것이 알려져 있으므로,
“보호자가 말을 가르칠 때(학습 단어를 녹음할 때) 의도적으로 피치를 높여 발음하는 경향이 있는지 확인”하는 것을 추가 목표로 했다.

<사람 - 평상시 대화 음성 F0>

  평균 통용 범위
성인 남성 ~117Hz (Fitch & Holbrook 1970: 116.65) 85–155Hz (관례상 ~180까지)
성인 여성 ~217Hz (동일 문헌: 217.00) 165–255Hz

<사람 - 특이한 경우의 음성 F0>

  • 남성: 흉성 하한 ~65–80Hz(성악 베이스), 가성(falsetto) ~400–500Hz+
  • 여성: 대화·감정 표현 ~100–525Hz, 성악 소프라노 ~1000Hz(C6≈1047Hz)
  • 감정적 발화·외침: 여성 기준 400–600Hz 도달 가능

<사람(수집된 데이터) - Buddybird 서비스에 사용자가 등록한 단어 발음의 F0>

전체(n=172): min 121 p05 181 중앙값 378 p75 438 p95 508 max 557Hz

문헌 대역별 분포 (word vs 배경 대화 대조군):

  • word: 앵무새에 가르치기 위한 단어 녹음
    • 실제 buddybird 앱에서 수집된 것 + 유튜브에서 수집된 것
  • bg(backgroud): 학습 세션 중 수집된 사람 음성. 앵무새 소리가 아닌 사람의 대화 소리가 VAD로 잘못 캡쳐된 것
    • 실제 buddybird 앱에서 수집된 것
대역 word (n=172) bg (n=857)
85–180 (남성 대화) 4.7% 31.9%
180–255 (여성 대화) 11.0% 41.2%
255–400 (상승 레지스터) 44.8% 21.6%
400–600 (극단 고음) 39.5% 4.8%

결과 요약

  • word 클립의 84.3%가 여성 대화 상한(255Hz) 초과, 39.5%는 IDS/PDS 피크 대역(400Hz+).
  • background 클립은 73%가 정상 대화 범위(85–255) 이다.
  • 따라서 ‘word 클립에서만 F0 상승이 관찰됨’.
    • 중앙값 기준 배경 대화 208Hz 대비 +170Hz(거의 한 옥타브).
  • 짧은 호출성 단어일수록 F0 상승하는 경향이 보인다.
    • 최고 504 · 안녕 408 · 슈루룽 377 · 까꿍 345 · 코코야 341 · 안녕하세요 308 ·
      사랑해 278 · 귀여워 246

1-2. 소/중/대형조의 음향학적 특징 분석

소/중/대형조의 단어 모사가 보이는 음향학적 특징을 분석한다.

사람과 유사한 부분이 있으면, 사람 목소리 기준으로 사전학습된 whisper 등을 사용할 수 있는 여지가 있다.

편의를 위한 용어 정의 !

  • 사람 word: 앵무새에게 학습시킬 목적으로 보호자가 직접 녹음한 단어 발음 오디오
  • 단어 모사 시도: 앵무새가 단어를 따라하는 것

 

세부 과제

  • 소/중/대형조 그룹별 단어 모사 시도,  사람 word 데이터에 대해

  • F0·포먼트·스펙트럼 3개 층위에서 비교

  • 소/중/대형조 매핑:
    • 소=budgerigar·lovebird·cockatiel
    • 중=conure·quaker·patagonian_conure 
    • 대=eclectus·amazon·cockatoo

 

<크기 그룹별 종합 비교 (word 클립)>

  n F0 F1 / F2 centroid flatness vs 사람 AUC
사람 word 172 378Hz 680 / 1686 1687 0.007 —
소형조 80 2227Hz 1956 / 2490 3877 0.029 1.000
중형조 185 1935Hz 1303 / 2200 2712 0.089 1.000
대형조 86 376Hz 780 / 1459 1137 0.004 0.909
  • AUC = 로지스틱 회귀(11피처)로 “이 그룹 vs 사람 word”를 구분한 성능이다.
    • 1.000 = 완전 분리, 0.5 = 구분 불가.
  • 소→중→대로 갈수록 모든 주파수 지표가 단조 하강한다.
    • 체구가 클수록 발성 기관이 커져, 소리가 낮아지는 체구-주파수 역상관 경향을 보인다.

<소형조 (budgerigar·lovebird)> - 사람과 구분되는 특징을 보인다.

  • F0 2227Hz로 사람(378Hz)의 약 6배(overlap ≤0.17)로 사람과 구분된다. 
  • 사랑앵무는 사람 F0를 흉내 내지 않고 2–3kHz 대역 에너지 패턴으로 모사힌다.
    • 실제로 사랑앵무는 사람 말을 정확하게 모사하는 개체가 드문 것으로 알려져 있다. 
    • F0가 높은 이유에서인지, 사람 단어보다는 휘파람을 잘 따라하는 것으로 알려져 있다. 
    • (Banta Lavenex 1999, 본 측정과 정량 일치).
  • “포먼트” 추정치(F1 1956)도 사람 모음 공간(F1 250–850·F2 800–2800) 밖이다.
  • 같은 단어(“안녕”)로 맞춰 비교해도 분리 유지(F0 2237 vs 사람 408).

<중형조 (conure·quaker 등)> - 소형조만큼은 아니지만 사람과 구분되는 특징을 보인다.

  • F0 1935Hz·F1 1303·centroid 2712
    • 전부 사람 범위 밖, 소형조보다는 낮은 중간 지점이다.

<대형조> - F0, 포먼트, 스펙트럼 모두 사람과 유사하다.

유사점:

  • F0 376Hz ≈ 보호자 378Hz 
    • 사실상 동일 분포이다 (단변량 AUC 0.579, 우연 수준).
    • 보호자 또한 word 발음의 피치가 높아, 대형조 F0 대역에 위치함.
  • 유일하게 사람 모음 포먼트 범위 안에 위치한다 (F1 780·F2 1459).
    • F1–F2 평면에서 사람 군집과 인접·부분 중첩된다.
  • “명관(syrinx) 발성이라 스펙트럼 구조가 다를 것”이라는 가설과 달리,
    • flatness 0.004 vs 사람 0.007로 사람 말과 같거나 더 조성적(harmonic)이다.
    • 1.5kHz 이상 LTAS는 사람과 거의 일치한다.
  • 같은 단어(“슈루룽”) 매칭(eclectus 48 vs 사람 14)에서도
    • F0 384 vs 377로 겹침.
    • centroid 1054 vs 974로 겹침.

차이점:

  • 에너지 배치: 300–900Hz 집중, 사람보다 <300Hz 저주파가 부족하다. (centroid 1137 vs 1687).
  • 종합 AUC 0.909
    • 음향학적 특징이 완전 일치하지는 않는다. 다만, 출처(영상/개체) 단위로 분류하여 학습하는
      grouped CV에서는 0.211로 붕괴된다. 따라서 새 개체에 일반화되는 분리 근거는 보이지 않는다.

한계: 데이터 부족

  • 대형조 word 86 = eclectus 76 (단일 유튜브 영상, 1~2개체 추정) + cockatoo 7 + amazon 3 

결과 정리

  • 소/중형조는 F0·포먼트·스펙트럼 모든 층위에서 사람과 완전 분리(AUC 1.000)
  • 대형조만 세 층위 모두 사람 근접(AUC 0.909).
    • 특히 F0는 보호자 고음 레지스터(§1-1)와 사실상 동일 대역(376 vs 378Hz)인 케이스가 존재.
  • 대형조 모사 발성은 사람보다 더 조성적이고,
    차이는 스펙트럼 구조가 아닌 에너지 배치·포먼트 잔차(F1 +12%·F2 +17%)에 있음.
  • 소/중형조는 비슷한 음향적 성격을 보이므로 굳이 나눌 필요가 없다고 판단된다. 
  •  소&중 / 대형조로 분리하여 처리하는 것은 효과가 있을 수 있으므로 검토 필요하다.

whisper가 앵무새의 단어 모사를 제대로 인식하는지 테스트 진행 후, 소/중/대형조로 분리할 필요가 있을지 최종 판단이 필요해 보인다.

 

만약 소&중/대형조 2가지로 분류가 필요하다고 해도,

현재 서비스 상에서 앵무새 종을 등록하도록 되어 있으므로, 

앵무새 소리 여부 판별 모델에서는 기존대로 ‘앵무/비앵무’ 여부만 판별하고, 앵무새 종정보로 소/중/대형조 여부를 나누는 방안이 현실적으로 보인다. 짧은 개발 기간 및 부족한 대형조 데이터를 고려해야 하기 떄문이다.

추가 정보 - 서비스 이용자 중 대형조는 약 3% (macaw, african-grey, amazon)

국내 애완조시장의 경우 중형조인 conure, quaker / 소형조인 lovebird, budgie가 70~80%를 차지하는 것으로 알려져 있다. 

(통계자료 - 26-09-03 기준)

서비스 이용자 앵무새 종 분포 통계