8/31 IIPLAB 피드백 내용 중 일부.

  • 대형조의 단어 모사의 경우, 사람이 듣기에 이게 사람의 발음인지/앵무새의 발음인지 판단되지 않을 정도로 유사함.
    • 즉 대형조의 포먼트 등 음향학적 특징이 사람과 유사할 가능성이 있음
    • 따라서 whisper를 사용한 모사 판정이 가능할 수 있으니 체크 필요.
    • 또한 whisper 모델 크기별로(smallbaselarge) 경향성 차이가 크기 때문에 다양한 모델 크기에서 검증 필요.
  • 소/중/대형조별로 차이가 뚜렷하게 있다면 Classification이 사람/앵무새가 아니라 사람/소/중/대형조 이렇게 4개의 class로 나누는 task가(내부적으로, 모델입장에서는) 되어야함.
  • 때문에 차이를 확인하는 것은 추후 진행에 중요.

진행한 과제

  1. 소/중/대형조와 사람의 음향학적 특징 공통점 차이점 분석
  2. Whisper 6종(tiny·base·small·medium·large-v3·large-v3-turbo)에 대한 소/중/대형조별 단어 모사 인식 테스트

1. 소/중/대형조와 사람의 음향학적 특징 비교 분석

1-1. 사람의 음향학적 특징

  • 보호자가 말을 가르칠 때(학습 단어를 녹음할 때) 의도적으로 피치를 높여 발음하는 경향이 있는지 분석

앵무새는 높은 피치의 음을 잘 따라하는 것이 알려져 있으므로,
“보호자가 말을 가르칠 때(학습 단어를 녹음할 때) 의도적으로 피치를 높여 발음하는 경향이 있는지 확인”하는 것을 추가 목표로 했다.

<사람 - 평상시 대화 음성 F0>

  평균 통용 범위
성인 남성 ~117Hz (Fitch & Holbrook 1970: 116.65) 85–155Hz (관례상 ~180까지)
성인 여성 ~217Hz (동일 문헌: 217.00) 165–255Hz

<사람 - 특이한 경우의 음성 F0>

  • 남성: 흉성 하한 ~65–80Hz(성악 베이스), 가성(falsetto) ~400–500Hz+
  • 여성: 대화·감정 표현 ~100–525Hz, 성악 소프라노 ~1000Hz(C6≈1047Hz)
  • 감정적 발화·외침: 여성 기준 400–600Hz 도달 가능

<사람(수집된 데이터) - Buddybird 서비스에 사용자가 등록한 단어 발음의 F0>

전체(n=172): min 121 p05 181 중앙값 378 p75 438 p95 508 max 557Hz

문헌 대역별 분포 (word vs 배경 대화 대조군):

  • word: 앵무새에 가르치기 위한 단어 녹음
    • 실제 buddybird 앱에서 수집된 것 + 유튜브에서 수집된 것
  • bg(backgroud): 학습 세션 중 수집된 사람 음성. 앵무새 소리가 아닌 사람의 대화 소리가 VAD로 잘못 캡쳐된 것
    • 실제 buddybird 앱에서 수집된 것
대역 word (n=172) bg (n=857)
85–180 (남성 대화) 4.7% 31.9%
180–255 (여성 대화) 11.0% 41.2%
255–400 (상승 레지스터) 44.8% 21.6%
400–600 (극단 고음) 39.5% 4.8%

결과 요약

  • word 클립의 84.3%가 여성 대화 상한(255Hz) 초과, 39.5%는 IDS/PDS 피크 대역(400Hz+).
  • background 클립은 73%가 정상 대화 범위(85–255) 이다.
  • 따라서 ‘word 클립에서만 F0 상승이 관찰됨’.
    • 중앙값 기준 배경 대화 208Hz 대비 +170Hz(거의 한 옥타브).
  • 짧은 호출성 단어일수록 F0 상승하는 경향이 보인다.
    • 최고 504 · 안녕 408 · 슈루룽 377 · 까꿍 345 · 코코야 341 · 안녕하세요 308 ·
      사랑해 278 · 귀여워 246

1-2. 소/중/대형조의 음향학적 특징 분석

소/중/대형조의 단어 모사가 보이는 음향학적 특징을 분석한다.

사람과 유사한 부분이 있으면, 사람 목소리 기준으로 사전학습된 whisper 등을 사용할 수 있는 여지가 있다.

편의를 위한 용어 정의 !

  • 사람 word: 앵무새에게 학습시킬 목적으로 보호자가 직접 녹음한 단어 발음 오디오
  • 단어 모사 시도: 앵무새가 단어를 따라하는 것

 

세부 과제

  • 소/중/대형조 그룹별 단어 모사 시도,  사람 word 데이터에 대해

  • F0·포먼트·스펙트럼 3개 층위에서 비교

  • 소/중/대형조 매핑:
    • 소=budgerigar·lovebird·cockatiel
    • 중=conure·quaker·patagonian_conure 
    • 대=eclectus·amazon·cockatoo

 

<크기 그룹별 종합 비교 (word 클립)>

  n F0 F1 / F2 centroid flatness vs 사람 AUC
사람 word 172 378Hz 680 / 1686 1687 0.007 —
소형조 80 2227Hz 1956 / 2490 3877 0.029 1.000
중형조 185 1935Hz 1303 / 2200 2712 0.089 1.000
대형조 86 376Hz 780 / 1459 1137 0.004 0.909
  • AUC = 로지스틱 회귀(11피처)로 “이 그룹 vs 사람 word”를 구분한 성능이다.
    • 1.000 = 완전 분리, 0.5 = 구분 불가.
  • 소→중→대로 갈수록 모든 주파수 지표가 단조 하강한다.
    • 체구가 클수록 발성 기관이 커져, 소리가 낮아지는 체구-주파수 역상관 경향을 보인다.

<소형조 (budgerigar·lovebird)> - 사람과 구분되는 특징을 보인다.

  • F0 2227Hz로 사람(378Hz)의 약 6배(overlap ≤0.17)로 사람과 구분된다. 
  • 사랑앵무는 사람 F0를 흉내 내지 않고 2–3kHz 대역 에너지 패턴으로 모사힌다.
    • 실제로 사랑앵무는 사람 말을 정확하게 모사하는 개체가 드문 것으로 알려져 있다. 
    • F0가 높은 이유에서인지, 사람 단어보다는 휘파람을 잘 따라하는 것으로 알려져 있다. 
    • (Banta Lavenex 1999, 본 측정과 정량 일치).
  • “포먼트” 추정치(F1 1956)도 사람 모음 공간(F1 250–850·F2 800–2800) 밖이다.
  • 같은 단어(“안녕”)로 맞춰 비교해도 분리 유지(F0 2237 vs 사람 408).

<중형조 (conure·quaker 등)> - 소형조만큼은 아니지만 사람과 구분되는 특징을 보인다.

  • F0 1935Hz·F1 1303·centroid 2712
    • 전부 사람 범위 밖, 소형조보다는 낮은 중간 지점이다.

<대형조> - F0, 포먼트, 스펙트럼 모두 사람과 유사하다.

유사점:

  • F0 376Hz ≈ 보호자 378Hz 
    • 사실상 동일 분포이다 (단변량 AUC 0.579, 우연 수준).
    • 보호자 또한 word 발음의 피치가 높아, 대형조 F0 대역에 위치함.
  • 유일하게 사람 모음 포먼트 범위 안에 위치한다 (F1 780·F2 1459).
    • F1–F2 평면에서 사람 군집과 인접·부분 중첩된다.
  • “명관(syrinx) 발성이라 스펙트럼 구조가 다를 것”이라는 가설과 달리,
    • flatness 0.004 vs 사람 0.007로 사람 말과 같거나 더 조성적(harmonic)이다.
    • 1.5kHz 이상 LTAS는 사람과 거의 일치한다.
  • 같은 단어(“슈루룽”) 매칭(eclectus 48 vs 사람 14)에서도
    • F0 384 vs 377로 겹침.
    • centroid 1054 vs 974로 겹침.

차이점:

  • 에너지 배치: 300–900Hz 집중, 사람보다 <300Hz 저주파가 부족하다. (centroid 1137 vs 1687).
  • 종합 AUC 0.909
    • 음향학적 특징이 완전 일치하지는 않는다. 다만, 출처(영상/개체) 단위로 분류하여 학습하는
      grouped CV에서는 0.211로 붕괴된다. 따라서 새 개체에 일반화되는 분리 근거는 보이지 않는다.

한계: 데이터 부족

  • 대형조 word 86 = eclectus 76 (단일 유튜브 영상, 1~2개체 추정) + cockatoo 7 + amazon 3 

결과 정리

  • 소/중형조는 F0·포먼트·스펙트럼 모든 층위에서 사람과 완전 분리(AUC 1.000)
  • 대형조만 세 층위 모두 사람 근접(AUC 0.909).
    • 특히 F0는 보호자 고음 레지스터(§1-1)와 사실상 동일 대역(376 vs 378Hz)인 케이스가 존재.
  • 대형조 모사 발성은 사람보다 더 조성적이고,
    차이는 스펙트럼 구조가 아닌 에너지 배치·포먼트 잔차(F1 +12%·F2 +17%)에 있음.
  • 소/중형조는 비슷한 음향적 성격을 보이므로 굳이 나눌 필요가 없다고 판단된다. 
  •  소&중 / 대형조로 분리하여 처리하는 것은 효과가 있을 수 있으므로 검토 필요하다.

whisper가 앵무새의 단어 모사를 제대로 인식하는지 테스트 진행 후, 소/중/대형조로 분리할 필요가 있을지 최종 판단이 필요해 보인다.

이어서 Whisper 6종으로 앵무새 단어 모사의 전사 성능을 검증했다. 모델 크기와 조류 크기별 결과는 Whisper의 앵무새 단어 모사 전사 성능 분석에 정리했다.

 

만약 소&중/대형조 2가지로 분류가 필요하다고 해도,

현재 서비스 상에서 앵무새 종을 등록하도록 되어 있으므로, 

앵무새 소리 여부 판별 모델에서는 기존대로 ‘앵무/비앵무’ 여부만 판별하고, 앵무새 종정보로 소/중/대형조 여부를 나누는 방안이 현실적으로 보인다. 짧은 개발 기간 및 부족한 대형조 데이터를 고려해야 하기 떄문이다.

추가 정보 - 서비스 이용자 중 대형조는 약 3% (macaw, african-grey, amazon)

국내 애완조시장의 경우 중형조인 conure, quaker / 소형조인 lovebird, budgie가 70~80%를 차지하는 것으로 알려져 있다. 

(통계자료 - 26-09-03 기준)

서비스 이용자 앵무새 종 분포 통계