• 대형조의 단어 모사의 경우, 사람이 듣기에 이게 사람의 발음인지/앵무새의 발음인지 판단되지 않을 정도로 유사함.
  • 즉 대형조의 포먼트 등 음향학적 특징이 사람과 유사할 가능성이 있음
  • 따라서 whisper를 사용한 모사 판정이 가능할 수 있으니 체크 필요.
  • 또한 whisper 모델 크기별로(smallbaselarge) 경향성 차이가 크기 때문에 다양한 모델 크기에서 검증 필요.
• 소/중/대형조별로 차이가 뚜렷하게 있다면 Classification이 사람/앵무새가 아니라 사람/소/중/대형조 이렇게 4개의 class로 나누는 task가(내부적으로, 모델입장에서는) 되어야함.
• 때문에 차이를 확인하는 것은 추후 진행에 중요.

진행한 과제

1. 소/중/대형조와 사람의 음향학적 특징 공통점 차이점 분석
2. Whisper 6종(tiny·base·small·medium·large-v3·large-v3-turbo)에 대한 소/중/대형조별 단어 모사 인식 테스트

1. 소/중/대형조와 사람의 음향학적 특징 비교 분석

1-1. 사람의 음향학적 특징

• 보호자가 말을 가르칠 때(학습 단어를 녹음할 때) 의도적으로 피치를 높여 발음하는 경향이 있는지 분석

앵무새는 높은 피치의 음을 잘 따라하는 것이 알려져 있으므로,
“보호자가 말을 가르칠 때(학습 단어를 녹음할 때) 의도적으로 피치를 높여 발음하는 경향이 있는지 확인”하는 것을 추가 목표로 했다.

<사람 - 평상시 대화 음성 F0>

<사람 - 특이한 경우의 음성 F0>

• 남성: 흉성 하한 ~65–80Hz(성악 베이스), 가성(falsetto) ~400–500Hz+
• 여성: 대화·감정 표현 ~100–525Hz, 성악 소프라노 ~1000Hz(C6≈1047Hz)
• 감정적 발화·외침: 여성 기준 400–600Hz 도달 가능

<사람(수집된 데이터) - Buddybird 서비스에 사용자가 등록한 단어 발음의 F0>

문헌 대역별 분포 (word vs 배경 대화 대조군):

• word: 앵무새에 가르치기 위한 단어 녹음
  • 실제 buddybird 앱에서 수집된 것 + 유튜브에서 수집된 것
• bg(backgroud): 학습 세션 중 수집된 사람 음성. 앵무새 소리가 아닌 사람의 대화 소리가 VAD로 잘못 캡쳐된 것
  • 실제 buddybird 앱에서 수집된 것

결과 요약

• word 클립의 84.3%가 여성 대화 상한(255Hz) 초과, 39.5%는 IDS/PDS 피크 대역(400Hz+).
• background 클립은 73%가 정상 대화 범위(85–255) 이다.
• 따라서 ‘word 클립에서만 F0 상승이 관찰됨’.
  • 중앙값 기준 배경 대화 208Hz 대비 +170Hz(거의 한 옥타브).
• 짧은 호출성 단어일수록 F0 상승하는 경향이 보인다.
  • 최고 504 · 안녕 408 · 슈루룽 377 · 까꿍 345 · 코코야 341 · 안녕하세요 308 ·
    사랑해 278 · 귀여워 246

1-2. 소/중/대형조의 음향학적 특징 분석

소/중/대형조의 단어 모사가 보이는 음향학적 특징을 분석한다.

사람과 유사한 부분이 있으면, 사람 목소리 기준으로 사전학습된 whisper 등을 사용할 수 있는 여지가 있다.

편의를 위한 용어 정의 !

• 사람 word: 앵무새에게 학습시킬 목적으로 보호자가 직접 녹음한 단어 발음 오디오
• 단어 모사 시도: 앵무새가 단어를 따라하는 것

세부 과제

• 소/중/대형조 그룹별 단어 모사 시도,  사람 word 데이터에 대해

• F0·포먼트·스펙트럼 3개 층위에서 비교

• 소/중/대형조 매핑:
  • 소=budgerigar·lovebird·cockatiel
  • 중=conure·quaker·patagonian_conure 
  • 대=eclectus·amazon·cockatoo

<크기 그룹별 종합 비교 (word 클립)>

• AUC = 로지스틱 회귀(11피처)로 “이 그룹 vs 사람 word”를 구분한 성능이다.
  • 1.000 = 완전 분리, 0.5 = 구분 불가.
• 소→중→대로 갈수록 모든 주파수 지표가 단조 하강한다.
  • 체구가 클수록 발성 기관이 커져, 소리가 낮아지는 체구-주파수 역상관 경향을 보인다.

<소형조 (budgerigar·lovebird)> - 사람과 구분되는 특징을 보인다.

• F0 2227Hz로 사람(378Hz)의 약 6배(overlap ≤0.17)로 사람과 구분된다. 
• 사랑앵무는 사람 F0를 흉내 내지 않고 2–3kHz 대역 에너지 패턴으로 모사힌다.
  • 실제로 사랑앵무는 사람 말을 정확하게 모사하는 개체가 드문 것으로 알려져 있다. 
  • F0가 높은 이유에서인지, 사람 단어보다는 휘파람을 잘 따라하는 것으로 알려져 있다. 
  • (Banta Lavenex 1999, 본 측정과 정량 일치).
• “포먼트” 추정치(F1 1956)도 사람 모음 공간(F1 250–850·F2 800–2800) 밖이다.
• 같은 단어(“안녕”)로 맞춰 비교해도 분리 유지(F0 2237 vs 사람 408).

<중형조 (conure·quaker 등)> - 소형조만큼은 아니지만 사람과 구분되는 특징을 보인다.

• F0 1935Hz·F1 1303·centroid 2712
  • 전부 사람 범위 밖, 소형조보다는 낮은 중간 지점이다.

<대형조> - F0, 포먼트, 스펙트럼 모두 사람과 유사하다.

유사점:

• F0 376Hz ≈ 보호자 378Hz 
  • 사실상 동일 분포이다 (단변량 AUC 0.579, 우연 수준).
  • 보호자 또한 word 발음의 피치가 높아, 대형조 F0 대역에 위치함.
• 유일하게 사람 모음 포먼트 범위 안에 위치한다 (F1 780·F2 1459).
  • F1–F2 평면에서 사람 군집과 인접·부분 중첩된다.
• “명관(syrinx) 발성이라 스펙트럼 구조가 다를 것”이라는 가설과 달리,
  • flatness 0.004 vs 사람 0.007로 사람 말과 같거나 더 조성적(harmonic)이다.
  • 1.5kHz 이상 LTAS는 사람과 거의 일치한다.
• 같은 단어(“슈루룽”) 매칭(eclectus 48 vs 사람 14)에서도
  • F0 384 vs 377로 겹침.
  • centroid 1054 vs 974로 겹침.

차이점:

• 에너지 배치: 300–900Hz 집중, 사람보다 <300Hz 저주파가 부족하다. (centroid 1137 vs 1687).
• 종합 AUC 0.909
  • 음향학적 특징이 완전 일치하지는 않는다. 다만, 출처(영상/개체) 단위로 분류하여 학습하는
    grouped CV에서는 0.211로 붕괴된다. 따라서 새 개체에 일반화되는 분리 근거는 보이지 않는다.

한계: 데이터 부족

• 대형조 word 86 = eclectus 76 (단일 유튜브 영상, 1~2개체 추정) + cockatoo 7 + amazon 3 

결과 정리

• 소/중형조는 F0·포먼트·스펙트럼 모든 층위에서 사람과 완전 분리(AUC 1.000)
• 대형조만 세 층위 모두 사람 근접(AUC 0.909).
  • 특히 F0는 보호자 고음 레지스터(§1-1)와 사실상 동일 대역(376 vs 378Hz)인 케이스가 존재.
• 대형조 모사 발성은 사람보다 더 조성적이고,
  차이는 스펙트럼 구조가 아닌 에너지 배치·포먼트 잔차(F1 +12%·F2 +17%)에 있음.

• 소/중형조는 비슷한 음향적 성격을 보이므로 굳이 나눌 필요가 없다고 판단된다. 
•  소&중 / 대형조로 분리하여 처리하는 것은 효과가 있을 수 있으므로 검토 필요하다.

whisper가 앵무새의 단어 모사를 제대로 인식하는지 테스트 진행 후, 소/중/대형조로 분리할 필요가 있을지 최종 판단이 필요해 보인다.

만약 소&중/대형조 2가지로 분류가 필요하다고 해도,

현재 서비스 상에서 앵무새 종을 등록하도록 되어 있으므로, 

앵무새 소리 여부 판별 모델에서는 기존대로 ‘앵무/비앵무’ 여부만 판별하고, 앵무새 종정보로 소/중/대형조 여부를 나누는 방안이 현실적으로 보인다. 짧은 개발 기간 및 부족한 대형조 데이터를 고려해야 하기 떄문이다.

추가 정보 - 서비스 이용자 중 대형조는 약 3% (macaw, african-grey, amazon)

국내 애완조시장의 경우 중형조인 conure, quaker / 소형조인 lovebird, budgie가 70~80%를 차지하는 것으로 알려져 있다. 

(통계자료 - 26-09-03 기준)

http://daeunworld.xyz/aisw_maestro/2026/09/03/parrot-human-acoustics.html

8/31 IIPLAB 피드백 내용 중 일부.

• 대형조의 단어 모사의 경우, 사람이 듣기에 이게 사람의 발음인지/앵무새의 발음인지 판단되지 않을 정도로 유사함.
  • 즉 대형조의 포먼트 등 음향학적 특징이 사람과 유사할 가능성이 있음
  • 따라서 whisper를 사용한 모사 판정이 가능할 수 있으니 체크 필요.
  • 또한 whisper 모델 크기별로(smallbaselarge) 경향성 차이가 크기 때문에 다양한 모델 크기에서 검증 필요.
• 소/중/대형조별로 차이가 뚜렷하게 있다면 Classification이 사람/앵무새가 아니라 사람/소/중/대형조 이렇게 4개의 class로 나누는 task가(내부적으로, 모델입장에서는) 되어야함.
• 때문에 차이를 확인하는 것은 추후 진행에 중요.

진행한 과제

1. 소/중/대형조와 사람의 음향학적 특징 공통점 차이점 분석
2. Whisper 6종(tiny·base·small·medium·large-v3·large-v3-turbo)에 대한 소/중/대형조별 단어 모사 인식 테스트

2. Whisper 6종(tiny·base·small·medium·large-v3·large-v3-turbo)에 대한 소/중/대형조별 단어 모사 인식 테스트

`

1. 소/중/대형조와 사람의 음향학적 특징 공통점 차이점 분석`에서 확인한 것:

대형조(사실상 eclectus)의 단어 모사는 F0·포먼트·스펙트럼 모두 사람 음성과 근접했다. 그렇다면 사람 목소리로 사전학습된 Whisper가 앵무새의 단어 모사를 텍스트로 인식할 수 있을까?

Whisper 6종으로 data/raw 전체를 전사하되, 2-1의 주 지표는 step2가 완벽하게 동작했다고 가정하고 앵무새 단어 모사(word) 클립만 집계했다. 잡음·비발화는 단어 인식률에 넣지 않고, 하단 환각률 분석에서만 따로 확인했다.

2-0. 실험 설계

• 가정:
  • 앞단의 step2 parrot gate가 사람 음성·잡음 등 비앵무 입력을 걸러냈다고 가정
  • 2-1 단어 인식률은 그 다음 단계의 앵무새 단어 모사(word) 클립만 대상으로 계산
  • 앵무 비발화(non_speech)는 단어 인식률 대상이 아니며, 하단 환각률 분석에서만 별도 확인
• 전사 대상:
  • data/raw 전체 2,771클립
• 2-1 주 평가 대상:
  • content_type=word인 단어 클립만 집계(test_only·mixed 제외)
  • 이 중 서비스 목적에 해당하는 앵무새 단어 모사 분모는 소형조 80 + 중형조 196 + 대형조 86 = 362클립
  • 사람(보호자) 172클립은 사람이 말한 기준음성을 Whisper가 얼마나 잘 듣는지 보는 참고 baseline
  • noise/background와 non_speech는 2-1 단어 인식률 표에서 제외하고, 하단 환각률 표에서만 별도 확인
• 언어: language="ko"
• 판정 기준:
  • 포함: 정규화(공백·문장부호 제거) 후 타깃 단어가 전사에 부분 문자열로 포함.
    • ex. 안녕하세요 -> '안녕'의 정답으로 인정!
  • ‘레벤슈타인 거리’ 알고리즘으로 발음 유사도 수치화:
    • 두 문자열이 얼마나 유사한지 편집거리를 측정하는 알고리즘
    • 정확 어휘가 아니어도 음운이 가까우면(자모 CER ≤ 0.5, ex. ‘슈루룽’→’슈루루’) 모사를 성공한 것으로 인정
• 크기 매핑: 1편과 동일
  • 소=budgerigar·lovebird·cockatiel
  • 중=conure·quaker·patagonian_conure
  • 대=eclectus·amazon·cockatoo

2-1. Wisper 모델 크기 별 오디오 그룹별 단어 인식

아래 두 표는 단어 클립만 집계한 결과다. 잡음·앵무 비발화는 포함하지 않는다. 사람(보호자) 행은 비교 기준선이고, 실제 step4 목적 데이터는 소/중/대형조 앵무새 단어 모사 362클립이다.

<그룹 × 모델 인식률 (포함 판정)>

(*turbo 대형조 0.17은 아처럼 짧은 단어가 모델의 임의 출력과 쉽게 겹쳐 높게 나온 값으로 보인다.)

<그룹 × 모델 인식률 (완화 판정 — 자모 CER≤0.5)>

(*소형조 turbo .74는 실제로 안녕을 들은 것이 아니라, turbo가 반복 출력한 다음 영상에서 만나요가 완화 기준에 걸려 높게 나온 값으로 보인다.)

↓ 단어별 상세 — 각 단어를 6모델이 실제로 뭐라고 전사했나 (per_word_transcription.md)

셀 = 전사 문자열 분포(개수순, /로 구분). 인식 기호:

✓ 정확·포함 
≈ 근접 (자모 단위 CER≤0.5 — 자음 골격이 가까움, 예 슈루룽→슈루루·샤라랑).
✓·≈를 “성공”으로 본다.

오통과율은 낮다(large-v3 오답단어 0.6%·비발화 2.4%).

🦜 대형조 (eclectus·amazon·cockatoo)

🦜 중형조 (conure·quaker·patagonian_conure)

🦜 소형조 (budgerigar·lovebird·cockatiel)

🧑 (참고) 사람 보호자 기준음성

아래 분석은 완화 판정(자모 CER≤0.5) 기준이다.

1편의 음향 분석에서 확인한, 대형조 일수록 사람 음성에 가까워지는 점진적 변화가 인식 결과에서도 그대로 나타난다.

• 소형조(lovebird)
• • 완화된 레벤슈타인 거리 기준으로도 large-v3 0.05로 사실상 0%이다.

• F0가 2.2kHz라 사람 음소 구조가 성립하지 않아 자음 골격까지 맞지 않기 때문인 것으로 추측된다.

    

• 중형조에서 인식되는 단어는 conure의 ‘안녕’ 하나 뿐이다.
• conure 안녕 74클립에서 base 4% → small 12% → medium 23% → large-v3 41%로 모델이 커질수록 인식률이 상승한다.
• 완화된 레벤슈타인 거리 기준으로도, 같은 conure의 사랑해·코코야·귀여워는 모든 모델에서 인식률 0% 
• 사람 보호자 녹음은 잘 인식된다.
  • 표준어 정확 인식 large-v3 82.8%에 더해, 완화 기준에서는 ‘안뇽’·’코코야’ 변형 등 near-standard가 추가돼 large-v3 .91·medium .84
    • 표준어 - 안녕·사랑해·까꿍·빠이빠이·여보세요·엄마·와
    • 비표준어 - 슈루룽·슈루루룽·뚜둥·핫뚜·때끼·똥싸그치

2-2. 대형조 ‘슈루룽’

<eclectus 슈루룽(48) 인식률 — 판정 기준별>

medium·large-v3의 실제 출력을 보면 음가는 따라간다:

large-v3 슈루룽 출력:  슈루루(9) / 슈르르(8) / 샤라랑(3) / 슈리로(2) / 슈루타 / 슈루포 ...
medium  슈루룽 출력:  슈루라 / 슈루라! / 슈루룩 / 슈르르 / 슈루롱 ...
tiny    슈루룽 출력:  좋아요…  (전부 무관)

슈루루/슈르르/슈루라/슈루룩 

• 초성·중성이 맞는 근사 전사다. 레벤슈타인 거리로 1음절을 인식으로 인정하면(자모 단위 CER≤0.5, ‘샤라랑’처럼 자음 골격이 맞는 것까지 통과)
• medium 35%·large-v3 56%의 성능을 보인다. 
• 사실상 인식이 어느정도 가능하다고 보여진다.

표준 단발어(amazon '빠이빠이'·'여보세요', eclectus '엄마'·'와')

• 큰 모델이 정확히 인식한다(각 n=1).
• 즉 대형조의 ‘슈루룽’ 단어 인식의 어휘 인식 실패는 “대형조라서”가 아니라 비표준어라서일 가능성이 높다.

🖐️ 결과 정리 🖐️

1. 소형조는 Whisper로 텍스트 전사가 불가능. 0%의 정확도.
2. 중형조 conure ‘안녕’ 41% 인식 성공 -‘안녕’은 표준어로 Whisper 사전 안에 있기에, 높은 성능을 보인 것으로 추측된다.
   • 같은 conure의 사랑해·코코야·귀여워의 경우, 모든 모델에서 인식 성능 0% (안녕만 41%)
   • 같은 중형조인 quaker → 모든 모델에서 인식 성능 ≤2%
3. 대형조는 Whisper medium 이상의 모델 부터 비교적 신호가 뚜렷해진다.
   • 다만 대형조의 데이터가 적었고,
   • 가지고 있는 데이터가 대형조 중에서도 말을 잘하는 개체이므로 이로 인한 편행된 결과일 가능성이 존재한다.

프로젝트 방향 결정

• ‘소&중 / 대형’ 2분류로 분류할 예정이다. 
  • 소/중형조는 음향 성격이 비슷하고, 사람 음향과의 유사도가 매우 낮아 분류가 필요없음을 확인했다.**
  • 다만 서비스에서 ++사용자가 앵무새 종을 등록++하므로, 판별 모델은 기존대로 앵무/비앵무만 판별하고 ++종 정보로 소중/대형조를 매핑하는 방안++이 현실적일 것으로 생각하고 있다.
• 단어 모사 판정의 경우, 대형조 한정으로 표준어에 대해 Whisper 판정 가능성을 확인했다.
• 다만, 대형조의 비표준어(슈루룽 등) 인식 부문에서는 ‘자기지도 임베딩+DTW 매칭(보호자 기준음성과의 유사도)’이 더 높은 성능을 보인다.
  • 같은 eclectus 종 ‘슈루룽’ 조건에서 자기지도 임베딩+DTW 매칭(보호자 기준음성과의 유사도)이 recall 77%로 더 높다.

참고1. 대형조 ‘슈루룽’에 대한 SSL+DTW

같은 eclectus 슈루룽을, 전사가 아니라 보호자 기준음성과의 음향 유사도 매칭(SSL+DTW, ContentVec 임베딩 × DTW)으로 판정한 결과

<eclectus 슈루룽 — 방법별 인식>

참고2. 앵무 비발화(울음), 잡음(TV소리, 생활소음 등)에 대한 Whisper 테스트 결과

<환각률: 무음/잡음에 없는 말 생성>

• 원래 Whisper는 뭘 넣든 항상 텍스트를 만들기에 발생하는 문제이다.

→ 결론: 비발화·잡음 판정은 Whisper가 아니라 앞단의 step2 parrot gate(앵무/비앵무 게이트)로 거르는 것이 효과적이다.

서강대학교 IIPLAB 미팅용 연구 소개 자료 앵무새 언어 학습 서비스 buddybird의 핵심 판정 기능

• 일자: 2026. 08. 31

1. 서비스 배경: 앵무새에게 말을 가르치는 buddybird

buddybird는 보호자가 부재중일 때 앵무새를 돌보고 말(단어)을 가르치는 서비스입니다.

새장 앞에 놓인 디바이스(station)가 보호자가 녹음한 학습 오디오를 재생하고, 앵무새가 내는 소리를 마이크로 감지해 “오늘 앵무새가 어떤 단어를 얼마나 따라 했는지”를 학습 리포트와 알림으로 보호자에게 전달합니다.

이 서비스가 성립하려면 시스템이 두 가지를 판정할 수 있어야 합니다.

1. 마이크에 잡힌 소리가 앵무새 소리인가? (발성 감지)
2. 앵무새가 낸 소리가 학습 단어의 모사에 성공했는가? (모사 판정)

2. 파이프라인 구조

단계별 목표

3. 2단계 앵무새 소리 게이트 (parrot sound gate)

클립이 앵무새 소리인지 아닌지를 판별하는 이진 게이트입니다.

모델 구조 — 사전학습 인코더 Perch 2.0 + 선형 probe

Google Perch 2.0은 대규모 생물음향(bioacoustics) 데이터로 사전학습된 인코더입니다. 오디오를 32kHz 리샘플 후 5초 창(홉 2.5초)으로 잘라 1536차원 임베딩을 추출하고,

그 위에 표준화 + L2 로지스틱 회귀를 학습합니다.

• 모델 구조 설계 근거
  • 데이터 부족
    • 학습 데이터가 총 2,322클립(앵무 503 · 비앵무 1,819)
    • 딥러닝 모델을 처음부터 학습하는 대신 frozen 인코더 + 선형 probe가 적합하다고 판단
  • 타 인코더에 비해 높은 성능을 확인함
    • AVES, AudioSet zero-shot, MFCC 등 후보를 고려하였으나, Perch2.0이 제일 높은 성능을 보임

평가 방법론

• 고객의 앵무새는 항상 학습에 없던 개체
• 고객의 앵무새가 학습 데이터에 없는 앵무새 종일 가능성

운영 임계값 τ — Neyman-Pearson 방식의 τ 선정

• 앵무 확률 ≥ τ(0.0378) → 앵무 (통과)
• 앵무 확률 < τ(0.0378) → 비앵무 (차단)

사람 음성 오통과율(FAR) ≤ 2%를 하드 제약으로 걸고, 그 안에서 앵무 재현율을 최대화하는 Neyman-Pearson 프레이밍을 사용하여 도출.

v1.0.0 성능 (운영 임계값 τ=0.038, LOSO 기준)

probe 학습 데이터셋 — 총 2,322클립

핵심 지표

종별 ROC-AUC는 conure 0.996, quaker·lovebird·cockatiel 1.000 등 전 종에서 높은 분리도를 보였습니다. LOSO는 종을 통째로 빼는 보수적 하한이므로, 알려진 종의 신규 개체를 만나는 실서비스에서는 실제 재현율이 이보다 높습니다.

현재 v1.1.0 개발 진행 중

v1.0.0 이후 새 데이터가 편입되어 클립이 2,322 → 2,771개로 늘었습니다.

새롭게 추가된 데이터는 유튜브의 앵무새 영상에서 수집한 총 449클립으로, 다수의 앵무새 단어 모사 시도(311클립)와 보호자의 단어 발화 오디오(138클립)로 구성됩니다.

이 새 데이터에 대해 v1.0.0 probe로 분류를 시도한 결과:

사람 음성인 보호자 단어 발화 138클립 중 70클립(50.7%)이 앵무새 소리로 잘못 통과.

앵무새 단어 모사 클립 분류 결과 — 미학습 종에서 미탐

새로 추가된 앵무새 클립 311개(단어 모사 시도 257 · 비발화 54)에 v1.0.0 probe로 분류를 진행한 결과. 전체 재현율은 79.1%(모사 시도 75.1% · 비발화 98.1%)

학습에 있던 종은 신규 클립에서도 전부 통과했지만, 학습에 없던 종(eclectus·amazon)은 단어 모사 대부분이 차단됐습니다.

4. 모사 성공 판정 (착수 예정)

2단계를 통과한 앵무새 클립이 학습 단어 모사에 성공했는지를 보호자 기준음성과 비교해 판정하는 단계입니다. 후보 기술 조사와 실험 설계를 마쳤고, 본 실험에 착수할 예정입니다.

문제 정의 — 분류가 아니라 기준음성 기반 유사도

• 입력: 앵무 단어 시도 클립 1개 + 같은 단어의 보호자 기준음성 1~5개
• 출력: 성공/실패

분류가 아닌 보호자의 단어 발화 오디오 기반 유사도

난관

① 음색 도메인 갭

• 기준음성은 사람 성대 / 앵무새의 모사 시도는 앵무새 명관(syrinx)에서 비롯됨.
• 포먼트·배음 구조가 근본적으로 달라, 스펙트럼을 직접 비교하면 “같은 단어”보다 “같은 발성기관”이 먼저 매칭됩니다. 사람 음성 사전학습 모델엔 앵무 오디오가 OOD.

② 데이터 부족

• 단어 클립은 현재 앵무 시도 372개 + 보호자 기준음성 178개 규모.
• 기존 앵무새 음성 데이터셋 자체가 없고. 모두 직접 수집해야 함.
• 현실적으로, 지도학습이 불가능하므로 사전학습 인코더(frozen) + 거리·정렬 기반 무학습 기법을 우선

검토중인 후보 기술 — [특징 추출기] × [알고리즘 기반 비교·정렬]

선형 회귀는 훈련 데이터의 오차(MSE)만을 최소화한다.

모델은 데이터의 실제 경향뿐 아니라 노이즈까지 학습하려 하고, 그 과정에서 일부 계수가 과도하게 커져 과적합 상태가 될 수 있다.

규제는 손실 함수에 계수의 크기에 비례하는 항을 추가해 이를 억제한다.

Penalty 방식

(1) L1: 절댓값, 맨해튼 거리

계수의 크기와 상관없이 균등하게 penalty 부여.

L1 페널티의 도함수는 sign(w)로 상수 ±1이다. 계수 크기와 무관하게 α만큼의 기울기 성분이 유지된다. 손실 함수의 기울기가 α보다 작은 변수는 계수가 0으로 결정된다.

(2) L2: 제곱,  유클리드 거리

제곱하므로, 큰 계수에게 강한 penalty 부여.

L2 페널티의 도함수는 2w다. w가 감소하면 도함수도 함께 감소하여 0에 수렴한다. 따라서 계수를 감소시키는 기울기 성분이 사라지고, 계수는 0에 근접하되 정확히 0에 도달하지 않는다.

기본 회귀 vs 규제 회귀

• 기본 회귀: MSE(평균제곱오차)가 최소가 되는 회귀 계수를 추정함.
• 규제 회귀: MSE + 규제항이 최소가 되는 회귀 계수를 추정함.
  • Ridge: MSE + α · Σwᵢ²
  • Lasso: MSE + α · Σ|wᵢ|

α는 규제 세기를 조절하는 값이다.

• α가 0이면? -> 규제가 사라져 기본 회귀와 같아짐.
• α가 클 수록? -> 계수가 강하게 눌린다. 극단적으로 키우면 모든 계수가 0에 수렴해 평균만 예측하는 모델이 된다.
• 참고. scikit-learn의 **로지스틱 회귀는 α 대신 C를 쓰고 반대의 의미를 가진다. C가 작을수록 규제가 강하다.

Ridge 회귀 : L2 규제

기존 선형 회귀의 과적합을 방지함.

Lasso 회귀 : L1 규제

w의 절댓값에 패널티를 부여하는 L1 규제를 선형 회귀에 적용한 것  L1 규제는 alpha*||W||를 의미

Ridge vs Lasso -> 계수를 0으로 만드는가?

• Lasso는 계수가 0이 될 수 있다.
• Ridge는 크기가 작아지더라도 0이 되지는 않는다.

L2 페널티는 w²이므로 미분하면 2w가 된다. 계수가 0에 가까워질수록 기울기도 0에 수렴하므로, 계수를 줄이는 힘이 함께 약해진다. 따라서 계수는 0에 근접하지만 정확히 0이 되지는 않는다.

1. 전체 구조

0. VAD 클립 입력
1. 음량 게이트(loudness_gate) 
  — 너무 조용해 판별이 어려운 클립을 차단하는 게이트 (too_quiet)
2. 앵무새 소리 여부 판별(parrot-sound_gate) 
  — 사람 음성·TV 소리 등 비앵무새 소리를 차단하는 게이트
3. biodenoising 
  — 앵무새 소리를 제외한 노이즈 제거 (현재 고려하지 않음)
4. 모사 성공 여부 판정(mimicry-judgement) 
  — 보호자 녹음 샘플과 VAD 클립을 비교

이 중 2. 앵무새 소리 여부 판별(parrot-sound_gate)의 v1.0.0을 다루는 포스팅이다.

편의를 위한 용어 정리!

모든 오디오 클립은 아래 두가지 부류로 구분된다. 이 gate는 아래 두가지 부류를 구분하는 것이 목표이다.

• 앵무 소리
• 비앵무 소리: 사람 소리, TV소리, 잡음 등 앵무새 소리가 아닌 모든 소리

2. 데이터셋 구성

2-1. 앵무 데이터

2-2. 비앵무 데이터

3. 평가 분할 방식

• LOSO(leave-one-species-out): 앵무 종 하나를 테스트로 홀드아웃하고 나머지 종으로 학습한다. 고객 앵무는 항상 학습에 없던 개체이므로 이 방식을 대표 지표로 본다.
• LOIO(leave-one-individual-out): 개체 하나를 테스트로 홀드아웃하고 나머지 개체로 학습한다. 학습에 없던 개체 일반화를 더 엄격하게 측정한다.
• kfold: 전체를 층화 5겹으로 나눠 채점한다. 같은 개체가 학습과 테스트에 함께 들어가 낙관 편향이 있어 상한 참고로만 본다.

4. 평가 지표

사람 음성 오통과는 4단계에서 모사 성공 오탐으로 이어지는 가장 비싼 오류다. 정밀도는 이 오

5. 모델 구조

사전학습 인코더 Google Perch 2.0로 오디오를 임베딩한다. 이 임베딩을 기준으로 앵무/비앵무를 분류하는 선형 probe를 학습한다.

5-1. Google Perch 2.0 인코더 파라미터

생물음향데이터로 학습된 인코더이다.

5-2. probe 파라미터

probe 운영 임계값 τ 산정

정책 R2를 채택한다.

사람 음성 오통과율(FAR) 상한을 2%로 정하고 그 안에서 앵무 재현율을 최대화한다. 운영 임계값 τ는 0.0378이다.

probe는 클래스 1 = 앵무(parrot)의 확률(0~1)을 도출한다.

• 앵무 확률 ≥ τ(0.0378) → 앵무 (통과)
• 앵무 확률 < τ(0.0378) → 비앵무 (차단)

고려했던 대안 정책 비교:

6. 성능

운영 임계값 τ=0.0378에서의 성능

LOSO 종별 분리도:

종별 재현율은 폴드마다 사람 FAR 2% 상한에서 임계값을 다시 선택한 값이다. kfold 낙관 상한은 ROC-AUC 0.9999, 전체 재현율 1.000이다.

지표는 두 가지로 판정한다.

• 균형정확도를 0.5 임계값에서 계산하면 하드 네거티브 유입으로 캘리브레이션이 이동해 대표성이 낮아진다. conure는 0.841로 감소한다.

• ROC-AUC로 임계 무관 분리도를, 재현율로 운영점 성능을 판정한다.

정리

현재 2322개 클립으로도 gate 성능이 높은 것이 확인되었다. 추후 buddybird-prod S3에 실제 사용자의 데이터가 쌓이는 대로, 다음 버전으로 개선할 예정이다.

기타

오디오 전체에 걸쳐 잡음이 앵무새 소리보다 크게 나타나는 경우 ‘비앵무(non_parrot)’으로 처리되는 경향이 있다.

또한 conure의 재현율이 떨어진 이유는 ‘코뉴어_김공룡’의 단어 말하기 발화가 저음이고 톡특하기 때문인 것으로 판단된다. 그 외 개체의 단어 말하기 발화는 모두 정확이 분류되었다.

LOSO에서 FN(실제 앵무이나 비앵무로 판단된 클립)을 살펴보면 아래와 같다.

• conure종 김공룡 발화 클립이 13개
• budgerigar종 클립이 4개

https://www.instagram.com/king_gongryong/ https://www.instagram.com/buddybird.xyz/

앵무새의 인간 언어 모사 성공여부 판정 파이프라인

Parrot Human-Speech Mimicry Assessment Pipeline

목적: 앵무새가 ‘안녕(예시)’ 발음에 성공/실패 여부 판별

버디버드는 보호자가 부재중일 때 앵무새의 말 학습을 도와주는 서비스.

‘안녕(예시)’ 학습 세션에서 앵무새가 실제로 ‘안녕’을 따라 말하는 데 성공/실패했는지를 자동으로 판정하는 것이 목표.

제약사항

1. 이 파이프라인의 입력값에는 노이즈가 있다.

• 입력값: 사용자의 기기에서 VAD(소리가 난 구간만 자름)처리된 audio clip(이하 VAD clip)
• 앵무새 소리, 사람 소리, TV 소리 등등이 모두 섞여 있는 형태.

2. ‘안녕(예시)’ 판단에 앵무새의 ‘안녕’ 발화를 사용할 수 없다.

• 안녕의 경우 대중적이라 앵무새의 발음 오디오를 수집할 수 있으나,
• ‘망고야’, ‘아구내새끼’ 등 개인화된 단어의 앵무새 발음은 수집하기 어렵다.
• ==> 사용자가 ‘단어 생성’ 단계에서 녹음한 1~5개의 사용자 목소리 녹음본이 기준이 되어야 한다.

파이프라인 구조 설계

현재 검토중인 파이프라인이다.

0. VAD 클립 입력
1. 앵무새 소리 여부 판별 — 사람 음성·TV 등 잡음 VAD 클립 자체를 제외.
2. biodenoising — VAD 클립에서 앵무새 음성만 남기고 이외 섞인 잡음 제거
X. (기각) 울음 vs 발화 시도 판별 —> 기각됨. 
3. 발화 성공 여부 판정 — 보호자 녹음과 비교하여 성공/실패 반환

Step 0(입력값). VAD 클립 입력

‘학습 세션’이 진행될 때, 일정 음량 이상의 소리가 감지되면, 그 부분만 잘라 audio clip으로 서버로 전송된다.

Step2. 앵무새 소리 여부 판별

사람음성, TV 등 잡음으로 판단된 VAD clip을 걸러낸다.

이 단계에서 ‘사람 목소리’를 걸러내는 것이 매우 중요하다. 이 부분이 안될 경우, step4에서 ‘보호자 녹음’과 유사도가 높게나옴 -> 사람 목소리가 '발화 성공'으로 오판될 가능성이 있다.

검토 기술

1. Perch 2.0 (Google) + probe
2. AVEX (EarthSpecies) + probe

(자세한 검토 내용은 다른 포스트에서 다루겠다)

Step X. 울음 vs 발화 시도 판별 —> 기각됨.

앵무의 발화 시도는 인간 목소리와 유사할 것이라는 가설을 토대로 한 단계이다.

-> 아닌 것으로 판명되었다.

Step 3. 발화 성공 여부 판정

보호자 녹음본과 비교하여 성공/실패를 반환한다.

검토 기술

1. SSL 프레임 임베딩 + DTW
2. …

초기 기획: 앵무새 ‘말 가르치기’에 올인하는 앱!!

커뮤니티 기능이나, 건강 관리 기능, 앵무 상태 기록 등은 완전 제외.

‘말 가르치기’ 관련 기능들만 가진 앱

• 학습 세션
  • ‘안녕’ 음성 반복 재생
• 보호자 목소리 단어 추가
  • 보호자의 목소리를 녹음하여 학습시킬 수 있도록
• 앵무 종 별 단어 학습 커리큘럼
  • (종 별로 발음이 쉬운 자모가 다릅니다)
• 앵무가 잘 학습하는지 체크
  • 앵무의 인간 언어 발음을 확인할 수 있는 모델 개발.
  • 발음 성공 실패 확인 후 보호자에게 알림.
• 듀오링고처럼 단어 하나 클리어하면 보상
• 기타등등

과연 앵집사들은 그런 앱을 원할까?

앵무에게 말을 가르치는 것은

• 이미 말을 가르쳐서, 지금에 만족하는 경우.
• 말보다는 애교를 원하는 경우.
• 말을 가르치고 싶으나, 버디버드 앱을 사용하기는 귀찮은 경우

변경: ‘부재중 All in One 케어 앱’

말을 가르치고 싶어 하는 앵집사 «< 앵무새를 혼자 두는 것이 불편한 앵집사

더 확실한 수요를 가지고 있고, 고객 대상이 크게 늘어난다고 판단했다.

‘말 가르치기’는 추가적인 욕심인데 반해.

부재중 케어는 더 ‘건강&케어’의 성격을 띄므로, 더 필수적인 아이템이다.

앵집사 ‘누구나 필요를 느끼는 것’이 무엇일까 고민했다.

내가 집을 비웠을 때.

• 앵무는 소형동물로, 쉽게 죽을 수 있다.
  • 갑자기 변기통에 뛰어들기도,
  • 새장에 발목이 걸린채 푸드덕대기도,
  • 약봉투 부숴서 약먹기
  • 아무거나 주숴먹기
  • 돌연사 등등
• 앵무는 사회적 상호작용이 부족하면 자해 가능성이 높아진다.
  • 1마리만 키우고, 보호자의 외출 시간이 긴 경우.
  • 보호자가 장기간 집을 비우는 경우(여행, 출장 등)

저도 이러한 이유로 집을 장기간 비웠으 때, 공기계로 펫캠 앱을 실행해두고 갑니다

이 방향은 확신이 든다.

보호자는 공기계로 앱에서 ‘시작/중지’ 버튼만 누르면 끝!!!

• 그 사이에 알아서 학습 - 스트레스 케어를 앵무새 반응에 따라 진행.
• 이상행동이 감지되면 보호자 폰에 알림을 보낸다. (펫캠)
• 보호자는 언재든 펫캠을 확인 가능하다.

화이팅!

벌써 8월이다. 시간이 얼마 남지 않음이 느껴진다.

스퍼트를 더 내보자. 화이팅 !!

피드백을 더 빠르게 확인하기 위하여

버디버드 앱에는 프로필 탭에 피드백 창구가 존재합니다. 현재(26.07.29)까지 2명의 앵집사께서 이 창구로 피드백을 남겨주셨습니다.

피드백은 Firebase - Firestore에 기록된다.

사이트에 들어가서 확인해야 하므로, 즉각즉각 확인이 힘든 문제가 있습니다.

어떤 방법이 효율적일까?

1. 피드백이 들어오면 Jira 티켓 자동 발행

• 각 피드백에 대한 토의를 바로 티켓 댓글에서 진행하면 됨.

• BUTㅇㅇ, ㄴㄴ 등고려할 필요가 없는 피드백이 무분별하게 티켓으로 발행될 가능성

-> 기각.

2. 피드백이 들어오면 팀 Slack에 자동 알림, 검토 후 수동으로 Jira 티켓 생성

채택 !

고려한 구현 방안

1. Firebase의 Cloud Function 사용 -> 기각.

firebase 자체에 cloud function을 선언. 사용자 피드백이 들어온 즉시, 팀 Slack에 알림을 보내도록 한다.

cloud function을 사용하려면 firebase 요금제 업그레이드 필요. 사용량이 적어 무료 크레딧(300$) 범위에서 사용 가능하지만, 무조건 40,000원이 빠져나가고, 나중에 payment를 해지해야 이 40,000이 환불됩니다.

그 사이에 무료 크레딧을 초과하면 40,000은 돌려받지 못합니다.

무서워서 기각.

2. Make.com : 코딩 없이 다양한 앱과 서비스를 연결 -> 채택

코딩 없이 다양한 앱과 서비스를 연결하여 반복적인 업무를 자동화할 수 있는 노코드(No-code) 플랫폼

Google Cloud Platform에서 여러 API 권한 세팅을 진행해야 한다. 조금 귀찮음이 있습니다. 대략 10분 소요.

아래와 같이 알림을 보내줍니다.

버디버드 MVP 출시 과정 및 지표 분석

7/1 ~ 7/3 사전예약자 81명 대상 배포

5월 말에 instagram 광고로 사전예약자를 모집했고, 이때 연락처를 적어둔 사전예약자 대상으로 문자를 보냈다.

앱을 설치하신 분이 17명이었다.

사용 현황도 예상보다 저조해서 ‘김공룡’ 앵스타 & ‘버디버드’ 인스타로 릴스를 올려 홍보했다.

7/6 김공룡 앵스타 & 버디버드 Instagram&Threads로 홍보

• 김공룡 앵스타
• 버디버드 인스타

광고 보다 기존 앵집사 팔로워를 모아 둔 인스타&스레드로 홍보를 하는 것이, 타겟층 타율이 높을 것이라고 판단했다. 따라서 광고는 하지 않았다.

홍보 릴스(https://www.instagram.com/p/DacPWEqiA5G/)가 조회수 2만(26.07.11 기준)을 기록하며, 알고리즘을 탔다.

버디버드 MVP 사용자 추이 분석

7/6 릴스 업로드 이후, 사용자 유입이 크게 증가했다. 이후 유입이 감소하는 모습을 보인다.

앱을 실제로 사용한 평균 시간이 9분 14초이다.

• 제대로 사용하는 사람들이 있다.
  • clarity로 각 사용자의 사용시간을 직접 확인했을 때, 40분 이상의 세션을 3회 이상 진행하는 등.
  • instagram 릴스를 보고 가볍게 사용한 사람 다수 + 몇명의 진짜 사용자의 수치가 합쳐진 결과로 보여진다.

의도대로 가고 있는가 ? (7/18 추가)

버디버드를 기획할 때, ‘공기계’가 궁극적으로는 우리 앱을 설치하게 될 디바이스가 될 것이라고 예상했다.

시간이 경과할 수록, ‘태블릿’ 트래픽이 늘어나는 것을 확인할 수 있다. (모바일 중 공기계도 있겠으나, 현재로서 공기계인지 여부를 판단하는 것은 불가)

사용자들이 자연스럽게 앱을 어떻게 사용하면 좋을지 터득하는 듯한 모습이다 !!

기타 확인한 사항

• 1일 활성 사용자(DAU) 60
• 7일 활성 사용자(WAU) 266
• 30일 활성 사용자(MAU) 900

마케팅이 중요하구나

릴스 한 번에 이렇게 유입이 많을 것이라고 생각하지 못했다. 특히 사용자 300명을 넘을 것이라고는 생각도 못했다. 앵스타 & 인스타를 미리미리 공들여 키워 놓은 것은 아주 좋은 판단이었다.

앵무새를 위한 앱이 부재한 상황에서 등장한 앱이라, 반응이 좋았다고 생각한다. ‘우리 서비스가 좋아서’라기보다는, ‘앵무새를 위한 앱이라니??!!’하고 가볍게 설치한 사람들이 다수일 것이라고 생각한다.

사용자가 있다는 것에 아주아주 감사하면서, 열심히 해보자.

앵무새의 단어 발음 성공여부를 반환하는 기술 개발

GOAL:

‘안녕’(ex) 학습을 진행하는 세션에서, 앵무새가 ‘안녕’(ex)을 제대로 발음했는지 성공/실패 여부를 반환하는 모델을 개발한다.

고려한 방안은 총 3가지이다.

1. MFCC + DTW
2. Whisper STT
3. Facebook wav2vec2

테스트를 위해 아래와 같이 raw에 3가지 종류의 preprocessed를 적용한 데이터를 사용해 테스트했다.

• raw : 원본. 생활소음수준의 노이즈 포함
• rn_processed : raw에 Noise Reduced 적용
• rn_vad_processed : nr_processed에 VAD 처리한 음원
• vtln_processed : nr_vad_processed에 포먼트 보정 처리한 음원

1. MFCC + DTW

알고리즘 기반의 연산으로 유사도를 판별한다.

• raw : 노이즈에 따라 편차가 커 부적합.
• rn_vad_processed : rn, vad 파라미터를 적절하게 맞추면 최고 성능을 보임.

인사이트

(1).사람 음성은 앵무새 발음 성공/실패 판단 기준으로 사용할 수 없다.

파형 기준으로 수학적 유사도를 계산하므로, 사람 음성과 앵무새 음성 사이에 차이가 크게 잡힌다.

(2) Noise Reduction(NR), VAD 파라미터의 영향을 매우 크게 받는다.

오픈소스 NR의 경우 사람 목소리를 기준으로 노이즈를 제거한다. 따라서 파라미터를 잘못 조정하면 앵무새 음성이 노이즈로 제거된다.

사람 목소리 기준으로 되어있기에, 음원에 따라 파라미터 조정이 정밀하게 필요하다.

결론 -> 기각

단어 확장성이 떨어진다. 예를들어 ‘코코야’라는 발음의 성공여부를 판별하려면, 해당 종류 앵무새의 ‘코코야’라는 발음이 존재해야 한다. 새로운 단어를 추가하기 어렵다..

RN, VAD 파라미터에 크게 영향을 받는다.

2. OpenAI Whisper

whisper + g2p + Panphon Distance

• whisper: 오디오 음성 인식 모델 (오디오 -> 문자)
• g2p: 문자를 실제 발음되는 소리인 음소(ipa문자열)로 변환 (문자 -> ipa문자열)
• panphon distance: 음소간의 발음 유사도로, 서로 다른 두 음소를 발음할때 발음기관이 얼마나 변화가 생겨야 하는지를 기준으로 유사도를 수치화

인사이트

(1) 앵무새 음성을 text로 변환하지 못한다.

whisper은 인간 음성으로 학습된 모델이다. 따라서 앵무새 음성을 text로 변환할 때 오차가 크고, 무엇보다 앵무새 '안녕' 발음 음성을 text로 변환한 데이터 간에 유사성이 관찰되지 않는다.

#### (2) 앵무새 음성을 인간과 유사하게 전처리해 사용해보았지만, 성능은 개선되지 않았다.

피치 변환, 포먼트 조절 전처리를 통해 앵무새 음성을 사람 음성과 유사하게 전처리하고, whisper에 전달하는 방안이다.

앵무새 '안녕' 발음 데이터들 -> 피치변환/포먼트조절 -> whisper의 whisper의 결과물

결과물에서 연관성이 관찰되지 않았다.

또한 이 경우, NR, VAD, Pitch 변환값, 포먼트 조절값까지 오차 영향을 연쇄적으로 받는다.

결론 -> 기각

whisper로 앵무새 음성을 텍스트로 변환하는데 한계가 존재한다.

3. Facebook wav2vec2

wav2vec2 + Panphon Distance

wav2vec2: 사람 음성 데이터를 음소(ipa문자열)로 나타내는 모델

인사이트

(1) 앵무새 음성을 인간과 유사하게 전처리해 사용해보았지만, 성능은 개선되지 않았다.

whisper과 같은 결과이다.

(2). wav2vec2 Embedding

인사이트 (1)을 보고,

앵무새 음성을 제대로 고려하지 못하는ipa문자열에 끼워맞추면서 필요한 특징이 필터링되어 생기는 문제라고 판단.

ipa를 버린다.

wav2vec2는 기본적으로 마지막 24번째 layer로 향하면서, 사람 발음 기준으로 음성을 점점 단순화시킨다. 그 결과 마지막 layer에서는 ipa문자열로 최종 결과가 나온다.

여기 24개 layer 중 앵무새 발음 데이터를 기준으로, 공통점이 보이는 결과가 도출된 layer의 결과값을 사져온다.

즉, 24개 layer 중 앵무새 발음 판단에 가장 적합한 layer를 고르고 가중치를 두고 평균을 낸다(2, 3, 4, 20), 해당 layer의 hidden state에서 코사인 유사도로 발음 성공 여부를 판단한다.

결론 -> 긍정적. 추가 검토 필요.

이 방법을 사용했을 때, 현재 데이터 기준으로 약 67%의 판별 성공률을 보인다.