아래 포스트에 이은 내용입니다!

http://daeunworld.xyz/aisw_maestro/2026/09/03/parrot-human-acoustics.html

8/31 IIPLAB 피드백 내용 중 일부.

  • 대형조의 단어 모사의 경우, 사람이 듣기에 이게 사람의 발음인지/앵무새의 발음인지 판단되지 않을 정도로 유사함.
    • 즉 대형조의 포먼트 등 음향학적 특징이 사람과 유사할 가능성이 있음
    • 따라서 whisper를 사용한 모사 판정이 가능할 수 있으니 체크 필요.
    • 또한 whisper 모델 크기별로(smallbaselarge) 경향성 차이가 크기 때문에 다양한 모델 크기에서 검증 필요.
  • 소/중/대형조별로 차이가 뚜렷하게 있다면 Classification이 사람/앵무새가 아니라 사람/소/중/대형조 이렇게 4개의 class로 나누는 task가(내부적으로, 모델입장에서는) 되어야함.
  • 때문에 차이를 확인하는 것은 추후 진행에 중요.

진행한 과제

  1. 소/중/대형조와 사람의 음향학적 특징 공통점 차이점 분석
  2. Whisper 6종(tiny·base·small·medium·large-v3·large-v3-turbo)에 대한 소/중/대형조별 단어 모사 인식 테스트

2. Whisper 6종(tiny·base·small·medium·large-v3·large-v3-turbo)에 대한 소/중/대형조별 단어 모사 인식 테스트

`

  1. 소/중/대형조와 사람의 음향학적 특징 공통점 차이점 분석`에서 확인한 것:

대형조(사실상 eclectus)의 단어 모사는 F0·포먼트·스펙트럼 모두 사람 음성과 근접했다. 그렇다면 사람 목소리로 사전학습된 Whisper가 앵무새의 단어 모사를 텍스트로 인식할 수 있을까?

Whisper 6종으로 data/raw 전체를 전사하되, 2-1의 주 지표는 step2가 완벽하게 동작했다고 가정하고 앵무새 단어 모사(word) 클립만 집계했다. 잡음·비발화는 단어 인식률에 넣지 않고, 하단 환각률 분석에서만 따로 확인했다.

2-0. 실험 설계

  • 가정:
    • 앞단의 step2 parrot gate가 사람 음성·잡음 등 비앵무 입력을 걸러냈다고 가정
    • 2-1 단어 인식률은 그 다음 단계의 앵무새 단어 모사(word) 클립만 대상으로 계산
    • 앵무 비발화(non_speech)는 단어 인식률 대상이 아니며, 하단 환각률 분석에서만 별도 확인
  • 전사 대상:
    • data/raw 전체 2,771클립
  • 2-1 주 평가 대상:
    • content_type=word인 단어 클립만 집계(test_only·mixed 제외)
    • 이 중 서비스 목적에 해당하는 앵무새 단어 모사 분모는 소형조 80 + 중형조 196 + 대형조 86 = 362클립
    • 사람(보호자) 172클립은 사람이 말한 기준음성을 Whisper가 얼마나 잘 듣는지 보는 참고 baseline
    • noise/background와 non_speech는 2-1 단어 인식률 표에서 제외하고, 하단 환각률 표에서만 별도 확인
  • 언어: language="ko"
  • 판정 기준:
    • 포함: 정규화(공백·문장부호 제거) 후 타깃 단어가 전사에 부분 문자열로 포함.
      • ex. 안녕하세요 -> '안녕'의 정답으로 인정!
    • ‘레벤슈타인 거리’ 알고리즘으로 발음 유사도 수치화:
      • 두 문자열이 얼마나 유사한지 편집거리를 측정하는 알고리즘
      • 정확 어휘가 아니어도 음운이 가까우면(자모 CER ≤ 0.5, ex. ‘슈루룽’→’슈루루’) 모사를 성공한 것으로 인정
  • 크기 매핑: 1편과 동일
    • 소=budgerigar·lovebird·cockatiel
    • 중=conure·quaker·patagonian_conure
    • 대=eclectus·amazon·cockatoo

2-1. Wisper 모델 크기 별 오디오 그룹별 단어 인식

아래 두 표는 단어 클립만 집계한 결과다. 잡음·앵무 비발화는 포함하지 않는다. 사람(보호자) 행은 비교 기준선이고, 실제 step4 목적 데이터는 소/중/대형조 앵무새 단어 모사 362클립이다.

<그룹 × 모델 인식률 (포함 판정)>

그룹 (word) n tiny base small medium large-v3-turbo large-v3
사람(보호자) 172 .65 .35 .70 .72 .69 .70
소형조(lovebird) 80 .01 .00 .00 .00 .00 .00
중형조(conure·quaker) 196 .16 .02 .05 .10 .14 .16
대형조(eclectus 등) 86 .11 .01 .02 .06 .17* .08

(*turbo 대형조 0.17은 아처럼 짧은 단어가 모델의 임의 출력과 쉽게 겹쳐 높게 나온 값으로 보인다.)

<그룹 × 모델 인식률 (완화 판정 — 자모 CER≤0.5)>

그룹 (word) n tiny base small medium large-v3-turbo large-v3
사람(보호자) 172 .72 .44 .80 .84 .83 .91
소형조(lovebird) 80 .10 .01 .10 .01 .74* .05
중형조(conure·quaker) 196 .19 .03 .05 .13 .21 .20
대형조(eclectus 등) 86 .19 .09 .33 .35 .41 .56

(*소형조 turbo .74는 실제로 안녕을 들은 것이 아니라, turbo가 반복 출력한 다음 영상에서 만나요가 완화 기준에 걸려 높게 나온 값으로 보인다.)

↓ 단어별 상세 — 각 단어를 6모델이 실제로 뭐라고 전사했나 (per_word_transcription.md)

셀 = 전사 문자열 분포(개수순, /로 구분). 인식 기호:

✓ 정확·포함 
≈ 근접 (자모 단위 CER≤0.5 — 자음 골격이 가까움, 예 슈루룽→슈루루·샤라랑).
✓·≈를 “성공”으로 본다.

오통과율은 낮다(large-v3 오답단어 0.6%·비발화 2.4%).

🦜 대형조 (eclectus·amazon·cockatoo)

단어 n 종 tiny base small medium turbo large-v3
슈루룽 48 eclectus 48 기타(Ciao synthesis!·DARD brightest·Shaudeudos 등) 3 수고하셨습니다. / 45 기타(Review·See you soon!·Square</ko/> 등) ≈2 슈르르 / ≈1 슈뚜뚜 / ≈1 슈루브! / ≈1 슈르릉 / ≈1 슬라임 / ≈1 슬라임! / ≈1 쭈-루-루-루- / 40 기타((빈)·Center Tail·Dry your tears 등) 4 샤라라 / ≈4 슈루라 / ≈4 슈루라! / 3 (빈) / ≈3 슈루룩 / ≈3 슈르르 / 3 슈리더! / ≈2 슈루롱 / 2 슈퍼롤 / 2 출발! / ≈1 슈두두! / ≈1 슈두두두 / ≈1 슈투루 / ≈1 슈투룸 / 14 기타(job hacerlo·knows·lights out! 등) ≈2 슈르르다 / ≈2 슈리로우 / 2 안녕하십니까 / ≈1 샤루야! / ≈1 슈루다 / ≈1 슈르라 / ≈1 슈르릉! / ≈1 슈리다우 / ≈1 슈리로 / ≈1 쭈루루루 / ≈1 쭈루루룩! / 34 기타(SHGUGO.·carrier·deserted 등) ≈9 슈루루 / ≈8 슈르르 / ≈3 샤라랑 / 2 샤라라 / ≈2 슈리로 / 2 안녕 / ≈1 샤두루 / ≈1 슈루타 / ≈1 슈루포 / ≈1 슈르렁 / 18 기타(gadotang·shoulders·구독하고 등)
아 16 eclectus ✓3 아아 / ✓2 아… / ≈1 압? / ≈1 어? / ≈1 어?! / ≈1 에쩍! / ✓1 으아?! / ✓1 으아AH 으 reliabili… / ≈1 하고 / 4 기타(AUP·Right.·UHAㅣㅣ 등) 6 (빈) / ≈1 “] 압endre?” / ≈1 뭐 하지? / ≈1 새chts까지 다음 번째 / ≈1 시원치 / ≈1 어? / ≈1 어허 / ≈1 와, 여기 이제 / 3 기타(noi는·р·뭐..) ≈3 어? / ≈3 응? / ≈1 väldigt 맛있는 것 ch… / ≈1 각? / ≈1 어?! / ≈1 어?! darkest night / ≈1 얼 ficar / ✓1 와, 아. / ≈1 이제 간식 먹을 수 있었고. … / 3 기타(cknowرك·ious·해) 11 (빈) / ≈3 응? / ✓1 아아… / 1 기타(ょ) ✓4 아 / ✓2 아아! / ✓2 아아? / ✓1 아! / ✓1 아? / ✓1 아инг.. / ✓1 아아 / ≈1 어? / ≈1 찾았다 지난로 / ≈1 흐어? / 1 기타(AWS) ≈11 응? / 3 (빈) / ✓1 아암 / ≈1 어?
안녕 4 cockatoo ≈1 아이 Так ㅋㅋ / ✓1 안녕 / 2 기타(뭐한 말?·어?) 3 (빈) / 1 기타(ар) 2 (빈) / ✓1 안녕! / 1 기타(아빠) 3 (빈) / 1 기타(머리카락) 4 기타(radas·아!!·여기가 Death 등) 2 (빈) / ✓1 안녕 / 1 기타(감사합니다.)
안녕하세요 3 cockatoo 3 기타((빈)·끌..·안32) 2 (빈) / 1 기타(아아하하) 3 기타((빈)·clothing·두 번째 eats) 3 기타((빈)·ㅋㅋㅋ·으허허) 3 기타(rt·사실?·하하) 2 (빈) / 1 기타(아깝다)
뚜둥 2 eclectus 2 기타(구독!·더</ur/>해) 2 기타((빈)·덜웡) 2 기타(descent·짜잔!) 2 기타((빈)·짜잔) ≈1 뚜뚜 / 1 기타(도라오!) ✓1 뚜둥 / ≈1 뚜뚜
핫뚜 2 eclectus 2 기타(아주.·안녕..) 2 기타(가자·갔다!!) ≈1 핫ere / ≈1 핫도그 2 기타(하트·하트!) ≈1 하시는 분들은 / 1 기타(하프ào) 2 기타(하트·하트!)
가보자 1 eclectus 1 기타(Wales) 1 기타(가프들을.) 1 기타(Wales) 1 기타(Wales) ✓1 가보자 ≈1 각 아.
뚜두두둥 1 eclectus 1 기타(자, 자, 자, 자, 자) 1 기타(boo oder) 1 기타(따따따따!) ≈1 뚜두뚜둥 1 기타(도도도도) 1 기타(따라라라)
뚜두둣 1 eclectus 1 기타(도도도!) 1 기타((빈)) 1 기타(툭툭!) 1 기타((빈)) 1 기타(구독!) 1 기타(도도도)
뚜두둥 1 eclectus 1 기타(</mi/>what do do…) 1 기타(الت) 1 기타((빈)) 1 기타(따따똥) 1 기타(도도도) ≈1 뚜뚜뚜
뚜루룽 1 eclectus 1 기타(잘oz 무) 1 기타(따뜻!) 1 기타((빈)) 1 기타(따라�asters) 1 기타(такая) 1 기타(투두둑)
빠이빠이 1 amazon 1 기타(85) ✓1 빠이빠이 ≈1 바이바이 ✓1 빠이빠이 ≈1 바이바이 ✓1 빠이빠이
아랑아밥주세요 1 amazon 1 기타(잘하는 G-PASTER!) 1 기타(알 user 파 thrilled) ≈1 알아봐 봤어요 1 기타(안녕히계세요) ≈1 사랑해 봐주세요 1 기타(알람 해봤어요?)
엄마 1 eclectus ≈1 오맞! 1 기타(うん�ρ) 1 기타(비비 Online) ✓1 엄마 ✓1 엄마! ✓1 엄마!
여보세요 1 amazon 1 기타(cafeter장 an skin…) 1 기타(그러면 gonna überze…) 1 기타(잘 먹겠습니다) ✓1 여보세요? 1 기타(가요가요~!) ✓1 여보세요?
와 1 eclectus 1 기타(WAN!!!) 1 기타(씩…) ≈1 왜 students ✓1 와아 ✓1 와아 ✓1 와아
이 1 eclectus ✓1 에이.. 1 기타(둘.) ≈1 완성has ≈1 먹 자연스럽게 ≈1 아아! ≈1 (빈)

🦜 중형조 (conure·quaker·patagonian_conure)

단어 n 종 tiny base small medium turbo large-v3
안녕 118 conure,quaker ✓26 안녕! / 20 (빈) / 2 끝! / ✓2 안녕 / ✓1 그럼 안녕oped / ≈1 되게 너무 귀여워 / ✓1 안녕하세요 / ✓1 안녕히와 하</pl/> / ≈1 안왔다. / ≈1 이와 아프네요 이 format… / ≈1 작업을 태체�uren 이젅진 … / 61 기타(1, 2, 3·A과�UND·BGM 등) 100 (빈) / ✓2 안녕! / ≈1 아, 나 협! / ✓1 안녕? / 14 기타(aprender감 있는 그런 …·p Só·synching 등) 102 (빈) / ✓7 안녕! / ✓2 안녕 / 7 기타(Galaxy S10 enemi…·구독 부탁드려요~!·끝! 등) 84 (빈) / ✓13 안녕! / ≈5 다음 영상에서 만나요! / ✓4 안녕 / 2 앗차! / 2 야! / ≈1 앗앗 / 7 기타(뀨!·끝!·앗! 등) ✓14 안녕! / ✓9 안녕 / ≈8 다음 영상에서 만나요. / 3 감사합니다. / ✓3 안녕. / 2 가자 / 2 으 / 2 하하 / ≈1 아놔 / ✓1 안녕하세요. / ≈1 오늘 김 Rex они 참치된… / 72 기타(ATT release·Bay okay!!·Bill 등) 64 (빈) / ✓28 안녕 / 11 감사합니다. / 2 끝! / ✓2 안녕! / 2 자막은 설정에서 선택하실 수 … / ✓1 안녕하세요 여러분! 오늘은 이… / ≈1 영상편집 및 자막이 도움이 되… / ≈1 촬영기자1호, 박진주 기상캐스터 / 6 기타(1, 2, 3·ㅎㅎ·거짓말을 culpawards 등)
안녕하세요 25 conure,quaker 8 (빈) / ✓1 안녕하세요! / 16 기타(679·PDF·lay 등) 20 (빈) / 5 기타(ASF1 BGM·ominous·sustainable 등) 20 (빈) / 5 기타(으워 안 돼·으흐흐·이제文Canad sustain… 등) 23 (빈) / 2 기타(worthwhile·ㅎㅎㅎㅎ) 2 하하하 / ≈1 다음 영상에서 만나요. / ≈1 안녕! / ≈1 안녕히가. / 20 기타(advogatedako �cy…·chutz·elen Sin Hazine 등) 17 (빈) / ≈3 안녕히 계세요. / ≈1 안녕히 계세요 / ≈1 안녕히 계세요! / 3 기타(고마워요·왔다 왔다·응응)
사랑해 11 conure,quaker 3 (빈) / 8 기타(face·사� comparative형·아라기이아 등) 6 (빈) / ≈1 헐!! 사람들이 / 4 기타(아 pattern·아니 아니… 씨… Wa…·안녕하세요. 등) 7 (빈) / 4 기타(……·fist Olive·phabet 등) 9 (빈) / 2 기타(끝·아 인생 Alyama) 11 기타(Martin·ah 앞장·if me 등) 7 (빈) / 4 기타(Soul·쉿!·안녕하세요. 오늘은 이곳에서 … 등)
코코야 10 conure 2 (빈) / 8 기타(alert ♥·drauf·pod..! 등) 8 (빈) / 2 기타(espera! 비트gregto…·vero琢) 9 (빈) / 1 기타(다hai) 10 (빈) 2 다음 영상에서 만나요. / 8 기타(감사합니다.·그럼НАm과를 확인himpler·날씨였습니다. 등) 9 (빈) / 1 기타(뿌야)
까꿍 5 patagonian_conure,quaker 5 기타(긴 ash·에피ography.·욕사심 등) 3 (빈) / 2 기타(inclusive·방을) 5 기타((빈)·Blockhouse·끝! 등) ✓2 까꿍 / ≈1 까까 / 2 기타((빈)·하하) 5 기타(Ridgeway·ogo·та구 등) 4 (빈) / 1 기타(다고)
귀여워 4 conure 4 기타(todo, cloak, 앨�u…·번짓 얘가·시작 등) 4 (빈) 4 (빈) 2 (빈) / 2 기타(쀼!·쨔압) 4 기타(ㅜㅜ ㅇ gosto·아니였다·자 등) 2 (빈) / 2 쭈욱
뽀뽀 4 quaker 2 (빈) / 2 기타(okay·한번 나� Immer줘!) 4 (빈) 4 (빈) 4 (빈) 2 감사합니다. / 2 기타(배지·오케이) 2 (빈) / 2 기타(감사합니다.·구독과 좋아요를 눌러주세요.)
안녕안녕 3 quaker 2 (빈) / 1 기타(андhip) 3 (빈) 3 (빈) 2 (빈) / 1 기타(쯧쯧쯧) ✓1 안녕 안녕 / 2 기타(다음 영상에서 만나요.·이걸 Eren) 2 (빈) / ≈1 안녕
안녕안녕안녕 3 quaker 3 기타(͈ Infinization·끝까지 대표·어떻게 해?) 3 (빈) 2 (빈) / 1 기타(구독과 좋아요 부탁드려요!) 3 (빈) ≈1 앙 앙 앙 / 2 기타(distress 5 press…·피 피 피 피) 2 (빈) / 1 기타(깨끗이 깨끗이 깨끗이)
그치그치 2 quaker 2 기타((빈)·여러분 가지 마주 disgui…) 2 (빈) 2 (빈) 2 기타((빈)·왜그래) 2 기타(этот·쉽지清iqu spot) 2 (빈)
토끼토끼야 2 quaker 2 (빈) 2 (빈) 2 (빈) 2 (빈) 2 기타(기회가 되나</hu/>·하$!) 2 (빈)
그치 1 quaker ≈1 그 persones 40ình… 1 기타(б) 1 기타((빈)) 1 기타((빈)) 1 기타(besides) 1 기타((빈))
때끼 1 quaker 1 기타(떡볶이) 1 기타(또 엉indo) 1 기타(additions) 1 기타((빈)) 1 기타(이상해…) 1 기타(뱅뱅)
똥싸그치 1 quaker 1 기타((빈)) 1 기타((빈)) 1 기타((빈)) 1 기타((빈)) 1 기타(오늘은) 1 기타((빈))
미안해요 1 quaker 1 기타(쉬 forever) 1 기타(오오오오오오오오오오오오오오오오…) 1 기타(뇌쇼) 1 기타(뱃뱅) 1 기타(뼈 뼈) 1 기타(감 worshic)
아구예쁘다 1 quaker 1 기타((빈)) 1 기타((빈)) 1 기타((빈)) 1 기타((빈)) 1 기타(ø) 1 기타((빈))
아이예뻐 1 quaker ≈1 아이씨 1 기타((빈)) 1 기타((빈)) 1 기타((빈)) 1 기타(얼떨) 1 기타(안녕)
왜 1 quaker 1 기타((빈)) 1 기타((빈)) 1 기타(seine) 1 기타((빈)) 1 기타(쉿) 1 기타(쉿!)
쪽 1 quaker 1 기타((빈)) 1 기타((빈)) ≈1 구독과 좋아요 부탁드려요! 1 기타((빈)) 1 기타(감사합니다.) 1 기타(감사합니다.)
토끼야 1 quaker 1 기타((빈)) 1 기타((빈)) 1 기타((빈)) 1 기타((빈)) 1 기타(말� Singing) 1 기타((빈))

🦜 소형조 (budgerigar·lovebird·cockatiel)

단어 n 종 tiny base small medium turbo large-v3
안녕 69 lovebird 14 (빈) / ≈1 presume 그 분께 연냥c… / ≈1 구독이 남자분의 fid 오픠 … / ≈1 구독자 5.רא 자동차 �ат… / ≈1 만나esus / ≈1 아이스!! / ✓1 안녕! / ≈1 조영 / ≈1 진짜 세일 준비하잖아? 아직도… / 47 기타(3분 추가 3 times 계속…·53 năm·BIN 등) 65 (빈) / ≈1 동영iv</ko/> / 3 기타(Kultur·anytime·하현 durability) 57 (빈) / ≈8 구독과 좋아요 부탁드려요! / 4 기타(daughter·hearings·เค 등) 67 (빈) / ≈1 구독과 좋아요는 큰힘이 됩니다. / 1 기타(치익) ≈56 다음 영상에서 만나요. / 3 감사합니다. / ≈3 다음 영상에서 만나요! / 7 기타(esqu산·winding down·경 등) 39 (빈) / 25 시청해주셔서 감사합니다. / ≈2 구독과 좋아요를 눌러주세요. / ≈2 다음 영상에서 만나요! / 1 기타(자막 제공 및 자막 제공 및 …)
최고 6 lovebird 2 (빈) / 4 기타(thrilling·됩니다.·안좋아요. 등) 5 (빈) / 1 기타(쫙쥛 저번) 5 (빈) / 1 기타(구독과 좋아요 부탁드려요!) 6 (빈) 6 기타(concret yeah·première型 Q5 연구 …·через 입 등) 4 (빈) / 2 기타(시청해주셔서 감사합니다.·쭈욱)
까꿍 3 lovebird 3 기타(! ^^·(빈)·맞다!) 2 (빈) / 1 기타(으 아 으) 3 (빈) 3 (빈) 3 기타(exposure·다음 영상에서 만나요!·수� knows 확인) 3 (빈)
안녕하세요 2 lovebird 2 기타(김현아·이 부분에서) 2 기타((빈)·조금 Но 약간) 2 기타((빈)·크크아) 2 기타((빈)·집으로 넘어가는 달고나) 2 기타(민 Major·이리 зах쥐) 2 (빈)

🧑 (참고) 사람 보호자 기준음성

단어 n 종 tiny base small medium turbo large-v3
안녕 88 human ✓69 안녕! / ✓8 안녕 / ✓1 안녕!! / ✓1 안녕? / ✓1 안녕♥각 / ≈1 엔딩! / 7 기타(captive·блièrement 막 갖고rs·그딸들이 크는 체피INT V … 등) 33 (빈) / ✓17 안녕 / ✓11 안녕! / ≈1 아눠 / ≈1 아는데 이 이상은 저 때는 / ≈1 아니다. / ≈1 아이! / ✓1 안녕? / 22 기타(Previously made …·SAMSII·SNC에 등) ✓79 안녕! / ✓4 안녕 / 2 (빈) / ≈1 구독과 좋아요는 저에게 아주 … / 2 기타(가시기·끝!) ✓58 안녕! / ✓15 안녕 / ≈3 아우! / 2 END / ≈2 아야! / ≈2 아잇! / ≈2 앙! / ≈1 아잉! / ≈1 앙무! / 2 기타((빈)·아고!) ✓61 안녕! / ✓10 안녕 / 4 아! / ≈3 아유! / ≈1 아 우�ut / ≈1 아노 / ≈1 아니요 / ≈1 아니요! / ≈1 아이유 / ✓1 안녕? / 4 기타(알 pure·앟 shred·오늘! 등) ✓49 안녕! / ✓21 안녕 / ≈6 안뇽 / ≈3 아유! / ≈3 앙! / ≈1 아, 아니! / ≈1 아놔 / ≈1 아닛 / ≈1 엔뇨 / 2 기타((빈)·하이!)
슈루룽 14 human 14 기타(Deserts·Glas tonight·See you tomorrow! 등) 14 기타(Kangtang놈·Road 러쉬·ολ꿍 등) ≈1 쇼라랑 / ≈1 슈라란 / 12 기타(accessibility·dus·essa의 등) 2 샤라란 / ≈1 샤라랑 / ≈1 슈라란 / 10 기타((빈)·Bye Bye·따다단! 등) ≈3 샤라랑 / ≈1 샤라랑! / ≈1 샤르랑 / 9 기타(Smack spicy!·ta-da-da·다다다! 등) ≈8 샤라랑 / ≈1 슈라랑 / 5 기타(따라란·쇼드방!·안녕 등)
안녕하세요 12 human ✓6 안녕하세요 / ✓3 안녕하세요! / ✓3 안녕하세요. ✓6 안녕하세요 / ≈2 안녕하세용 / ≈2 안녕하십시오 / ✓1 안녕하세요? / 1 기타(새우) ≈6 안녕하세용 / ✓3 안녕하세요 / ≈2 안녕하세용! / ≈1 안녕하세여 ✓9 안녕하세요 / ✓1 안녕하세요! / ✓1 안녕하세요. / ≈1 안녕하세용 ✓12 안녕하세요 ✓8 안녕하세요 / ✓2 안녕하세요. / ≈1 안녕히 계세요 / ≈1 안녕히 계세요.
까꿍 8 human ≈1 가꾸! / 7 기타(Kathleen·Ketcol·Mhm 등) ≈1 깎음 / 7 기타(4초·Let’s eat·олет重 등) ✓3 까꿍 / ✓3 까꿍! / 2 기타(Splash!·backbone) ✓6 까꿍 / ≈1 짜꿍 / 1 기타(grappling u) ✓3 까꿍! / ✓1 까꿍 / ≈1 짝꿍 / 3 기타(깍공·끝 cùng·짜끈) ✓4 까꿍 / ✓3 까꿍! / ≈1 짝꿍
사랑해 8 human ✓5 사랑해! / ✓2 사랑해 / ≈1 사망이 ✓8 사랑해 ✓8 사랑해 ✓4 사랑해~~ / ✓3 사랑해 / ✓1 사랑해♥ ✓7 사랑해 / ✓1 사랑해. ✓8 사랑해
최고 6 human ✓4 최고! / 2 기타(茶이 부·제목) ✓4 최고! / 2 기타(A BALL·제보) ✓4 최고! / ✓1 최고 / 1 기타(왜� Tyl…) ✓6 최고! ✓6 최고! ✓6 최고!
귀여워 5 human ✓2 귀여워 / ✓1 귀여워! / ✓1 귀여워? / 1 기타(피오) ✓3 귀여워 / 2 기타(ка엑·키워?) ✓3 귀여워 / ✓2 귀여워? ✓2 귀여워 / ✓2 귀여워? / ✓1 귀여워! ✓3 귀여워 / ✓2 귀여워? ✓2 귀여워 / ✓2 귀여워? / ✓1 귀여워.
코코야 5 human ≈1 고고야! / ≈1 도콕, ihren 도콕 안 e… / ≈1 초코야! / ≈1 초콜릿! / ✓1 코코야! ✓3 코코야 / ≈1 고고와 / ≈1 고구야 ✓3 코코야 / ≈1 고고야 / 1 기타(ここ야!) ✓3 코코야 / ≈1 고고야! / ✓1 코코야! ✓2 코코야! / ≈1 고고야! / ✓1 코코야 / 1 기타(ここや) ✓5 코코야
슈루루룽 4 human 4 기타(ars·규우 다 다·끝을 걸 gon 등) 4 기타(softly·고ifferent 향해지는 -…·희 등) ≈1 슈라라라 / 3 기타(flat out·쇼라라라·쭈�莵 علي) ≈1 슈라라랑 / ≈1 슈루루룩 / 2 기타(요로로롱·으쌰 조�raph롱) ≈1 샤라라랑 / ≈1 샤라로롱 / ≈1 슈라라라 / 1 기타(샤라라오) ≈2 샤라라랑 / ≈1 슈라라라 / 1 기타(샤라라라)
뽀뽀 3 human 3 기타(Windows 4 Crazy·나� panelists San…·모두 이미 haravi 영 p…) ✓2 뽀뽀 / 1 기타((빈)) ✓3 뽀뽀 ✓2 뽀뽀! / 1 기타((빈)) ✓2 뽀뽀 / ✓1 뽀뽀! ✓2 뽀뽀 / ✓1 뽀뽀!
사과 3 human ✓3 사과 ✓3 사과 ✓3 사과 ✓3 사과 ✓2 사과. / ✓1 사과 ✓3 사과
그치그치 2 human ≈1 그렇지구치 dd / 1 기타(끝이 끝이) ≈1 고치고치 / ≈1 시그치 ≈1 꼬치꼬치 / 1 기타(지구찌) ✓1 그치 그치 / ✓1 그치그치 ≈1 구찌구찌 / ✓1 그치 그치 ✓1 그치 그치 / ≈1 지그치
뚜둥 2 human 2 기타((빈)·leh relation) 2 기타(따란·팝) 2 기타(따란·짜잔!) 2 기타(aren’t you·따란~~) 2 기타(DotONG·따란!) 2 기타(따란·일단)
아 2 human ≈1 어? / ≈1 음 ≈1 응? / 1 기타((빈)) ≈2 응? ≈2 응? ≈2 응? ≈2 응?
때끼 1 human 1 기타(힘들게요) 1 기타(Here is one of t…) 1 기타(transcription ver) 1 기타(왜?) 1 기타(여기) 1 기타(특히)
똥싸그치 1 human 1 기타(우타고 did) 1 기타(높은) 1 기타(5분만 qued으세요) 1 기타(너 타쿠치?) ≈1 또 타쿠치? 1 기타(ordo)
뚜두두둥 1 human 1 기타(짝착푁) 1 기타(쫄 site) 1 기타(짜짜짜잔) ✓1 뚜두두둥 1 기타(도도도도) 1 기타(따따따따)
뚜두둣 1 human 1 기타(다소소) 1 기타(자, 그럼 PLAYING IN…) 1 기타(떠써써) 1 기타(달mm pouco) 1 기타(뼈다다다다) 1 기타(따라따라라)
뚜두둥 1 human 1 기타(가자!) 1 기타(對對aaa) 1 기타(따따따) 1 기타(따다단!) 1 기타(따라 tradition) ≈1 따다당
뚜루룽 1 human 1 기타(들어가오) 1 기타(잦 accomund lonely) 1 기타(따라란) ≈1 뚜루룩. 1 기타(도로로!) ≈1 따라랑
미안해요 1 human ✓1 미안해요 ✓1 미안해요 ✓1 미안해요 ✓1 미안해요 ✓1 미안해요 ✓1 미안해요
엄마 1 human 1 기타(아.) 1 기타((빈)) 1 기타(잘 지�ificial 하� i…) 1 기타((빈)) 1 기타(었는데 lots of 000 …) 1 기타(감사합니다.)
왜 1 human 1 기타(abet) ≈1 부분 어? 위ator WB ✓1 왜? ✓1 왜? ✓1 왜? ✓1 왜?
핫뚜 1 human ≈1 핫도그 1 기타(안녕!) 1 기타(안녕) ≈1 핫도그 ≈1 핫도우 ≈1 핫도우

아래 분석은 완화 판정(자모 CER≤0.5) 기준이다.

1편의 음향 분석에서 확인한, 대형조 일수록 사람 음성에 가까워지는 점진적 변화가 인식 결과에서도 그대로 나타난다.

  • 소형조(lovebird)
    • 완화된 레벤슈타인 거리 기준으로도 large-v3 0.05로 사실상 0%이다.

  • F0가 2.2kHz라 사람 음소 구조가 성립하지 않아 자음 골격까지 맞지 않기 때문인 것으로 추측된다.

      

  • 중형조에서 인식되는 단어는 conure의 ‘안녕’ 하나 뿐이다.
  • conure 안녕 74클립에서 base 4% → small 12% → medium 23% → large-v3 41%로 모델이 커질수록 인식률이 상승한다.
  • 완화된 레벤슈타인 거리 기준으로도, 같은 conure의 사랑해·코코야·귀여워는 모든 모델에서 인식률 0% 
  • 사람 보호자 녹음은 잘 인식된다.
    • 표준어 정확 인식 large-v3 82.8%에 더해, 완화 기준에서는 ‘안뇽’·’코코야’ 변형 등 near-standard가 추가돼 large-v3 .91·medium .84
      • 표준어 - 안녕·사랑해·까꿍·빠이빠이·여보세요·엄마·와
      • 비표준어 - 슈루룽·슈루루룽·뚜둥·핫뚜·때끼·똥싸그치

2-2. 대형조 ‘슈루룽’

<eclectus 슈루룽(48) 인식률 — 판정 기준별>

판정 기준 tiny base small medium turbo large-v3
정확 어휘 (CER 0) 0% 0% 0% 0% 0% 0%
근접 자모 CER≤0.5 (슈루루·샤라랑급) 0% 0% 16% 35% 27% 56%

medium·large-v3의 실제 출력을 보면 음가는 따라간다:

large-v3 슈루룽 출력:  슈루루(9) / 슈르르(8) / 샤라랑(3) / 슈리로(2) / 슈루타 / 슈루포 ...
medium  슈루룽 출력:  슈루라 / 슈루라! / 슈루룩 / 슈르르 / 슈루롱 ...
tiny    슈루룽 출력:  좋아요…  (전부 무관)

슈루루/슈르르/슈루라/슈루룩 

  • 초성·중성이 맞는 근사 전사다. 레벤슈타인 거리로 1음절을 인식으로 인정하면(자모 단위 CER≤0.5, ‘샤라랑’처럼 자음 골격이 맞는 것까지 통과)
  • medium 35%·large-v3 56%의 성능을 보인다. 
  • 사실상 인식이 어느정도 가능하다고 보여진다.

표준 단발어(amazon '빠이빠이'·'여보세요', eclectus '엄마'·'와')

  • 큰 모델이 정확히 인식한다(각 n=1).
  • 즉 대형조의 ‘슈루룽’ 단어 인식의 어휘 인식 실패는 “대형조라서”가 아니라 비표준어라서일 가능성이 높다.

🖐️ 결과 정리 🖐️

  1. 소형조는 Whisper로 텍스트 전사가 불가능. 0%의 정확도.
  2. 중형조 conure ‘안녕’ 41% 인식 성공 -‘안녕’은 표준어로 Whisper 사전 안에 있기에, 높은 성능을 보인 것으로 추측된다.
    • 같은 conure의 사랑해·코코야·귀여워의 경우, 모든 모델에서 인식 성능 0% (안녕만 41%)
    • 같은 중형조인 quaker → 모든 모델에서 인식 성능 ≤2%
  3. 대형조는 Whisper medium 이상의 모델 부터 비교적 신호가 뚜렷해진다.
    • 다만 대형조의 데이터가 적었고,
    • 가지고 있는 데이터가 대형조 중에서도 말을 잘하는 개체이므로 이로 인한 편행된 결과일 가능성이 존재한다.

프로젝트 방향 결정

  • ‘소&중 / 대형’ 2분류로 분류할 예정이다. 
    • 소/중형조는 음향 성격이 비슷하고, 사람 음향과의 유사도가 매우 낮아 분류가 필요없음을 확인했다.**
    • 다만 서비스에서 ++사용자가 앵무새 종을 등록++하므로, 판별 모델은 기존대로 앵무/비앵무만 판별하고 ++종 정보로 소중/대형조를 매핑하는 방안++이 현실적일 것으로 생각하고 있다.
  • 단어 모사 판정의 경우, 대형조 한정으로 표준어에 대해 Whisper 판정 가능성을 확인했다.
  • 다만, 대형조의 비표준어(슈루룽 등) 인식 부문에서는 ‘자기지도 임베딩+DTW 매칭(보호자 기준음성과의 유사도)’이 더 높은 성능을 보인다.
    • 같은 eclectus 종 ‘슈루룽’ 조건에서 자기지도 임베딩+DTW 매칭(보호자 기준음성과의 유사도)이 recall 77%로 더 높다.

참고1. 대형조 ‘슈루룽’에 대한 SSL+DTW

같은 eclectus 슈루룽을, 전사가 아니라 보호자 기준음성과의 음향 유사도 매칭(SSL+DTW, ContentVec 임베딩 × DTW)으로 판정한 결과

<eclectus 슈루룽 — 방법별 인식>

방법 인식/recall
Whisper 정확 어휘 0% (전 크기)
Whisper 근접 (자모 CER≤0.5, 슈루루·샤라랑급) medium 35% · large-v3 56%
SSL+DTW (보호자 기준음성 매칭) 77.0% (BB-428 S10, n=48)

참고2. 앵무 비발화(울음), 잡음(TV소리, 생활소음 등)에 대한 Whisper 테스트 결과

<환각률: 무음/잡음에 없는 말 생성>

그룹 n tiny base small medium turbo large-v3
non_speech(앵무 비발화) 425 16% 4% 14% 11% 100% 62%
noise(잡음) 920 20% 12% 16% 15% 100% 69%
(참고) no_speech 게이트 前 425 100% 100% 100% 100% 100% 99%
  • 원래 Whisper는 뭘 넣든 항상 텍스트를 만들기에 발생하는 문제이다.

→ 결론: 비발화·잡음 판정은 Whisper가 아니라 앞단의 step2 parrot gate(앵무/비앵무 게이트)로 거르는 것이 효과적이다.