1. 언리얼 플러그인

기존 무료였으나 유료로 바뀌었다. 약 20~30만원. 가난한 나는 포기할 수 밖에 없다.

  1. 생성형 AI

요즘 AI 성능이 좋아 플레이어 음성을 api에 보내고 텍스트 형태로 응답받을 수 있다. 하지만 특정 기간동안 음성을 인식하는게 아닌 실시간 게임에서 음성인식을 이용해 스킬을 날리는 걸 구상중이기에 항상 api를 호출하는건 부담된다.

  1. 직접 만들어라.

필요한건 모든 대화 내용을 텍스트로 바꾸는게 아니다. 특정 키워드만 포함되어 있는지 분석하는 것이다.

방법 1. 오픈소스 음성인식 + 문자열 비교 Whisper-tiny / Vosk / DeepSpeech 같은 경량 STT(음성→텍스트) 모델을 사용해서

  1. 음성을 텍스트로 변환하고,
  2. "fire" 포함 여부만 검사.

if "fire" in recognized_text.lower(): print("Fire detected!") ✅ 장점: 완전 오프라인 가능 ✅ Whisper-tiny 모델은 75MB 정도로 작고 정확도도 꽤 높음 ⚠️ 단점: 영어 발음이 다양하면 인식률이 살짝 낮을 수 있음


✅ 방법 2. Keyword Spotting (KWS) — “Fire”만 인식하도록 학습된 모델 이건 음성을 텍스트로 변환하지 않고,특정 단어가 포함됐는지만 실시간으로 감지하는 모델 대표 라이브러리 Picovoice Porcupine 🦊→ 오프라인으로 “Fire” 같은 단어만 인식 가능→ Unreal / Unity / C++ SDK 제공→ 매우 빠르고 가벼움 (수 밀리초 단위)

if (porcupine.Detect(audioFrame) == "FIRE") { // 마법 발사!} ✅ 장점: 빠름, 오프라인, 토큰 소비 없음 ✅ Unreal/Unity용 SDK 지원 ⚠️ 단점: 등록된 단어(Hotword)만 인식 가능(예: “Fire”, “Heal”, “Shield” 정도만 가능)

한국어 키워드 감지 초안

  1. 음성 캡처 & 프리프로세싱 마이크 입력을 일정 길이(예: 1 ~ 2초) 단위로 자르고 노멀라이즈, 잡음 제거, 음량 스케일링 등을 적용

  2. 키워드 검출 모델 선택 / 제작 방법 A: STT 모델(예: KoSpeech, Whisper)을 사용 → 전체 문장을 텍스트로 변환 → 텍스트에서 “fire”, “파이어”, “발사” 등 키워드 포함 여부 검사 방법 B: 키워드 스팟팅(Keyword Spotting) 모델 직접 활용 또는 제작 → “Fire” 단어만 인식하도록 경량화된 네트워크 사용

  3. 인식 후 처리 키워드 검출 시 게임 이벤트 트리거(예: “발사” 액션) 검출 실패 시나 오탐 시 약간의 딜레이나 필터링 추가

  4. 튜닝 및 테스트 다양한 사용자 발음, 마이크 조건, 배경 노이즈 환경에서 테스트 민감도(sensitivity) 조정: 너무 민감하면 잡음 잡히고, 너무 느슨하면 단어 놓침