Kiến trúc Kỹ thuật: Hệ thống Dịch thuật và Lồng tiếng Video AI thời gian thực (Độ trễ thấp)

[Client Capture] --- WebRTC Audio ---> [Ingestion Gateway] 
                                              |
                                     (Socket stream / ts chunks)
                                              v
[Voice Dubbed Output] <-- WebRTC/TTS --- [AI Orchestration Pipeline]
                                         - Whisper ASR (1-2s window)
                                         - LLM Context Translation
                                         - Neural Voice Cloning (TTS)
                                         - FFmpeg Sync / Lip-Sync
``/

---

### 2. Thiết lập Gateway thu nhận âm thanh bằng WebRTC
Để thu tín hiệu âm thanh thô trực tiếp từ microphone của client với độ trễ tối thiểu, chúng tôi sử dụng cấu hình **WebRTC PeerConnection** thay vì HTTP POST. Đoạn mã TypeScript thiết lập luồng client-side:

```typescript
// client-webrtc-streamer.ts
export async function initializeWebRTCAudioStream(serverUrl: string) {
  const localStream = await navigator.mediaDevices.getUserMedia({ audio: true, video: false });
  const peerConnection = new RTCPeerConnection({
    iceServers: [{ urls: "stun:stun.l.google.com:19302" }]
  });

  // Add track
  localStream.getTracks().forEach(track => peerConnection.addTrack(track, localStream));

  // Handle connection
  peerConnection.onicecandidate = (event) => {
    if (event.candidate) {
      // Gửi candidate qua kênh tín hiệu (signaling channel)
      sendCandidateToServer(event.candidate);
    }
  };

  return peerConnection;
}

# fastapi_socket_asr.py
from fastapi import FastAPI, WebSocket
import asyncio

app = FastAPI()

@app.websocket("/ws/stream-audio")
async def websocket_audio_endpoint(websocket: WebSocket):
    await websocket.accept()
    audio_buffer = bytearray()
    
    try:
        while True:
            data = await websocket.receive_bytes()
            audio_buffer.extend(data)
            
            # Nếu bộ đệm tích lũy đủ 2 giây dữ liệu (tương đương 64KB tại 16kHz)
            if len(audio_buffer) >= 64000:
                chunk = audio_buffer[:64000]
                del audio_buffer[:64000]
                
                # Gọi tiến trình xử lý Whisper ASR bất đồng bộ
                text = await run_whisper_inference(chunk)
                if text.strip():
                    await websocket.send_json({"type": "ASR_RESULT", "text": text})
    except Exception as e:
        print(f"Connection closed: {e}")

# Lệnh FFmpeg điều chỉnh tốc độ tệp audio lồng tiếng nhanh lên 1.25 lần mà không đổi cao độ
ffmpeg -i cloned_voice.wav -filter:a "atempo=1.25" -vn synced_voice.wav