Ekstraksi subtitle

OCR dan ASR adalah titik awal yang berbeda untuk subtitle

Teks di layar dan dialog lisan memerlukan jalur bukti, koreksi, dan pengaturan waktu yang berbeda.

Kesimpulan utama

• OCR video membaca teks yang sudah terlihat dalam bingkai.
• ASR mengenali ucapan dari trek audio.
• Tidak satu pun dari kedua jalur menghilangkan kebutuhan akan pengaturan waktu, pemfilteran, dan peninjauan.

OCR video berguna ketika sumber memuat subtitle hardcode atau teks dialog lain yang terlihat. Alur praktisnya mencari kandidat teks di seluruh bingkai, mengelompokkan pengamatan berulang dari waktu ke waktu, memfilter teks adegan dan hasil positif palsu, lalu mengubah area yang tersisa menjadi cue bertanda waktu.

ASR berawal dari ucapan. Jalur ini berguna ketika audio terdengar jelas dan teks sumber tidak tersedia, tetapi tetap harus menangani segmentasi, pembicara, jeda, aksen, ucapan yang tumpang tindih, dan kecepatan baca subtitle. Hasilnya tidak otomatis sama dengan teks yang terlihat dalam gambar.

Titik awal yang tepat bergantung pada sumber. Trek subtitle yang bersih mungkin menjadi input terbaik; subtitle hardcode dapat menjadikan OCR sebagai jalur langsung; sedangkan ucapan tanpa teks mungkin memerlukan ASR. Sistem produksi harus membedakan jalur-jalur ini dengan jelas agar tim mengetahui apa yang diamati, apa yang disimpulkan, dan apa yang masih perlu ditinjau.

Pilih bukti sebelum memilih alat

Periksa apakah sumber memiliki trek subtitle yang bersih, teks yang menyatu dengan gambar, ucapan yang dapat dipahami, musik atau efek, pembicara yang tumpang tindih, dan teks adegan. Kondisi sumber menentukan apakah OCR, ASR, file yang disediakan, atau lebih dari satu jalur merupakan pilihan yang tepat.

OCR mengikuti teks yang terlihat dari waktu ke waktu

Jalur OCR video yang andal mendeteksi kandidat, mengelompokkan pengamatan di bingkai yang berdekatan, memfilter logo dan teks adegan, memperbaiki kesalahan pengenalan, lalu menghasilkan cue dengan pengaturan waktu. Area dan rentang waktunya tetap menjadi bukti yang berguna untuk peninjauan dan pembersihan gambar.

1. Deteksi kandidat teks dalam bingkai yang representatif.
2. Kelompokkan pengamatan berulang menjadi cue berbasis waktu.
3. Filter teks adegan dan hasil positif palsu.
4. Perbaiki susunan kata dan bandingkan dengan audio bila diperlukan.
5. Tinjau pengaturan waktu, pemenggalan, dan kecepatan baca sebelum mengekspor.

ASR mengikuti ucapan, bukan gambar

ASR dapat merekonstruksi dialog ketika audio dapat digunakan, tetapi tidak mengetahui teks mana yang terlihat dan merupakan bagian dari dialog. Pergantian pembicara, jeda, aksen, musik, dan dialog yang tumpang tindih memerlukan segmentasi dan peninjauan.

• Periksa kejernihan audio dan gangguan latar belakang.
• Tandai pergantian pembicara dan ucapan yang tumpang tindih.
• Atur panjang cue, jeda, dan kecepatan baca subtitle.
• Bandingkan nama dan istilah dengan catatan seri.

Bedakan kedua jalur dengan jelas

OCR dan ASR dapat dibandingkan atau digunakan bersama, tetapi salah satunya tidak boleh dianggap sebagai pengganti otomatis bagi yang lain. Catat bukti yang menghasilkan setiap cue dan apa saja yang dikoreksi.

Pertanyaan umum

Haruskah OCR dan ASR selalu digabungkan?

Tidak. Gunakan jalur yang didukung oleh sumber. Menggabungkan keduanya dapat membantu memeriksa silang subtitle hardcode dan ucapan yang jelas, tetapi juga menambah tahap penyelarasan.

Apakah hasil OCR dapat langsung diterjemahkan?

Biasanya tidak. Saring teks adegan, perbaiki hasil pengenalan, verifikasi waktu dan kecepatan baca, lalu kunci versi sumber terlebih dahulu.

Bisakah ASR memulihkan teks yang tidak pernah muncul dalam video?

Dialog lisan dapat dipulihkan dari audio yang dapat digunakan, tetapi ucapan di luar layar, ucapan yang tumpang tindih, musik, dan pelafalan yang tidak jelas tetap perlu ditinjau.