Teknologi pembuatan subtitle
Subtitle produksi bukan sekadar transkrip yang diberi stempel waktu belakangan. Weydub menggunakan dua alur kerja terpisah: OCR video temporal untuk teks yang sudah menyatu dengan gambar dan ASR siap subtitle untuk dialog yang hanya ada dalam audio.
Bisakah kamu memaafkan Ayah?
Satu frame sumber dapat memuat beberapa kelas teks yang terbaca. Hanya dialog yang termasuk dalam lini masa subtitle.
Benchmark drama pendek dengan judul yang sama
Weydub mengevaluasi jalur OCR subtitle hardcode miliknya terhadap satu baseline ASR khusus audio yang diuji pada set validasi drama pendek dengan judul yang sama, menggunakan referensi subtitle editorial yang ditinjau manusia sebagai acuan utama.
Kesenjangan pada tingkat cue tetap besar bahkan setelah pencocokan dengan toleransi batas waktu. Bagi tim lokalisasi, perbedaan itu berarti lebih sedikit baris yang terpotong, lebih sedikit dialog yang terlewat, dan lini masa sumber yang lebih andal sebelum penerjemahan dan dubbing.
Penjelasan teknis
Ikuti dua jalur sinyal terpisah dari video sumber hingga SRT dengan kode waktu yang dapat diedit, lalu lihat mengapa akurasi pada tingkat cue lebih penting daripada satu skor pengenalan.
Pilih sumber yang lebih kuat
Gunakan OCR jika video sudah berisi subtitle hardcode yang andal. Gunakan ASR jika dialog ada dalam audio, tetapi tidak ada teks subtitle layak pakai yang terlihat.
Drama pendek memperjelas perbedaannya. Musik, efek, aksen, tangisan, teriakan, bisikan, suara yang saling tumpang tindih, dan dialog sehari-hari dapat mengganggu pengenalan ucapan. Trek subtitle yang diedit secara profesional sering kali merepresentasikan dialog yang dimaksud dengan lebih bersih.
Paling cocok untuk subtitle yang menyatu dengan gambar, takarir, dan teks dialog yang terlihat. Tantangan utamanya adalah mengubah deteksi berulang dari tiap frame menjadi satu lini masa yang stabil sekaligus menyaring teks adegan.
Paling cocok saat trek audio menjadi satu-satunya sumber dialog. Pengenalan hanyalah langkah pertama; segmentasi subtitle agar mudah dibaca, pengaturan waktu, panjang baris, dan pergantian pembicara menentukan apakah hasilnya dapat digunakan.
OCR Video
Pada 30 fps, satu menit video berisi 1.800 frame. Menjalankan OCR generik secara terpisah pada setiap frame mengulang pekerjaan dan menghasilkan kotak teks duplikat. Produk subtitle video harus menghubungkan hasil pengamatan tersebut menjadi peristiwa subtitle dengan kode waktu.
FRAME 01500.50s
FRAME 02000.65s
FRAME 02400.80s
FRAME 02900.95s
00:00:00,420 --> 00:00:02,260
你能原谅爸爸吗
Gunakan area yang relevan atau seluruh frame untuk menemukan teks yang mungkin termasuk dalam trek dialog.
Kelompokkan deteksi yang berdekatan berdasarkan teks, posisi, dan durasi kemunculannya untuk memperkirakan satu peristiwa yang stabil.
Kurangi teks adegan yang tidak terkait dan perbaiki gangguan pengenalan yang jelas tanpa mengarang dialog.
Gabungkan fragmen, tetapkan batas awal/akhir, dan ekspor peristiwa subtitle SRT yang dapat diedit.
Pengendalian hasil positif palsu
Frame dapat memuat papan tanda, layar ponsel, label produk, logo, kartu nama, peringatan, dan overlay promosi. Weydub menyediakan pemfilteran teks adegan karena trek subtitle seharusnya berisi dialog, bukan setiap piksel yang dapat dibaca.
Ucapan ini perlu dimasukkan ke trek subtitle bertanda waktu.
Teks hukum atau produksi yang terus tampil bukanlah dialog.
Overlay identitas karakter tidak dimasukkan ke linimasa dialog.
Parameter, skala, dan overlay perangkat tetap menjadi bagian dari gambar.
OCR video harus mengklasifikasikan teks sebelum dapat menghasilkan file subtitle yang berguna.
ASR siap subtitle
ASR tradisional mengenali ucapan. Pembuatan subtitle menambahkan penentuan cue: membagi aliran kata menjadi cue ringkas, mudah dibaca, dan bertanda waktu yang sesuai dengan makna kalimat, jeda, pergantian pembicara, serta batasan tampilan.
Kita tidak dapat mengirim satu paragraf ke pemutar karena subtitle memerlukan batas yang mudah dibaca dan setiap pergantian pembicara harus tetap jelas.
Kita tidak dapat mengirim satu paragraf
Ake pemutar.
ASubtitle memerlukan batas yang mudah dibaca,
Bdan setiap pergantian pembicara harus tetap jelas.
BKonteks sumber terbuka
Proyek publik mengukur sinyal yang berbeda pada set data yang berbeda. Proyek tersebut berguna untuk menunjukkan seberapa besar akurasi berubah berdasarkan sistem tulisan, bahasa, derau, dan kondisi perekaman. Namun, proyek tersebut bukan satu papan peringkat untuk kesiapan subtitle video.
Akurasi pengenalan pada set data multibahasa khusus sistem tulisan yang telah dipublikasikan. Ini mengukur pengenalan teks, bukan alur kerja subtitle video berbasis waktu dari awal hingga akhir.
Baca tolok ukur PaddleOCRMakalah yang sama melaporkan 2.7% pada LibriSpeech clean, 25.5% pada ucapan berderau CHiME-6, dan 36.4% pada ucapan jarak jauh AMI. Kondisi perekaman mengubah hasil secara drastis.
Baca makalah WhisperOperasi, bukan metrik yang sekadar terlihat bagus
Pada seri yang berjalan lama, kepadatan kesalahan yang rendah memungkinkan peninjauan sampel secara terfokus. Kepadatan kesalahan yang tinggi memaksa operator meninjau baris demi baris, sehingga koreksi subtitle menjadi hambatan produksi.
Setiap koreksi mengharuskan seseorang menemukan cue, memutar ulang konteks, memverifikasi kata-kata yang dimaksud, mengeditnya, lalu memeriksanya kembali. Saat kesalahan sangat padat, operator tidak lagi memercayai hasil dan meninjau setiap baris.
Kualitas lokalisasi
Banyak kesalahan yang tampak seperti kesalahan penerjemahan atau dubbing sebenarnya bermula lebih awal. Kata sumber yang salah, batas cue yang buruk, atau pergantian pembicara yang keliru diteruskan ke setiap model berikutnya. Lihat bagaimana linimasa sumber yang andal menjadi masukan bagi penerjemahan subtitle berbasis konteks pada tingkat seri lalu mendukung dubbing AI berbasis karakter dan penyelarasan audiovisual.
Penyerahan hasil produksi
Kualitas pengenalan penting, tetapi produksi juga memerlukan batch, pelacakan status, hasil yang dapat diedit, callback, serta serah terima yang lancar ke penerjemahan dan dubbing AI.
Unggah beberapa episode, pilih OCR atau ASR untuk setiap sumber, dan kelola pekerjaan seri yang berulang dalam satu ruang kerja produksi.
Pelajari alur kerja StudioTinjau status tugas, buka hasil tugas yang telah selesai, unduh SRT yang dapat diedit, lalu lanjutkan ke penerjemahan atau dubbing.
Baca panduan pembuatan subtitleKirim tugas OCR atau ASR, simpan ID proyek dan pekerjaan, lalu gunakan polling atau pengiriman melalui callback dalam pipeline media Anda sendiri.
Baca referensi APIJawaban yang jelas
Definisi yang ditulis untuk operator, pengembang, mesin pencari, dan sistem AI yang memerlukan deskripsi akurat tentang alur kerja ini.
Pembuatan subtitle AI mengubah teks yang terlihat atau dialog lisan menjadi cue subtitle bertanda waktu. Hasil produksi mencakup teks, waktu mulai/selesai, segmentasi cue yang mudah dibaca, informasi bahasa, dan format yang dapat diedit seperti SRT.
Ya. OCR video dapat mendeteksi teks yang menyatu dalam frame, mengelompokkan deteksi berulang sepanjang waktu, memperkirakan batas cue, memfilter teks adegan yang tidak terkait, dan mengekspor cue subtitle bertanda waktu.
Jika subtitle yang tertanam akurat, OCR membaca sinyal teks editorial yang tidak terlalu terpengaruh oleh musik, efek, aksen, tangisan, teriakan, bisikan, dan dialog yang tumpang tindih.
Transkrip dapat berupa satu paragraf panjang atau memiliki batas yang tidak sesuai dengan kecepatan membaca. ASR siap subtitle harus membuat cue ringkas bertanda waktu dengan batas semantik dan pergantian pembicara yang masuk akal.
Tidak. OCR dan ASR adalah mode pembuatan yang terpisah. Tim dapat membandingkan hasilnya saat peninjauan, tetapi Weydub tidak menyebut setiap tugas sebagai alur kerja OCR/ASR yang digabungkan secara otomatis.
Bangun linimasa sumber yang lebih baik
Pilih OCR untuk teks yang tertanam atau ASR untuk ucapan, tinjau SRT bertanda waktu, lalu lanjutkan ke penerjemahan, dubbing AI, dan ekspor.
Mulai dengan Weydub