API thời gian thực và mô hình lời nói tiên tiến mới, GPT-Realtime (OpenAI)

Nội dung video

Video gốc: Video giới thiệu về việc OpenAI phát hành mô hình giọng nói tiên tiến mới, gpt-realtime, cùng với API thời gian thực được cải tiến, cả hai đều đã sẵn sàng cho các nhà phát triển sử dụng bắt đầu từ hôm nay. Đây là một bước tiến lớn trong việc kích hoạt các tác nhân AI có thể nói và nghe với chất lượng giọng nói ở cấp độ con người. 1. Giới thiệu về gpt-realtime và API thời gian thực: • gpt-realtime là một mô hình từ lời nói sang lời nói (speech-to-speech), có nghĩa là nó hiểu và tạo ra âm thanh một cách tự nhiên. Điều này khác với kiến trúc cổ điển gồm các mô hình phiên âm, ngôn ngữ và giọng nói riêng biệt. • Kiến trúc speech-to-speech mang lại những lợi thế tự nhiên: nó nhanh chóng, có thể nghe được những sắc thái như tiếng cười hay tiếng thở dài, có phạm vi cảm xúc rộng khi nói và có thể chuyển đổi ngôn ngữ ngay trong câu. • Mô hình này được đào tạo với sự hợp tác chặt chẽ cùng các khách hàng đang xây dựng ứng dụng giọng nói sản xuất, được điều chỉnh cẩn thận cho các kịch bản như hỗ trợ khách hàng và gia sư học thuật. • API thời gian thực đã được ra mắt phiên bản beta năm ngoái và kể từ đó, OpenAI đã nỗ lực cải thiện các mô hình giọng nói của mình không chỉ để nghe hay hơn mà còn đáng tin cậy hơn và có độ trễ thấp hơn. 2. Các cải tiến và tính năng nổi bật: Video đã trình bày nhiều cải tiến và tính năng mới thông qua các bản demo: • Phạm vi cảm xúc và chất lượng âm thanh: Mô hình thể hiện phạm vi cảm xúc rộng và chất lượng âm thanh liền mạch, gần giống con người. Việc đào tạo mô hình sử dụng kết hợp dữ liệu giọng nói chất lượng cao và các mô hình thưởng chuyên biệt đã giúp âm thanh tự nhiên hơn. • Khả năng tuân thủ hướng dẫn (Instruction Following): Mô hình có khả năng tuân thủ các hướng dẫn cụ thể từ nhà phát triển hoặc người dùng. Ví dụ, nó từ chối hoàn tiền