مدلهای گفتاری ElevenLabs
ElevenLabs یک شرکت پیشرو در حوزه صوت هوش مصنوعی است که در سنتز گفتار طبیعی و رسا و تشخیص گفتار دقیق تخصص دارد. از طریق AvalAI، شما میتوانید به ۱۰ مدل قدرتمند ElevenLabs برای تبدیل متن به گفتار و گفتار به متن با کیفیت و عملکرد پیشرو در صنعت دسترسی داشته باشید.
مدلهای موجود
مدلهای ElevenLabs دو دسته را پوشش میدهند: تبدیل متن به گفتار (TTS) برای تولید صدای طبیعی از متن، و تبدیل گفتار به متن (STT) برای رونویسی صوت گفتاری با دقت بالا.
مدلهای تبدیل متن به گفتار
هشت مدل TTS از طریق نقطه پایانی v1/audio/speech در دسترس است، هر کدام برای موارد استفاده مختلف بهینهسازی شدهاند:
| مدل | توضیحات | تأخیر | زبانها | محدودیت کاراکتر |
|---|---|---|---|---|
eleven_v4 | جدیدترین و باکیفیتترین TTS با بیشترین بیان احساسی | بالاتر | بیش از ۹۰ زبان | اعلام نشده |
eleven_v4_turbo | کیفیت Eleven v4 با تأخیر کم برای کاربردهای بلادرنگ | ~۱۵۰ میلیثانیه تا شروع گفتار | بیش از ۹۰ زبان | اعلام نشده |
eleven_v3 | TTS نسل قبل، چند گوینده و با غنای احساسی | بالاتر | بیش از ۷۰ زبان | ۵,۰۰۰ |
eleven_multilingual_v2 | واقعگرایانهترین TTS با غنای احساسی | بالاتر | ۲۹ زبان | ۱۰,۰۰۰ |
eleven_turbo_v2_5 | کیفیت بالا، تأخیر کم، چندزبانه | ~۲۵۰-۳۰۰ میلیثانیه | ۳۲ زبان | ۴۰,۰۰۰ |
eleven_turbo_v2 | کیفیت بالا، تأخیر کم، انگلیسی | ~۲۵۰-۳۰۰ میلیثانیه | انگلیسی | ۴۰,۰۰۰ |
eleven_flash_v2_5 | TTS چندزبانه فوقسریع | ~۷۵ میلیثانیه | ۳۲ زبان | ۴۰,۰۰۰ |
eleven_flash_v2 | TTS انگلیسی فوقسریع | ~۷۵ میلیثانیه | انگلیسی | ۴۰,۰۰۰ |
Eleven v4 - جدیدترین و پیشرفتهترین
Eleven v4 (eleven_v4) جدیدترین و پیشرفتهترین مدل تبدیل متن به گفتار ElevenLabs و نخستین مدل از نسلی تازه است که بر پایه معماری کاملاً جدیدی ساخته شده است. این مدل در مقایسه با Eleven v3 کیفیت خروجی، دقت صدا، یکنواختی، بیان احساسی، شیوه اجرا، پیروی از برچسبهای صوتی و پوشش زبانی را بهبود میدهد. به گفته ElevenLabs، Eleven v4 تقریباً در همه موارد نسبت به Eleven v3 ارتقای کامل به شمار میرود؛ پیشنهاد میکنیم آن را با صداها و محتوای خود بیازمایید.
Eleven v4 لحن، سرعت بیان، احساس، شخصیت و بافت متن را تفسیر میکند؛ بنابراین یک جمله میتواند دراماتیک، لطیف، فوری، طنزآمیز یا محاورهای ادا شود و هویت گوینده همچنان حفظ شود. چون مدل بافت کل صحنه را درک میکند، گفتوگوی چند گوینده طبیعی و پاسخگو شنیده میشود، نه مانند جملههایی جدا که کنار هم چیده شدهاند.
بهترین برای:
- تولید محتوا و صداگذاری در جایی که کیفیت بالاترین اولویت است
- تولید کتاب صوتی و روایت طولانی با راوی و شخصیتهای یکنواخت
- صداپیشگی شخصیتها و دیالوگ برای بازی و انیمیشن
- دوبله و بومیسازی چندزبانه با یک صدای واحد
ویژگیهای کلیدی:
- بالاترین وفاداری صوتی و بازه احساسی در میان مدلهای ElevenLabs
- حفظ دقیقتر هویت گوینده در تولیدهای پیاپی، دیالوگ، روایت و تولید دوباره جملهها
- برچسبهای صوتی بهبودیافته (مانند
[whispering]،[shouting]،[laughing]و[excited, happy]) و دستورهای اجرایی به زبان طبیعی، از جمله جلوههای صوتی درونخطی مانند[light rain]یا[phone buzzing] - پشتیبانی مطمئنتر از واجهای الفبای آوانگاری بینالمللی (IPA) برای تلفظهای سفارشی
- اتصال مطمئنتر درخواستها (request stitching) هنگام زنجیرهکردن تولیدها برای محتوای طولانی
- پشتیبانی از بیش از ۹۰ زبان
مدیریت بومی لهجه: وقتی زبان گفتار تولیدی با زبان صدای مرجع یکی باشد، لهجه اصلی حفظ میشود. وقتی زبان تولیدی متفاوت باشد، Eleven v4 گفتاری روان و طبیعی در زبان مقصد تولید میکند و لهجه زبان اصلی صدای مرجع را به آن منتقل نمیکند. برای نمونه، صدایی که از یک گوینده کرهای شبیهسازی شده، انگلیسی طبیعی ادا میکند، نه انگلیسی با لهجه کرهای. این تغییر رفتاری عمدی است و خطا به شمار نمیرود. اگر روند کاری شما به حفظ لهجه بومی صدا در زبانهای دیگر وابسته است، پیش از مهاجرت Eleven v4 را بیازمایید. میتوانید با برچسبهای صوتی لهجه را هدایت کنید، اما نتیجه ممکن است متفاوت باشد.
تنظیمات صدا: Eleven v4 دو تنظیم صدا دارد: Stability که میزان یکنواختی اجرا را در تولیدهای مختلف کنترل میکند، و Similarity که میزان نزدیکی خروجی به صدای مرجع را تعیین میکند. برای Professional Voice Cloneها، تنظیم Clone Strength نیز در ElevenLabs در دسترس است. تنظیمهای Style و Speed در دسترس نیستند و از SSML پشتیبانی نمیشود.
شبیهسازی صدا: Eleven v4 رنگ صدا، ریتم، شیوه اجرا، لهجه و بلندی صدای منبع را دقیقتر از مدلهای قبلی بازتولید میکند و حتی نقصهای ضبط را هم بازتاب میدهد. به همین دلیل ممکن است یک صدا با نسخه Eleven v3 خود تفاوت محسوسی داشته باشد. هر دو نسخه را با محتوای خود مقایسه کنید و از فایلهای ضبط تمیز استفاده کنید.
نکته
ElevenLabs پس از عرضه نیز Eleven v4 را بهطور مداوم بهبود میدهد؛ بنابراین رفتار آن ممکن است بهمرور تغییر کند. سناریوی کاری خود را هر چند وقت یک بار دوباره بیازمایید.
زبانهای پشتیبانیشده: آفریکانس، امهری، عربی، ارمنی، آسامی، آستوری، آذربایجانی، بلاروسی، بنگالی، بوسنیایی، بلغاری، برمهای، کانتونی، کاتالان، سبوانو، کرواتی، چکی، دانمارکی، هلندی، انگلیسی، استونیایی، فیلیپینی، فنلاندی، فرانسوی، فولا (پولار)، گالیسیایی، گرجی، آلمانی، یونانی، گجراتی، هوسا، عبری، هندی، مجارستانی، ایسلندی، اندونزیایی، ایتالیایی، ژاپنی، کانادا، قزاقی، کرهای، قرقیزی، لائوسی، لینگالا، لیتوانیایی، لوگاندا، لوکزامبورگی، مقدونی، مالایی، مالایالام، مالتی، چینی ماندارین، مائوری، مراتی، مغولی، نپالی، نروژی بوکمول، اکسیتان، اودیا، پشتو، فارسی، لهستانی، پرتغالی (برزیل)، پنجابی، رومانیایی، روسی، صربی، شونا، سندی، اسلواکی، اسلوونیایی، سومالیایی، کردی سورانی، اسپانیایی (آمریکای لاتین)، سواحیلی، سوئدی، تاجیکی، تامیلی، تلوگو، تایلندی، ترکی، اوکراینی، اردو، ازبکی، ویتنامی، ولزی، وولوف
Eleven v4 Turbo - بیان احساسی با تأخیر کم
Eleven v4 Turbo (eleven_v4_turbo) فناوری Eleven v4 را به کاربردهای بلادرنگ میآورد. این مدل کیفیت بسیار بالا و بیان احساسی را با میانه تأخیر استنتاج حدود ۱۰۰ میلیثانیه و میانه زمان تا شروع گفتار حدود ۱۵۰ میلیثانیه حفظ میکند؛ این اعداد را ElevenLabs روی استریم WebSocket اندازه گرفته است. این مدل از همان بیش از ۹۰ زبان، مدیریت بومی لهجه و تنظیمات Stability و Similarity در Eleven v4 پشتیبانی میکند.
بهترین برای:
- عاملهای صوتی محاورهای که به گفتار طبیعی و احساسی نیاز دارند
- تجربههای صوتی تعاملی و بازیها
- عاملهای پشتیبانی مشتری و سلامت که باید اصطلاحات تخصصی را دقیق تلفظ کنند
- برنامههای بلادرنگ چندزبانه با یک صدای واحد
Eleven v3 - نسل قبل
Eleven v3 مدل پیشرفته سنتز گفتار نسل قبل ElevenLabs است. این مدل گفتار طبیعی و زنده با بازه احساسی بالا و درک متنی در بیش از ۷۰ زبان تولید میکند. برای بیشتر کاربردهای جدید، ابتدا eleven_v4 را ارزیابی کنید.
بهترین برای:
- مکالمات شخصیتها با چندین گوینده در تعامل
- تولید کتاب صوتی با ارائه احساسی پیچیده
- تولید گفتار احساسی با بازه احساسی بالا
- پشتیبانی از مکالمه طبیعی چند گوینده
ویژگیهای کلیدی:
- پشتیبانی از مکالمه طبیعی چند گوینده
- بازه احساسی بالا و درک متنی
- پشتیبانی از بیش از ۷۰ زبان
- محدودیت ۵,۰۰۰ کاراکتر در هر درخواست
زبانهای پشتیبانیشده: آفریکانس، عربی، ارمنی، آسامی، آذربایجانی، بلاروسی، بنگالی، بوسنیایی، بلغاری، کاتالان، سبوانو، چیچوا، کرواتی، چکی، دانمارکی، هلندی، انگلیسی، استونیایی، فیلیپینی، فنلاندی، فرانسوی، گالیسیایی، گرجی، آلمانی، یونانی، گجراتی، هوسا، عبری، هندی، مجارستانی، ایسلندی، اندونزیایی، ایرلندی، ایتالیایی، ژاپنی، جاوهای، کانادا، قزاقی، قرقیزی، کرهای، لتونی، لینگالا، لیتوانیایی، لوکزامبورگی، مقدونی، مالایی، مالایالام، چینی ماندارین، مراتی، نپالی، نروژی، پشتو، فارسی، لهستانی، پرتغالی، پنجابی، رومانیایی، روسی، صربی، سندی، اسلواکی، اسلوونیایی، سومالیایی، اسپانیایی، سواحیلی، سوئدی، تامیلی، تلوگو، تایلندی، ترکی، اوکراینی، اردو، ویتنامی، ولزی
Eleven Multilingual v2 - کیفیت برتر
پیشرفتهترین مدل سنتز گفتار با آگاهی احساسی، بیان احساسی غنی و کیفیت صدای یکنواخت در تمام زبانها.
بهترین برای:
- صداگذاری شخصیتها برای بازی و انیمیشن
- ویدیوهای شرکتی حرفهای و آموزش الکترونیکی
- پروژههای چندزبانه نیازمند صدای یکنواخت
- برنامههایی که گفتار واقعگرایانه در آنها حیاتی است
زبانهای پشتیبانیشده: انگلیسی، ژاپنی، چینی، آلمانی، هندی، فرانسوی، کرهای، پرتغالی، ایتالیایی، اسپانیایی، اندونزیایی، هلندی، ترکی، فیلیپینی، لهستانی، سوئدی، بلغاری، رومانیایی، عربی، چکی، یونانی، فنلاندی، کرواتی، مالایی، اسلواکی، دانمارکی، تامیلی، اوکراینی، روسی
Eleven Turbo v2.5 - عملکرد متعادل
مدل با کیفیت بالا و تأخیر کم با تعادل عالی بین کیفیت و سرعت، پشتیبانی از ۳۲ زبان.
بهترین برای:
- عاملهای صوتی بلادرنگ و چتباتها
- برنامههای تعاملی نیازمند پاسخ سریع
- استقرار چندزبانه در محیط تولید
- تعادل بین کیفیت و تأخیر
زبانهای پشتیبانیشده: تمام زبانهای Multilingual v2 به علاوه مجارستانی، نروژی، ویتنامی
Eleven Flash v2.5 - تأخیر فوقکم
سریعترین مدل سنتز گفتار طراحی شده برای برنامههای بلادرنگ با تأخیر ~۷۵ میلیثانیه.
بهترین برای:
- عاملهای صوتی بلادرنگ (پلتفرم Agents)
- بازیها و برنامههای تعاملی
- پردازش انبوه TTS در مقیاس بزرگ
- سنتز گفتار سریع و مقرونبهصرفه
مدلهای تبدیل گفتار به متن
دو مدل پیشرفته رونویسی از طریق نقطه پایانی v1/audio/transcriptions:
| مدل | توضیحات | زبانها | ویژگیها |
|---|---|---|---|
scribe_v2 | تشخیص گفتار پیشرفته | بیش از ۹۰ زبان | تفکیک گوینده، مهر زمانی، تشخیص موجودیت |
scribe_v1 | مدل رونویسی قدیمی | بیش از ۹۰ زبان | رونویسی پایه |
Scribe v2 - رونویسی پیشرفته
تشخیص گفتار پیشرفته با ویژگیهای جامع:
- رونویسی دقیق: پشتیبانی از بیش از ۹۰ زبان
- اعلان کلیدواژه: تا ۱۰۰ اصطلاح برای دقت در حوزههای خاص
- تشخیص موجودیت: شناسایی تا ۵۶ نوع موجودیت
- مهر زمانی کلمهای: زمانبندی دقیق برای هر کلمه
- تفکیک گوینده: شناسایی تا ۳۲ گوینده
- برچسبگذاری پویای صوت: تشخیص خودکار رویدادهای صوتی
- تشخیص هوشمند زبان: شناسایی خودکار زبان
قیمتگذاری
قیمتگذاری تبدیل متن به گفتار
مدلهای TTS ElevenLabs بر اساس هر ثانیه صدای تولید شده قیمتگذاری میشوند:
| مدل | هزینه خروجی (در ثانیه) | بهترین برای |
|---|---|---|
eleven_v4 | $۰.۰۰۱۴/ثانیه | جدیدترین، بالاترین کیفیت، بیشترین بیان احساسی |
eleven_v4_turbo | $۰.۰۰۰۷/ثانیه | بیان احساسی، تأخیر کم، بلادرنگ |
eleven_v3 | $۰.۰۰۵/ثانیه | نسل قبل، چند گوینده |
eleven_turbo_v2 | $۰.۰۰۲۵/ثانیه | انگلیسی، تأخیر کم |
eleven_turbo_v2_5 | $۰.۰۰۲۵/ثانیه | چندزبانه، متعادل |
eleven_flash_v2 | $۰.۰۰۲۵/ثانیه | انگلیسی، سریعترین |
eleven_flash_v2_5 | $۰.۰۰۲۵/ثانیه | چندزبانه، سریعترین |
eleven_multilingual_v2 | $۰.۰۰۵/ثانیه | بالاترین کیفیت |
قیمتگذاری تبدیل گفتار به متن
مدلهای Scribe بر اساس هر ثانیه صدای ورودی قیمتگذاری میشوند:
| مدل | هزینه ورودی (در ثانیه) |
|---|---|
scribe_v2 | $۰.۰۰۰۰۹۷۲۲/ثانیه |
scribe_v1 | $۰.۰۰۰۰۹۷۲۲/ثانیه |
نقاط پایانی API
مدلهای ElevenLabs از طریق API سازگار با OpenAI در AvalAI در دسترس هستند:
- تبدیل متن به گفتار:
v1/audio/speech - رونویسی:
v1/audio/transcriptions
مثالهای استفاده
تولید تبدیل متن به گفتار
from openai import OpenAI
from pathlib import Path
client = OpenAI(api_key="your-avalai-api-key", base_url="https://api.avalai.ir/v1")
# تولید گفتار با مدل Flash برای تأخیر کم
speech_file = Path("./speech.mp3")
response = client.audio.speech.create(
model="eleven_flash_v2_5",
input="سلام! این یک نمایش از تبدیل متن به گفتار ElevenLabs از طریق AvalAI است.",
voice="coral",
)
response.stream_to_file(speech_file)
print(f"صدا در {speech_file} ذخیره شد")مثال cURL - TTS
curl https://api.avalai.ir/v1/audio/speech \
-H "Authorization: Bearer $AVALAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "eleven_flash_v2_5",
"input": "روباه قهوهای سریع از روی سگ تنبل پرید.",
"voice": "coral"
}' \
--output speech.mp3TTS احساسی با Eleven v4
برای بالاترین کیفیت از eleven_v4 استفاده کنید و اجرای گفتار را با برچسبهای صوتی هدایت کنید. پارامتر speed را همراه مدلهای Eleven v4 نفرستید، چون تنظیم Speed برای آنها در دسترس نیست.
# استفاده از Eleven v4 برای روایت احساسی و باکیفیت
response = client.audio.speech.create(
model="eleven_v4",
input="[excited, happy] Big news, everyone. Our summer menu drops this Friday.",
voice="alloy",
)
response.stream_to_file("eleven_v4_speech.mp3")برای عاملهای صوتی کمتأخیر، فقط مقدار model را به eleven_v4_turbo تغییر دهید.
TTS با کیفیت بالا با Multilingual v2
# استفاده از Multilingual v2 برای بالاترین کیفیت خروجی
response = client.audio.speech.create(
model="eleven_multilingual_v2",
input="به پلتفرم ما خوش آمدید. از حضور شما خوشحالیم.",
voice="alloy",
)
response.stream_to_file("premium_speech.mp3")رونویسی گفتار
curl https://api.avalai.ir/v1/audio/transcriptions \
-H "Authorization: Bearer $AVALAI_API_KEY" \
-F file=@audio.mp3 \
-F model=scribe_v2نمونه پاسخ:
{
"text": "سلام، این یک نمونه رونویسی از فایل صوتی است.",
"task": "transcribe",
"language": "fa",
"duration": 3.5,
"words": [
{
"word": "سلام",
"start": 0.0,
"end": 0.35
},
{
"word": "این",
"start": 0.4,
"end": 0.55
},
{
"word": "یک",
"start": 0.55,
"end": 0.65
},
{
"word": "نمونه",
"start": 0.65,
"end": 0.72
},
{
"word": "رونویسی",
"start": 0.72,
"end": 1.0
}
]
}صداهای موجود
مدلهای ElevenLabs از چندین صدا پشتیبانی میکنند. صداهای رایج شامل:
alloy- خنثی، حرفهایcoral- گرم، دوستانهecho- واضح، رساfable- داستانگویی، روایتیnova- پرانرژی، شادonyx- عمیق، با اقتدارsage- آرام، خردمندshimmer- روشن، سرحال
راهنمای انتخاب مدل
| مورد استفاده | مدل توصیهشده |
|---|---|
| عاملهای صوتی بلادرنگ با بیان احساسی | eleven_v4_turbo |
| عاملهای صوتی با کمترین تأخیر | eleven_flash_v2_5 |
| برنامههای تعاملی | eleven_v4_turbo، eleven_flash_v2_5 یا eleven_turbo_v2_5 |
| تولید کتاب صوتی | eleven_v4 |
| صداگذاری شخصیتها | eleven_v4 |
| دوبله و بومیسازی | eleven_v4 |
| پردازش انبوه | eleven_flash_v2_5 |
| پروژههای فقط انگلیسی | eleven_turbo_v2 یا eleven_flash_v2 |
| محتوای چندزبانه | eleven_v4، eleven_v4_turbo یا eleven_multilingual_v2 |
| رونویسی با دقت بالا | scribe_v2 |
بهترین شیوهها
برای تبدیل متن به گفتار
۱. انتخاب مدل مناسب: برای بالاترین کیفیت از Eleven v4، برای گفتار احساسی بلادرنگ از Eleven v4 Turbo و برای کمترین تأخیر از Flash استفاده کنید ۲. انتخاب صدا: ویژگیهای صدا را با محتوای خود تطبیق دهید ۳. آمادهسازی متن: متن را برای الگوهای گفتار طبیعی پاکسازی و فرمت کنید ۴. یکنواختی زبان: از مدلهای مناسب زبان برای بهترین نتایج استفاده کنید ۵. هدایت اجرا با برچسبهای صوتی: در مدلهای Eleven v4 بهجای SSML، که پشتیبانی نمیشود، از برچسبهایی مانند [whispering] یا [laughing] استفاده کنید
برای رونویسی
۱. کیفیت صدا: ورودی با کیفیت بالاتر رونویسی بهتری تولید میکند ۲. استفاده از اعلان کلیدواژه: اصطلاحات خاص حوزه را برای دقت اضافه کنید ۳. تفکیک گوینده: هنگام وجود چند گوینده فعال کنید ۴. راهنمای زبان: در صورت شناخته بودن، زبان را مشخص کنید