داشبورد توسعه‌دهنده
پرسش از هوش مصنوعی
پرسش از هوش مصنوعی

مدل‌های گفتاری ElevenLabs ​

ElevenLabs یک شرکت پیشرو در حوزه صوت هوش مصنوعی است که در سنتز گفتار طبیعی و رسا و تشخیص گفتار دقیق تخصص دارد. از طریق AvalAI، شما می‌توانید به ۱۰ مدل قدرتمند ElevenLabs برای تبدیل متن به گفتار و گفتار به متن با کیفیت و عملکرد پیشرو در صنعت دسترسی داشته باشید.

مدل‌های موجود ​

مدل‌های ElevenLabs دو دسته را پوشش می‌دهند: تبدیل متن به گفتار (TTS) برای تولید صدای طبیعی از متن، و تبدیل گفتار به متن (STT) برای رونویسی صوت گفتاری با دقت بالا.

مدل‌های تبدیل متن به گفتار ​

هشت مدل TTS از طریق نقطه پایانی v1/audio/speech در دسترس است، هر کدام برای موارد استفاده مختلف بهینه‌سازی شده‌اند:

مدلتوضیحاتتأخیرزبان‌هامحدودیت کاراکتر
eleven_v4جدیدترین و باکیفیت‌ترین TTS با بیشترین بیان احساسیبالاتربیش از ۹۰ زباناعلام نشده
eleven_v4_turboکیفیت Eleven v4 با تأخیر کم برای کاربردهای بلادرنگ~۱۵۰ میلی‌ثانیه تا شروع گفتاربیش از ۹۰ زباناعلام نشده
eleven_v3TTS نسل قبل، چند گوینده و با غنای احساسیبالاتربیش از ۷۰ زبان۵,۰۰۰
eleven_multilingual_v2واقع‌گرایانه‌ترین TTS با غنای احساسیبالاتر۲۹ زبان۱۰,۰۰۰
eleven_turbo_v2_5کیفیت بالا، تأخیر کم، چندزبانه~۲۵۰-۳۰۰ میلی‌ثانیه۳۲ زبان۴۰,۰۰۰
eleven_turbo_v2کیفیت بالا، تأخیر کم، انگلیسی~۲۵۰-۳۰۰ میلی‌ثانیهانگلیسی۴۰,۰۰۰
eleven_flash_v2_5TTS چندزبانه فوق‌سریع~۷۵ میلی‌ثانیه۳۲ زبان۴۰,۰۰۰
eleven_flash_v2TTS انگلیسی فوق‌سریع~۷۵ میلی‌ثانیهانگلیسی۴۰,۰۰۰

Eleven v4 - جدیدترین و پیشرفته‌ترین ​

Eleven v4 (eleven_v4) جدیدترین و پیشرفته‌ترین مدل تبدیل متن به گفتار ElevenLabs و نخستین مدل از نسلی تازه است که بر پایه معماری کاملاً جدیدی ساخته شده است. این مدل در مقایسه با Eleven v3 کیفیت خروجی، دقت صدا، یکنواختی، بیان احساسی، شیوه اجرا، پیروی از برچسب‌های صوتی و پوشش زبانی را بهبود می‌دهد. به گفته ElevenLabs، Eleven v4 تقریباً در همه موارد نسبت به Eleven v3 ارتقای کامل به شمار می‌رود؛ پیشنهاد می‌کنیم آن را با صداها و محتوای خود بیازمایید.

Eleven v4 لحن، سرعت بیان، احساس، شخصیت و بافت متن را تفسیر می‌کند؛ بنابراین یک جمله می‌تواند دراماتیک، لطیف، فوری، طنزآمیز یا محاوره‌ای ادا شود و هویت گوینده همچنان حفظ شود. چون مدل بافت کل صحنه را درک می‌کند، گفت‌وگوی چند گوینده طبیعی و پاسخ‌گو شنیده می‌شود، نه مانند جمله‌هایی جدا که کنار هم چیده شده‌اند.

بهترین برای:

  • تولید محتوا و صداگذاری در جایی که کیفیت بالاترین اولویت است
  • تولید کتاب صوتی و روایت طولانی با راوی و شخصیت‌های یکنواخت
  • صداپیشگی شخصیت‌ها و دیالوگ برای بازی و انیمیشن
  • دوبله و بومی‌سازی چندزبانه با یک صدای واحد

ویژگی‌های کلیدی:

  • بالاترین وفاداری صوتی و بازه احساسی در میان مدل‌های ElevenLabs
  • حفظ دقیق‌تر هویت گوینده در تولیدهای پیاپی، دیالوگ، روایت و تولید دوباره جمله‌ها
  • برچسب‌های صوتی بهبودیافته (مانند [whispering]، [shouting]، [laughing] و [excited, happy]) و دستورهای اجرایی به زبان طبیعی، از جمله جلوه‌های صوتی درون‌خطی مانند [light rain] یا [phone buzzing]
  • پشتیبانی مطمئن‌تر از واج‌های الفبای آوانگاری بین‌المللی (IPA) برای تلفظ‌های سفارشی
  • اتصال مطمئن‌تر درخواست‌ها (request stitching) هنگام زنجیره‌کردن تولیدها برای محتوای طولانی
  • پشتیبانی از بیش از ۹۰ زبان

مدیریت بومی لهجه: وقتی زبان گفتار تولیدی با زبان صدای مرجع یکی باشد، لهجه اصلی حفظ می‌شود. وقتی زبان تولیدی متفاوت باشد، Eleven v4 گفتاری روان و طبیعی در زبان مقصد تولید می‌کند و لهجه زبان اصلی صدای مرجع را به آن منتقل نمی‌کند. برای نمونه، صدایی که از یک گوینده کره‌ای شبیه‌سازی شده، انگلیسی طبیعی ادا می‌کند، نه انگلیسی با لهجه کره‌ای. این تغییر رفتاری عمدی است و خطا به شمار نمی‌رود. اگر روند کاری شما به حفظ لهجه بومی صدا در زبان‌های دیگر وابسته است، پیش از مهاجرت Eleven v4 را بیازمایید. می‌توانید با برچسب‌های صوتی لهجه را هدایت کنید، اما نتیجه ممکن است متفاوت باشد.

تنظیمات صدا: Eleven v4 دو تنظیم صدا دارد: Stability که میزان یکنواختی اجرا را در تولیدهای مختلف کنترل می‌کند، و Similarity که میزان نزدیکی خروجی به صدای مرجع را تعیین می‌کند. برای Professional Voice Cloneها، تنظیم Clone Strength نیز در ElevenLabs در دسترس است. تنظیم‌های Style و Speed در دسترس نیستند و از SSML پشتیبانی نمی‌شود.

شبیه‌سازی صدا: Eleven v4 رنگ صدا، ریتم، شیوه اجرا، لهجه و بلندی صدای منبع را دقیق‌تر از مدل‌های قبلی بازتولید می‌کند و حتی نقص‌های ضبط را هم بازتاب می‌دهد. به همین دلیل ممکن است یک صدا با نسخه Eleven v3 خود تفاوت محسوسی داشته باشد. هر دو نسخه را با محتوای خود مقایسه کنید و از فایل‌های ضبط تمیز استفاده کنید.

نکته

ElevenLabs پس از عرضه نیز Eleven v4 را به‌طور مداوم بهبود می‌دهد؛ بنابراین رفتار آن ممکن است به‌مرور تغییر کند. سناریوی کاری خود را هر چند وقت یک بار دوباره بیازمایید.

زبان‌های پشتیبانی‌شده: آفریکانس، امهری، عربی، ارمنی، آسامی، آستوری، آذربایجانی، بلاروسی، بنگالی، بوسنیایی، بلغاری، برمه‌ای، کانتونی، کاتالان، سبوانو، کرواتی، چکی، دانمارکی، هلندی، انگلیسی، استونیایی، فیلیپینی، فنلاندی، فرانسوی، فولا (پولار)، گالیسیایی، گرجی، آلمانی، یونانی، گجراتی، هوسا، عبری، هندی، مجارستانی، ایسلندی، اندونزیایی، ایتالیایی، ژاپنی، کانادا، قزاقی، کره‌ای، قرقیزی، لائوسی، لینگالا، لیتوانیایی، لوگاندا، لوکزامبورگی، مقدونی، مالایی، مالایالام، مالتی، چینی ماندارین، مائوری، مراتی، مغولی، نپالی، نروژی بوکمول، اکسیتان، اودیا، پشتو، فارسی، لهستانی، پرتغالی (برزیل)، پنجابی، رومانیایی، روسی، صربی، شونا، سندی، اسلواکی، اسلوونیایی، سومالیایی، کردی سورانی، اسپانیایی (آمریکای لاتین)، سواحیلی، سوئدی، تاجیکی، تامیلی، تلوگو، تایلندی، ترکی، اوکراینی، اردو، ازبکی، ویتنامی، ولزی، وولوف

Eleven v4 Turbo - بیان احساسی با تأخیر کم ​

Eleven v4 Turbo (eleven_v4_turbo) فناوری Eleven v4 را به کاربردهای بلادرنگ می‌آورد. این مدل کیفیت بسیار بالا و بیان احساسی را با میانه تأخیر استنتاج حدود ۱۰۰ میلی‌ثانیه و میانه زمان تا شروع گفتار حدود ۱۵۰ میلی‌ثانیه حفظ می‌کند؛ این اعداد را ElevenLabs روی استریم WebSocket اندازه گرفته است. این مدل از همان بیش از ۹۰ زبان، مدیریت بومی لهجه و تنظیمات Stability و Similarity در Eleven v4 پشتیبانی می‌کند.

بهترین برای:

  • عامل‌های صوتی محاوره‌ای که به گفتار طبیعی و احساسی نیاز دارند
  • تجربه‌های صوتی تعاملی و بازی‌ها
  • عامل‌های پشتیبانی مشتری و سلامت که باید اصطلاحات تخصصی را دقیق تلفظ کنند
  • برنامه‌های بلادرنگ چندزبانه با یک صدای واحد

Eleven v3 - نسل قبل ​

Eleven v3 مدل پیشرفته سنتز گفتار نسل قبل ElevenLabs است. این مدل گفتار طبیعی و زنده با بازه احساسی بالا و درک متنی در بیش از ۷۰ زبان تولید می‌کند. برای بیشتر کاربردهای جدید، ابتدا eleven_v4 را ارزیابی کنید.

بهترین برای:

  • مکالمات شخصیت‌ها با چندین گوینده در تعامل
  • تولید کتاب صوتی با ارائه احساسی پیچیده
  • تولید گفتار احساسی با بازه احساسی بالا
  • پشتیبانی از مکالمه طبیعی چند گوینده

ویژگی‌های کلیدی:

  • پشتیبانی از مکالمه طبیعی چند گوینده
  • بازه احساسی بالا و درک متنی
  • پشتیبانی از بیش از ۷۰ زبان
  • محدودیت ۵,۰۰۰ کاراکتر در هر درخواست

زبان‌های پشتیبانی‌شده: آفریکانس، عربی، ارمنی، آسامی، آذربایجانی، بلاروسی، بنگالی، بوسنیایی، بلغاری، کاتالان، سبوانو، چیچوا، کرواتی، چکی، دانمارکی، هلندی، انگلیسی، استونیایی، فیلیپینی، فنلاندی، فرانسوی، گالیسیایی، گرجی، آلمانی، یونانی، گجراتی، هوسا، عبری، هندی، مجارستانی، ایسلندی، اندونزیایی، ایرلندی، ایتالیایی، ژاپنی، جاوه‌ای، کانادا، قزاقی، قرقیزی، کره‌ای، لتونی، لینگالا، لیتوانیایی، لوکزامبورگی، مقدونی، مالایی، مالایالام، چینی ماندارین، مراتی، نپالی، نروژی، پشتو، فارسی، لهستانی، پرتغالی، پنجابی، رومانیایی، روسی، صربی، سندی، اسلواکی، اسلوونیایی، سومالیایی، اسپانیایی، سواحیلی، سوئدی، تامیلی، تلوگو، تایلندی، ترکی، اوکراینی، اردو، ویتنامی، ولزی

Eleven Multilingual v2 - کیفیت برتر ​

پیشرفته‌ترین مدل سنتز گفتار با آگاهی احساسی، بیان احساسی غنی و کیفیت صدای یکنواخت در تمام زبان‌ها.

بهترین برای:

  • صداگذاری شخصیت‌ها برای بازی و انیمیشن
  • ویدیوهای شرکتی حرفه‌ای و آموزش الکترونیکی
  • پروژه‌های چندزبانه نیازمند صدای یکنواخت
  • برنامه‌هایی که گفتار واقع‌گرایانه در آن‌ها حیاتی است

زبان‌های پشتیبانی‌شده: انگلیسی، ژاپنی، چینی، آلمانی، هندی، فرانسوی، کره‌ای، پرتغالی، ایتالیایی، اسپانیایی، اندونزیایی، هلندی، ترکی، فیلیپینی، لهستانی، سوئدی، بلغاری، رومانیایی، عربی، چکی، یونانی، فنلاندی، کرواتی، مالایی، اسلواکی، دانمارکی، تامیلی، اوکراینی، روسی

Eleven Turbo v2.5 - عملکرد متعادل ​

مدل با کیفیت بالا و تأخیر کم با تعادل عالی بین کیفیت و سرعت، پشتیبانی از ۳۲ زبان.

بهترین برای:

  • عامل‌های صوتی بلادرنگ و چت‌بات‌ها
  • برنامه‌های تعاملی نیازمند پاسخ سریع
  • استقرار چندزبانه در محیط تولید
  • تعادل بین کیفیت و تأخیر

زبان‌های پشتیبانی‌شده: تمام زبان‌های Multilingual v2 به علاوه مجارستانی، نروژی، ویتنامی

Eleven Flash v2.5 - تأخیر فوق‌کم ​

سریع‌ترین مدل سنتز گفتار طراحی شده برای برنامه‌های بلادرنگ با تأخیر ~۷۵ میلی‌ثانیه.

بهترین برای:

  • عامل‌های صوتی بلادرنگ (پلتفرم Agents)
  • بازی‌ها و برنامه‌های تعاملی
  • پردازش انبوه TTS در مقیاس بزرگ
  • سنتز گفتار سریع و مقرون‌به‌صرفه

مدل‌های تبدیل گفتار به متن ​

دو مدل پیشرفته رونویسی از طریق نقطه پایانی v1/audio/transcriptions:

مدلتوضیحاتزبان‌هاویژگی‌ها
scribe_v2تشخیص گفتار پیشرفتهبیش از ۹۰ زبانتفکیک گوینده، مهر زمانی، تشخیص موجودیت
scribe_v1مدل رونویسی قدیمیبیش از ۹۰ زبانرونویسی پایه

Scribe v2 - رونویسی پیشرفته ​

تشخیص گفتار پیشرفته با ویژگی‌های جامع:

  • رونویسی دقیق: پشتیبانی از بیش از ۹۰ زبان
  • اعلان کلیدواژه: تا ۱۰۰ اصطلاح برای دقت در حوزه‌های خاص
  • تشخیص موجودیت: شناسایی تا ۵۶ نوع موجودیت
  • مهر زمانی کلمه‌ای: زمان‌بندی دقیق برای هر کلمه
  • تفکیک گوینده: شناسایی تا ۳۲ گوینده
  • برچسب‌گذاری پویای صوت: تشخیص خودکار رویدادهای صوتی
  • تشخیص هوشمند زبان: شناسایی خودکار زبان

قیمت‌گذاری ​

قیمت‌گذاری تبدیل متن به گفتار ​

مدل‌های TTS ElevenLabs بر اساس هر ثانیه صدای تولید شده قیمت‌گذاری می‌شوند:

مدلهزینه خروجی (در ثانیه)بهترین برای
eleven_v4$۰.۰۰۱۴/ثانیهجدیدترین، بالاترین کیفیت، بیشترین بیان احساسی
eleven_v4_turbo$۰.۰۰۰۷/ثانیهبیان احساسی، تأخیر کم، بلادرنگ
eleven_v3$۰.۰۰۵/ثانیهنسل قبل، چند گوینده
eleven_turbo_v2$۰.۰۰۲۵/ثانیهانگلیسی، تأخیر کم
eleven_turbo_v2_5$۰.۰۰۲۵/ثانیهچندزبانه، متعادل
eleven_flash_v2$۰.۰۰۲۵/ثانیهانگلیسی، سریع‌ترین
eleven_flash_v2_5$۰.۰۰۲۵/ثانیهچندزبانه، سریع‌ترین
eleven_multilingual_v2$۰.۰۰۵/ثانیهبالاترین کیفیت

قیمت‌گذاری تبدیل گفتار به متن ​

مدل‌های Scribe بر اساس هر ثانیه صدای ورودی قیمت‌گذاری می‌شوند:

مدلهزینه ورودی (در ثانیه)
scribe_v2$۰.۰۰۰۰۹۷۲۲/ثانیه
scribe_v1$۰.۰۰۰۰۹۷۲۲/ثانیه

نقاط پایانی API ​

مدل‌های ElevenLabs از طریق API سازگار با OpenAI در AvalAI در دسترس هستند:

مثال‌های استفاده ​

تولید تبدیل متن به گفتار ​

python
from openai import OpenAI
from pathlib import Path

client = OpenAI(api_key="your-avalai-api-key", base_url="https://api.avalai.ir/v1")

# تولید گفتار با مدل Flash برای تأخیر کم
speech_file = Path("./speech.mp3")

response = client.audio.speech.create(
    model="eleven_flash_v2_5",
    input="سلام! این یک نمایش از تبدیل متن به گفتار ElevenLabs از طریق AvalAI است.",
    voice="coral",
)

response.stream_to_file(speech_file)
print(f"صدا در {speech_file} ذخیره شد")

مثال cURL - TTS ​

bash
curl https://api.avalai.ir/v1/audio/speech \
  -H "Authorization: Bearer $AVALAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "eleven_flash_v2_5",
    "input": "روباه قهوه‌ای سریع از روی سگ تنبل پرید.",
    "voice": "coral"
  }' \
  --output speech.mp3

TTS احساسی با Eleven v4 ​

برای بالاترین کیفیت از eleven_v4 استفاده کنید و اجرای گفتار را با برچسب‌های صوتی هدایت کنید. پارامتر speed را همراه مدل‌های Eleven v4 نفرستید، چون تنظیم Speed برای آن‌ها در دسترس نیست.

python
# استفاده از Eleven v4 برای روایت احساسی و باکیفیت
response = client.audio.speech.create(
    model="eleven_v4",
    input="[excited, happy] Big news, everyone. Our summer menu drops this Friday.",
    voice="alloy",
)

response.stream_to_file("eleven_v4_speech.mp3")

برای عامل‌های صوتی کم‌تأخیر، فقط مقدار model را به eleven_v4_turbo تغییر دهید.

TTS با کیفیت بالا با Multilingual v2 ​

python
# استفاده از Multilingual v2 برای بالاترین کیفیت خروجی
response = client.audio.speech.create(
    model="eleven_multilingual_v2",
    input="به پلتفرم ما خوش آمدید. از حضور شما خوشحالیم.",
    voice="alloy",
)

response.stream_to_file("premium_speech.mp3")

رونویسی گفتار ​

bash
curl https://api.avalai.ir/v1/audio/transcriptions \
  -H "Authorization: Bearer $AVALAI_API_KEY" \
  -F file=@audio.mp3 \
  -F model=scribe_v2

نمونه پاسخ:

json
{
  "text": "سلام، این یک نمونه رونویسی از فایل صوتی است.",
  "task": "transcribe",
  "language": "fa",
  "duration": 3.5,
  "words": [
    {
      "word": "سلام",
      "start": 0.0,
      "end": 0.35
    },
    {
      "word": "این",
      "start": 0.4,
      "end": 0.55
    },
    {
      "word": "یک",
      "start": 0.55,
      "end": 0.65
    },
    {
      "word": "نمونه",
      "start": 0.65,
      "end": 0.72
    },
    {
      "word": "رونویسی",
      "start": 0.72,
      "end": 1.0
    }
  ]
}

صداهای موجود ​

مدل‌های ElevenLabs از چندین صدا پشتیبانی می‌کنند. صداهای رایج شامل:

  • alloy - خنثی، حرفه‌ای
  • coral - گرم، دوستانه
  • echo - واضح، رسا
  • fable - داستان‌گویی، روایتی
  • nova - پرانرژی، شاد
  • onyx - عمیق، با اقتدار
  • sage - آرام، خردمند
  • shimmer - روشن، سرحال

راهنمای انتخاب مدل ​

مورد استفادهمدل توصیه‌شده
عامل‌های صوتی بلادرنگ با بیان احساسیeleven_v4_turbo
عامل‌های صوتی با کمترین تأخیرeleven_flash_v2_5
برنامه‌های تعاملیeleven_v4_turbo، eleven_flash_v2_5 یا eleven_turbo_v2_5
تولید کتاب صوتیeleven_v4
صداگذاری شخصیت‌هاeleven_v4
دوبله و بومی‌سازیeleven_v4
پردازش انبوهeleven_flash_v2_5
پروژه‌های فقط انگلیسیeleven_turbo_v2 یا eleven_flash_v2
محتوای چندزبانهeleven_v4، eleven_v4_turbo یا eleven_multilingual_v2
رونویسی با دقت بالاscribe_v2

بهترین شیوه‌ها ​

برای تبدیل متن به گفتار ​

۱. انتخاب مدل مناسب: برای بالاترین کیفیت از Eleven v4، برای گفتار احساسی بلادرنگ از Eleven v4 Turbo و برای کمترین تأخیر از Flash استفاده کنید ۲. انتخاب صدا: ویژگی‌های صدا را با محتوای خود تطبیق دهید ۳. آماده‌سازی متن: متن را برای الگوهای گفتار طبیعی پاکسازی و فرمت کنید ۴. یکنواختی زبان: از مدل‌های مناسب زبان برای بهترین نتایج استفاده کنید ۵. هدایت اجرا با برچسب‌های صوتی: در مدل‌های Eleven v4 به‌جای SSML، که پشتیبانی نمی‌شود، از برچسب‌هایی مانند [whispering] یا [laughing] استفاده کنید

برای رونویسی ​

۱. کیفیت صدا: ورودی با کیفیت بالاتر رونویسی بهتری تولید می‌کند ۲. استفاده از اعلان کلیدواژه: اصطلاحات خاص حوزه را برای دقت اضافه کنید ۳. تفکیک گوینده: هنگام وجود چند گوینده فعال کنید ۴. راهنمای زبان: در صورت شناخته بودن، زبان را مشخص کنید

منابع مرتبط ​