Սինթեզված խոսք

Սինթեզված խոսք (անգլերեն՝ speech synthesis) համակարգչի կողմից մարդկային խոսք ստեղծելու գործընթացը: Տեքստի վրա հիմնված մարդկային խոսք ստեղծող համակարգը կոչվում է տեքստից խոսք համակարգ (կրճատ՝ TTS): Համակարգիչներն արդեն կարող են հասկանալ, վերլուծել և վերարտադրել մարդկային խոսքը։ Խոսքի սինթեզավորման ունակ համակարգչային համակարգը կոչվում է խոսքի սինթեզատոր: Մարդու խոսքի ընթացքում նյարդային համակարգը որոշակի տեքստ կամ մտային հասկացություն վերածում է շնչառական և խոսքի օրգանների հետ կապված մկանների շարժման։ Այնուհետև, թոքերից եկող օդի հոսքի միջոցով ստեղծվում է ակուստիկ ազդանշան։ Ազդանշանը պարունակում է ինչպես պարբերական բաղադրիչներ (ստեղծված խոսքի օրգանների տատանումներից), այնպես էլ ոչ պարբերական բաղադրիչներ (ստեղծված շրջակա միջավայրի և ֆոնային աղմուկի կողմից)։ Ժամանակի ընթացքում փոփոխվող մկանային կծկումների միջոցով փոխվում են ակուստիկ ազդանշանի հաճախականության բնութագրերը։ Տեքստային խոսքի ստեղծման համակարգերի խնդիրն է որոշակի ձևով մոդելավորել այս գործընթացը։

Խոսքի սինթեզը (անգլերեն՝ Speech Synthesis) համակարգչի կողմից մարդկային խոսքի արհեստական ստեղծման գործընթացն է։ Տեքստի հիման վրա մարդկային խոսք ստեղծող համակարգը կոչվում է տեքստից-խոսք համակարգ (կրճատ՝ TTS կամ Text-to-Speech)։ Ժամանակակից տեխնոլոգիական լուծումները վաղուց ունակ են բանավոր խոսքը վերածելու տեքստի, սակայն հաճախ բիզնեսին անհրաժեշտ է հակառակ գործընթացը՝ տեքստային տեղեկատվությունը վերածել աուդիո ձևաչափի։

Համակարգիչներն արդեն կարող են հասկանալ, վերլուծել և վերարտադրել մարդկային խոսքը։ Խոսքի սինթեզի ունակությամբ օժտված համակարգչային համակարգը կոչվում է խոսքի սինթեզատոր։

Ինչպե՞ս է աշխատում խոսքի սինթեզը

Մարդու խոսքի ընթացքում նյարդային համակարգը որոշակի տեքստ կամ մտային հասկացություն վերածում է շնչառական և խոսքի օրգանների հետ կապված մկանների շարժման։ Թոքերից եկող օդի հոսքի միջոցով ստեղծվում է ակուստիկ ազդանշան։ Այդ ազդանշանը պարունակում է ինչպես պարբերական բաղադրիչներ (որոնք ստեղծվում են խոսքի օրգանների տատանումներից), այնպես էլ ոչ պարբերական բաղադրիչներ (որոնք առաջանում են շրջակա միջավայրի և ֆոնային աղմուկի պատճառով)։ TTS համակարգերի խնդիրն է որոշակի ձևով մոդելավորել այս բարդ գործընթացը։

Ընդհանուր առմամբ, TTS համակարգերի աշխատանքը կարելի է բաժանել երկու հիմնական փուլի․

  1. Տեքստի մշակում (Նախնական փուլ) — Այս փուլը ներառում է բնական լեզվի մշակման (NLP) մի քանի քայլեր, ինչպիսիք են՝ տեքստի բաժանումը նախադասությունների և բառերի, տեքստի նորմալացում (օրինակ՝ «1992 թ․» արտահայտությունը դառնում է «հազար ինը հարյուր իննսուներկու թվական»), ավտոմատ ձևաբանական պիտակում և տառերի փոխակերպում հնչյունների (գրաֆեմ-ֆոնեմ փոխակերպում)։ Այս փուլի արդյունքում համակարգը ստանում է հնչյունների հաջորդականություն՝ տարբեր լեզվական առանձնահատկություններով։
  2. Ձայնային ալիքի ստեղծում (Սինթեզի փուլ) — Այս փուլում համակարգը մուտքագրված հնչյունների հաջորդականությունը վերածում է սինթեզված ձայնային ալիքի։ Սա ներառում է առոգանության (պրոսոդիայի) ալգորիթմների կանխատեսում, որոնք նկարագրում են խոսքի այնպիսի հատկանիշներ, ինչպիսիք են տոնը, շեշտը, բարձրությունը և այլն։ Որպես կանոն, սինթեզատորները ուղղակիորեն չեն աշխատում ձայնային ալիքի հետ, այլ օգտագործում են դրա որոշակի ներկայացում, օրինակ՝ սպեկտրոգրամ։ Այնուհետև վոկոդեր (անգլ.՝ vocoder) կոչվող ալգորիթմը վերականգնում է ձայնային ալիքը՝ ըստ այդ պարամետրների։

Խոսքի սինթեզի հիմնական մոտեցումները

Խոսքի սինթեզի տեխնոլոգիաներին ներկայացվող հիմնական պահանջներն են բնականությունը (որքանով է ստեղծված խոսքը նման մարդկայինին) և հասկանալիությունը (որքանով է հեշտ ընկալվում խոսքը)։ Իդեալական սինթեզատորը պետք է ստեղծի միաժամանակ բնական և հասկանալի խոսք։

Գոյություն ունեն սինթեզի երկու հիմնական մոտեցում

  1. Կոնկատենատիվ սինթեզ (Concatenative Synthesis) — Այս մոտեցումը հիմնված է մարդկային խոսքի նախապես ձայնագրված հատվածների (հնչյուններ, վանկեր, բառեր, արտահայտություններ) միացման վրա։ Այս մոտեցումը կարող է ապահովել ամենաբնական հնչողությունը, քանի որ օգտագործում է իրական խոսքի նմուշներ։ Սակայն հաճախ հատվածների միացման կետերում առաջանում են արտեֆակտներ, և խոսքը կարող է հնչել միապաղաղ։ Այս մոտեցման հիմնական տեսակներն են․
    • Սինթեզ ընտրությամբ (Unit selection synthesis) — Օգտագործում է ձայնագրված խոսքի մեծ տվյալների բազա։ Ալգորիթմը, հաճախ որոշումների ծառի միջոցով, ընտրում է տվյալների բազայից ձայնային միավորների լավագույն հաջորդականությունը։
    • Դիֆոնային սինթեզ (Diphone synthesis) — Օգտագործում է դիֆոնների (մի հնչյունից մյուսին անցում) տվյալների բազա, որը համեմատաբար փոքր է։ Որակով զգալիորեն զիջում է այլ մոտեցումներին։
    • Թեմատիկորեն սահմանափակ սինթեզ (Domain-specific synthesis) — Օգտագործվում է այնպիսի խնդիրներում, որտեղ արտահայտությունների բազմազանությունը սահմանափակ է (օրինակ՝ եղանակի տեսություն, տրանսպորտի չվացուցակ)։
  2. Պարամետրիկ սինթեզ (Parametric Synthesis) — Այս մոտեցումը, որն ակտիվորեն զարգանում է 2016 թվականից, հիմնված է խորը ուսուցման և նեյրոնային ցանցերի վրա (օրինակ՝ Tacotron, WaveNet)։ Նեյրոնային ցանցը սովորում է տեքստի և ձայնային ձայնագրությունների (սպեկտրոգրամների) միջև համապատասխանությունը, այնուհետև ինքնուրույն ստեղծում է խոսքը։ Լրացուցիչ մոդելները պատասխանատու են ինտոնացիայի, տրամաբանական դադարների և արտահայտչականության համար։ Այսօր այս մեթոդով ստեղծված խոսքը գրեթե չի տարբերվում բնականից։

Ժամանակակից TTS տեխնոլոգիաների հնարավորությունները

Խոսքի սինթեզը չի սահմանափակվում տեքստի պարզ ձայնավորմամբ։ Ժամանակակից տեխնոլոգիաներն առաջարկում են լայն հնարավորություններ․

Որտե՞ղ է կիրառվում խոսքի սինթեզը

Text-to-Speech տեխնոլոգիաները կիրառվում են ամենատարբեր ոլորտներում

Հիմնական մարտահրավերները

Չնայած տպավորիչ առաջընթացին՝ խոսքի սինթեզի ոլորտում դեռևս կան չլուծված խնդիրներ

Վերադառնալ բառարանի հիմնական էջ