پردازش زبان طبیعی یا همان Natural Language Processing زیرشاخهای از هوش مصنوعی است که به استفاده از رایانهها برای تحلیل، درک و بازتولید زبان انسانی میپردازد. این شاخه با توجه به تاثیری که زبان در زندگی روزمره برای ارتباط و تفکر انسانها دارد، میتواند نقش بسیار تاثیرگذاری در امکان کاربرد هوشمندسازی در زندگی روزمره انسانها بر عهده بگیرد.
پردازش زبان یکی از زیرشاخههای قدیمی هوش مصنوعی به شمار میرود و نسلهای مختلفی از این فناوری ارایه شده است. نسل اول فناوریهای این حوزه از قواعد گرامری خاص زبان استفاده میکرد. سپس در سالهای بعدی استفاده از روشهای آماری به با استفاده از الگوریتمهای یادگیری ماشین مورد توجه قرار گرفت. در سالهای اخیر با توسعه روشهای شبکههای عصبی در حوزههای مختلف هوش مصنوعی، در برخی از مسائل این حوزه نیز با استفاده از آن نتایج بهتری کسب شده است.
از زیرشاخههای پردازش زبان طبیعی میتوان به استخراج اسامی نامدار متن(Named Entity Recognition)، استخراج و دسته بندی موضوعات متن(Topic Extraction)، تشخیص احساسات متن(Sentiment Analysis)،تشخیص نقش کلمات در جملات، برچسبزنی اجزای سخن و ترجمه ماشینی اشاره کرد.
سرویس انیگمایند
تحقیق و توسعه بر روی حوزههای مختلف پردازش زبان طبیعی برای استفاده در محصولات شرکت آوای همراه هوشمند هزاردستان از چندین سال پیش آغاز شده است. در این مدت روشها و زیرساختهای مختلفی برای پردازش زبان طبیعی ایجاد، استفاده و ارزیابی شده است. در سال 1397 تصمیمگرفته شد که این محصولات برای استفاده دیگران عرضه شود.
در حال حاضر سرویسهای زیر از مجموعه پردازش زبان قابل ارایه است:
- یکسانساز(Normalizer)
- تجزیهگر نحوی(Parser)
- برچسبزن اجزای سخن(Part Of Speech Tagging)
- استخراج موضوع(Topic Extraction)
- شناسایی اسامی نامدار(Named Entity Recognition)
- تحلیل احساسات(Sentiment Analysis)
همانطور که در تعریف پردازش متن گفته شد، استفاده از هوش مصنوعی و یادگیری عمیق برای به دست آوردن اهداف خاصی از متن است، مانند تشخیص موضوع یک متن و تشخیص احساست آن و … که هر کدام از این قابلیت های پردازش متن کاربردهایی را ایجاد می کند که در ذیل به بعضی از آن ها اشاره شده است.
- استفاده در دیتا بیس های متن محور برای دسته بندی داده ها(کال سنترها و دسته بندی تیکت ها بر اساس موضوعات)
- استفاده در سیمنتیک سرچ
- استفاده برای استخراج اطلاعات از حجم انبوه داده ها
- استفاده در تحلیل احساسات متون
- استفاده در دسته بندی متون با موضوعات مشخص به جای نیروی انسانی
- استفاده در چت بات ها
- استفاده در تبلیغات و دسته بندی سایت ها با استفاده از تعیین موضوعات متون
کاربردها:
کاربردهای پردازش زبان بسیار گسترده است. میتوان موارد زیر را به عنوان نمونهای از کاربردها در این حوزه نام برد:
- دستهبندی خودکار متون مانند شکایات، درخواستها و پیشنهادات به جای استفاده از نیروی انسانی
- تحلیل محتوایی دادههای غیرساختیافته
- شناسایی کلیدواژه در حجم بالای دادههای متنی
- تبدیل داده متنی غیرساختیافته به دادههای ساختیافته