محتوای تکراری : دلایل و راهکارها

موتورهای جستجویی همچون گوگل دچار مشکلی به نام محتوای تکراری هستند. محتوای تکراری به این معنی‌ست که محتویات مشابه در موقعیت‌های (آدرسهای) مختلف روی وب ظاهرشوند و درنتیجه موتور جستجو نخواهد فهمید که کدام آدرس را به عنوان نتیجه نمایش دهد.این اتفاق ممکن است به امتیاز صفحه وب آسیب بزند و این وقتی مشکل‌زاتر خواهد شد که مردم سعی کنند به نسخه غیراصلی محتوا بپیوندند. این مقاله در فهم علل محتوای تکراری و پیداکردن راه حلی بر هر یک از علل آن به شما کمک خواهد کرد.

محتوای تکراری چیست؟

محتوای تکراری شبیه قرارگرفتن بر چهارراهی‌ست که در آن علائم راه برای رسیدن به یک مقصد یکسان دو مسیر متفاوت را نشان می‌دهند. کدام مسیر را باید انتخاب کنیم؟ حتی بدتر آنکه موقعیت مقصدها نیز متفاوت است، اما تنها بمقدار بسیار کم! به عنوان یک خواننده این مسئله برای شما تفاوتی ایجاد نخواهد کرد چرا که اطلاعات موردنیازتان را دریافت می‌کنید. اما یک موتور جستجو باید دست به انتخاب بزند که کدام صفحه را نمایش دهد، البته که نمی‌‌خواهد مطلبی یکسان را دوبار نمایش دهد.

فرض کنیم مقاله شما درباره ” کلیدواژه X”در آدرس: http://www.example.come/keyword-x/ و محتوای مشابهی در آدرس ” http://www.example.com/article-category/keyword-x قرارمی‌گیرد. این یک شرایط ساختگی نیست بلکه در بسیاری از سیستمهای مدیریت محتوا – CMS اتفاق می‌افتد. سپس فرض کنیم مقاله شما توسط بلاگرهای متفاوتی انتخاب شده و عده‌ای به لینک نخست و برخی نیز به لینک دوم می‌پیوندند. اینجا جایی‌ست که موتور جستجو دچار اشکال خواهد شد: این مشکل شماست. محتوای تکراری مشکل شماست، چرا که دو لینک آدرسهای متفاوتی را ارائه می‌کنند و اگر همه به یک آدرس یکسان بپیوندند شانس شما برای افزایش امتیاز “کلیدواژه x” بالاتر خواهد رفت.

جدول محتوا

1. علل پیدایش محتوای تکراری
   • کج‌فهمی در معنای منطق URL
   • شناسه جلسه شناسه‌ی سشن
   • پارامترهای لازمِ URL برای دنبال‌کردن و مرتب‌کردن
   • همگام سازی محتوا و استخراج‌کننده‌ها
   • ترتیب پارامترها
   • صفحه‌بندی نظرات
   • صفحات دوستدار پرینتر
   • www در مقابل بدون www
2. راه حل مفهومی: URL استاندارد
3. شناسایی مشکلات محتوای تکراری
   • کنسول جستجوی گوگل
   • جستجوی عناوین یا بخشها‌
4. راه‌کارهای عملی برای محتوای تکراری
   • اجتناب از محتوای تکراری
   • تغییرمسیر 301 محتوای تکراری
   • استفاده از لینک
   • پیوند‌دادن به محتوای اصلی
5. نتیجه‌گیری: محتوای تکراری قابل ترمیم است و باید حل شود.

1: علل محتوای تکراری

محتوای تکراری عوامل زیادی دارد و اکثر آنها فنی هستند: متداول نیست که فردی بخواهد یک مطلب را بی آنکه آدرس اصلی را مشخص کند در دو آدرس متفاوت قرار دهد( این برای اکثر ما غیرطبیعی به‌نظر می‌رسد.) دلایل فنی زیادی وجود دارد و اکثرآنها متوجه توسعه دهنده‌هاست. چرا که آنها مثل یک مرورگر یا یک کاربر فکر نمی‌کنند چه برسد یک موتورجستجو. مقاله‌ای که مثال زدیم را مفروض بگیرید http://www.example.come/keyword-x/ و http://www.example.com/article-category/keyword-x اگر از یک برنامه‌نویس بپرسید میگویند این محتوا تنها یکبار وجود داشته.

• کج‌فهمی در معنای URL

نه توسعه دهنده دیوانه نشده، تنها به زبان دیگری صحبت می‌کند. یک برنامه CMS وبسایت را مدیریت می‌کند و در دیتابیس آن تنها یک مقاله وجود دارد، اما نرم‌افزار وبسایت به مقاله درون دیتابیس اجازه می‌دهد به‌وسیله URL‌های متفاوتی قابل دسترسی باشد. این بدان دلیل است که در چشم برنامه‌نویس علامت منحصربه‌فرد آن مقاله شناسه آن در دیتابیس است و نه URL آن. اما برای موتور جستجو URL علامت منحصربه‌فرد مقاله خواهد بود. اگر این مسئله را برای برنامه‌نویس توضیح دهید متوجه مشکل خواهد شد و پس از مطالعه این مقاله قادر خواهید بود به سرعت راه‌حلی نیز به او ارائه دهید.

مقاله مرتبط: ساختار URL سازگار با SEO در وردپرس چیست؟

• شناسه‌های سشن

شما بطور مداوم می‌خواهید بازدیدکنندگان خودرا پیگیری کنید و در مواردی  برای آنها اجازه صادر کنید. برای مثال برای ذخیره‌کردن آیتم‌هایی که می‌خواهند از سبد خرید خود بخرند. برای انجام اینکار باید به آنها یک سشن بدهید. یک سشن تاریخچه‌ای کوتاه از فعالیت بازدیدکننده بر سایت شماست و حاوی مواردی‌ست که فرد در سبدخرید خود قرار داده. برای نگه‌داری از آن سشن با کلیلک بازدیدکننده بر ضفحه‌ای دیگر شما نیاز دارید به آن یک شناسه بدهید، به اسم شناسه سشن، و آن را جایی ذخیره کنید. متداولترین شکل آن استفاده از کوکی‌هاست.

در چنین موقعیتی، بعضی سیستم‌ها از شناسه سشن‌ها در‌URL  استفاده می‌کنند. این به این معنی‌ست که لینک ورودی وبسایت شناسه سشن را به URL خود متصل می‌کند و بخاطر آنکه شناسه سشن برای آن سشن منحصر بفرد است URLی جدید ساخته می‌شود و در نتیجه محتوای تکراری پیش‌ ‌می‌آید.

•  پارامترهای لازمِ URL برای دنبال‌کردن و مرتب‌کردن

از علل دیگر محتوای تکراری استفاده از پارامترهای ‌ URLای‌ست که محتوای صفحه را، مثلا، برای لینکهای ردیابی تغییر نمی‌دهند..میدانید که برای موتور جستجو دو آدرس  http://www.example.come/keyword-x/ و http://www.example.com/article-category/keyword-x/ آدرسهایی یکسان نیستند. با دومی ممکن است ردیابی منبعی که افراد از آن آمده‌اند اسانتر باشد ولی امتیازگیری را برای شما سختتر کند، که یک عارضه ناخواسته‌ است.

این مسئله تنها برای پارامترهای ردیاب پیش نمی‌آید بلکه برای هر پارامتری که بدون تغییر بخشی اساسی از محتوا به ‌URL اضافه شود پیش می‌آید، می‌خواهد پارامتری برای تغییر ترتیب در یک مجموعه کالا باشد یا برای نمایش یک نوار کناری: همه آنها باعث محتوای تکراری می‌شوند.

• همگام سازی محتوا و کپی‌کننده‌ها

بیشتر دلایلی که منجر به محتوای تکراری می‌شوند حاصل اشتباه شما یا وبسایت هستند. با این حال گاهی باقی وبسایتها با یا بدون اجازه شما از محتوای شما استفاده می‌کنند. آنها همیشه به  مقاله اصلی پیوند نمیزنند درنتیجه موتور جستجو متوجه آن نمی‌شود و باید مشکل را رفع کند. هرچه وبسایت شما محبوبتر باشد استخراج بیشتری دریافت می‌کنید که این مشکل را بزرگتر و بزرگتر می‌کند.

• ترتیب پارامترها

دلیل معمول دیگر این است که CMS از یک URL تمیز و ساده استفاده نمی‌کند. بیشتراوقات  URLهایی مثل /?id=1&cat=2 که در آن ID اشاره به مقاله و Cat اشاره به دسته آن دارد. URL ای مثل /?cat=2&id=1هم نتیجه‌ای کاملا مشابه تحویل می‌دهد ولی برای موتور جستجو کاملا متفاوت است.

مقاله مرتبط: مبانی ایجاد لینک داخلی – Internal Link (و نحوه درست انجام این کار)

• صفحه‌بندی نظرات

در وردپرس ، و همچنین بعضی سیستمهای دیگر گزینه‌ای برای صفحه‌بندی نظرات وجود دارد. این باعث تکراری شدن محتویات در طول URLمقاله و URL+ /comment-page-1، /coment-page-2/ و غیره می‌شود.

• صفحات سازگار برای پرینت
  

اگر سیستم مدیریت محتوای شما صفحات سازگار برای چاپ بسازد و شما بوسیله صفحات مقاله‌تان به آن دسترسی یابید، گوگل عموما آنها را پیدا خواهد کرد مگر اینکه شما به طور خاص آنها را مسدود کنید. حال از خود بپرسید می‌خواهید گوگل کدام صفحه‌ را نمایش دهد؟ صفحه‌ای با تبلیغات و محتوای پیرامونی یا صفحه‌ای با تنها مقاله‌تان در آن؟

• با www یا بدون www

این یکی از قدیمیترین موارد در کتابهاست اما گاهی موتورهای جستجو آن را اشتباه می‌گیرند. www یا بدون آن زمانی مسئله است که هردو ورژن از سایت شما قابل دسترسی‌ست. مورد نه‌چندان متداول آن زمانی‌ست که ‌HTTP و HTTPS محتوای تکراری می‌سازند( وقتی محتوا بر هردوی آنها ارائه شده).

2. راه حل منطقی: ایجاد یک لینک ‘canonical’

همانطور که دیدیم این واقعیت که URLهای مختلف به محتوای یکسان می‌رسند مشکل زاست، اما قابل حل. فردی که در انتشارات کار می‌کند می‌تواند به راحتی به شما بگوید URL صحیح برای یک مقاله مشخص چه باید باشد اما وقتی از سه نفر در یک انتشارات بپرسید 3 جواب مجزا خواهید گرفت.

این هم مشکلی‌ست که باید به آن اشاره شود چرا که در نهایت تنها یک URL می‌تواند وجود داشته باشد. آن URL صحیح برای یک تکه از محتوای شما توسط موتورهای جستجو، URL  استاندارد یا کانونی – Canonical URL خوانده می‌شود.

3.  مشخص کردن مسائل محتوای تکراری

ممکن است ندانید دچار مشکل محتوای تکراری روی سایتتان یا با محتوای خود شده‌اید یانه. راه‌هایی هست تا بفهمید.

• کنسول سرچ گوگل

کنسول سرچ گوگل راه مناسبی برای تشخیص محتوای تکراری‌ست. وارد سرچ کنسول خود شوید. به search appearance بروید و سپس HTML Improvements و بعد خواهید دید:

اگر صفحات عناوین یا توضیحات یکسان داشتند نشانه خوبی نیست. کلیک برآن URL عنوان یا توضیح تکراری را آشکار می‌کند و به شما در تشخیص مشکل کمک خواهد کرد.مسئله این است که اگر شما دو مقاله با کلیدواژه x داشته باشید و در دو دسته‌بندی نمایش داده‌شود، عناوین احتمالا متفاوتند. آنها ممکن است برای مثال ” کلیدواژه x- دسته x_ سایت فرضی” و کلیدواژه x_ دسته y_ سایت فرضی” باشند. گوگل آنها را به عنوان محتوای تکراری نشان نمی‌دهد اما می‌توانید آن را با جستجو پیدا کنید.

مقاله مرتبط: چگونه سایت وردپرس خود را به Google Webmaster Tools معرفی کنیم؟

• جست و جوی برای یافتن عناوین یا توضیحات

دستورهای جستجوی متعددی وجود دارند که در این چنین مواردی راه‌گشا هستند. اگر می‌خواهید همه URLهای وبسایت خود که دارای کلیدواژه x هستند را بیابید عبارت جستجوی زیر را وارد گوگل کنید

"site:example.com intitle:"Keyword X

گوگل سپس همه صفحاتی که در سایت example.com حاوی کلیدواژه موردنظر باشد به شما نشان می‌دهد. هرچه بخش intitle جست‌و جو را جزئی‌تر کنید ساده‌تر محتوای تکراری را میابید.شما همچنین می‌توانید از این روش برای یافتن محتوای تکراری در طول صفحات وب نیز استفاده کنید. فرض کنیم عنوان کامل مقاله شما” کلیدواژه x_ چرا هیجان‌انگیز است” باشد. اینگونه جستجو کنید.

"intitle:"Keyword X - why it is awesome

و گوگل همه سایتهایی که به عنوان شما می‌خورند را تحویل می‌دهد. بعضی وقتها خوب است حتی یک یا دو جمله کامل از مقاله‌تان را جستجو کنید چرا که بعضی استخراج‌کننده‌ها ممکن است تغییری در عنوان مقاله داده باشند. در بعضی موارد وقتی جستجویی این چنینی می‌کنید گوگل ممکن است تذکری به شکل زیر در صفحه آخر نتایج نشان دهد.

این یعنی گوگل خود محتوای مشابه را از نتیجه حذف کرده. این مسئله همچنان خوب نیست و بهتر است روی لینک کلیک کرده و همه نتایج را نگاه کنید تا شاید بعضی از آنها را رفع کردید.

4. راه‌کارهای عملی برای محتوای تکراری

وقتی تصمیم گرفتید کدام URL برای محتوای شما استاندارد – canonical URL است، باید پروسه کانونی کردن را شروع کنید. این بدان معنی‌ست که باید به همه موتورهای جستجو درباره نسخه کانونی یک صفحه اطلاع دهیم و اجازه دهیم آنرا در اولین فرصت پیدا کنند. روشهایی برای حل این مشکل هست، به ترتیب ارجحیت:

1. نساختن محتوای تکراری
2. هدایت کردن محتوای تکراری به URL کانونی
3. اضافه کردن لینک استاندارد – canonical Link به صفحه تکراری
4. اضافه کردن لینک HTML از لینک تکراری به صفحه اصلی

 اجتناب از محتوای تکراری

• آیا شناسه سشنها در URL  قرار گرفته؟

اغلب میتوانید از طریق تنظیمات سیستم خود آن را غیرفعال کنید

• صفحات دوستدار پرینتر مشابه دارید؟

اینها کاملا بلااستفاده هستند: شما باید تنها از یک صفحه پرینت استایل استفاده کنید

• ایا از صفحه‌بندی نظرات در وردپرس استفاده می‌کنید؟

باید این ویژگی را در 99 درصذ سایتها غیرفعال کنید ( setting>> discussions)

• آیا پارامترهایتان در ترتیب متفاوتی قرارگرفته؟

به برنامه‌نویستان بگویید یک اسکریپت ساخته و همیشه پارامترهارا به ترتیب در آن قراردهد( اکثرا از آن به عنوان سازنده URL نام می‌برند)

• آیا مشکلاتی با لینکهای ردیابی دارید؟

در اکثر موارد بهتر است از ترکرهای مبتنی بر هشتگ به‌جای ترکرهای مبتنی بر پارامتر استفاده کنید.

• آیا مشکل wwwو بدون www دارید؟

یکی را انتخاب کنید و دیگری را به قبلی ریدایرکت کنید. همچنین می‌توانید یک پیشفرض در ابزارهای وب مستر گوگل درنظر بگیرید اما باید مالک هردو نسخه اسم دامین شوید.

اگر مشکل شما به این سادگی قابل حل نبود هنوز بهتر است بازهم تلاش کنید. هدف شما باید جلوگیری از نمایش محتوای تکراری درکنار هم باشد چرا که این بهترین راه‌ حل مشکل خواهد بود.

 تغییرمسیر 301 محتوای تکراری

در بعضی موارد موارد غیرممکن است جلوی سیستم مورد استفاده خودرا بگیرید تا URL اشتباه برای محتوایتان نسازد ولی گاهی ممکن است آن را بازگردانید.اگر به نظرتان منطقی نمیرسد ( که متوجه آن هستم) حین صحبت با برنامه‌نویستان آن را در ذهن داشته باشید .اگر از شر بعضی محتویات تکراری خلاص شدید مطمئن شوید همه URLهای محتویات تکراری قدیمی را به URLهای کانونی مناسب ریدایرکت کرده‌اید.

استفاده از لینک‌ها

گاهی نمیتوانید یا نمیخواهید از شر یک نسخه تکراری یک مقاله خلاص شوید حتی با اینکه می‌دانید urlآن اشتباه است. برای حل این مسئله خاص موتورهای جستجو لینکهای کانونی را معرفی کرده‌اند. که در بخش <head> سایت شما قرار گرفته و اینطوربه نظر می‌رسند.

"amp;lt;link rel="canonical&
;href="http://example.com/wordpress/seo-plugin/"&gt

در بخش href از لینک کانونی URL  کانونی مقاله خود را وارد کنید.وقتی یک موتور جستجو که کانونی‌هارا پشتیبانی می‌کند این المان لینک را پیدا ‌کند بازگردانی 301 را به اجرا می‌گذارد، و اکثر ارزش لینک جمع‌آوری شده توسط صفحه را به صفحه کانونی باز می‌گرداند.

این مراحل کمی از بازگردانی 301 کندترند،پس به اشاره جان مولرِ گوگل اگر فقط بتوانید یک بازگردانی 301 انجام دهید مرجح خواهد بود.

مقاله مرتبط: راهنمای جامع سئو – SEO در وردپرس (مرحله به مرحله)

 پیوند دادن به محتوای اصلی

اگر نمی‌توانید هیچ‌یک از کارهای بالا را انجام دهید، احتمالا بخاطر آنکه بخش <head> سایتی که محتویات شما در آن نمایش میابد در کنترل شما نیست، اضافه کردن لینکی به محتوای اصلی در بالا یا پایین مقاله‌تان فکر خوبی‌ست. ممکن است بخواهید در بخش RSS feed خود لینکی به مقاله‌تان قرار دهید. بعضی استخراج کننده‌ها آن لینک را فیلتر می‌کنند اما باقی آنها آنرا تغییر نمی‌دهند.اگر گوگل تعداد زیاذی لینک در حال اشاره به مقاله شما پیدا کند به زودی خواهد فهمید که مقاله شما کانونی است.

نتیجه‌گیری: محتوای تکراری قابل ترمیم است و باید حل شود

محتوای تکراری همه‌جا اتفاق می‌افتد. با این وجود من به سایتی برخورده‌ام که با بیش از 1000 صفحه هنوز کوچکترین مشکلی با محتوای تکراری ندارد. این مسئله‌ای‌ست که باید مداوما تحت نظارت قرارگیرد اما قابل حل است و پاداش آن می‌تواند خیلی زیاد باشد. کیفیت محتوای شما می‌تواند در رتبه‌بندی‌ها تنها با خلاص شدن از شر محتویات تکراری اوج گیرد.