Screaming Frog یک ابزار قدرتمند برای کراول و تحلیل فنی وبسایت است که مثل یک موتور جستجو سایت شما را اسکن میکند و تمام صفحات، لینکها، متادیتاها، خطاهای تکنیکال و ساختار داخلی سایت را شناسایی میکند. این ابزار یکی از مهمترین نرمافزارهای تخصصی سئوکاران است و کمک میکند مشکلات فنی را سریعتر پیدا و برطرف کنید.
تفاوت با سایر ابزارهای کراول
برخلاف ابزارهایی مثل Sitebulb یا Ahrefs Site Audit، اسکریمنگ فراگ بهصورت لوکال روی سیستم شما اجرا میشود و کنترل کامل روی تنظیمات کراول میدهد. این یعنی شما میتوانید هر نوع فیلتر، محدودیت یا تست سفارشی انجام دهید و دادهها را ذخیره و تحلیل کنید.
چرا هر سئوکار باید Screaming Frog را بلد باشد
تشخیص خطاهای فنی مثل صفحات 404 و ریدایرکتهای اشتباه
بررسی ساختار Title، متا دیسکریپشن و هدینگها
پیدا کردن صفحات یتیم یا کممحتوا
بررسی سرعت سایت و دادههای Core Web Vitals
کمک به بهبود معماری سایت و لینکسازی داخلی
۲. دانلود و نصب Screaming Frog
دانلود نسخه رایگان و پولی
برای شروع، باید آخرین نسخه Screaming Frog را از سایت رسمی آن دانلود کنید:
https://www.screamingfrog.co.uk/seo-spider/
این ابزار دو نسخه دارد:
نسخه رایگان → امکان کراول تا ۵۰۰ URL، مناسب برای سایتهای کوچک یا تست اولیه
نسخه پولی (لایسنسدار) → بدون محدودیت تعداد URL و دسترسی به امکانات حرفهای مثل:
Custom Extraction (استخراج داده سفارشی با XPath یا Regex)
Google Analytics & Search Console Integration (اتصال و ترکیب دادهها)
Scheduling & Automation (زمانبندی کراولها بهصورت خودکار)
JavaScript Rendering (رندر کامل صفحات داینامیک مثل SPAها)
API Access برای کارهای پیشرفته
تفاوت امکانات نسخه رایگان و لایسنسدار
| قابلیتها | نسخه رایگان | نسخه پولی |
|---|---|---|
| محدودیت URL | ۵۰۰ | نامحدود |
| ذخیره و بارگذاری پروژهها | ❌ | ✅ |
| رندر جاوااسکریپت | ❌ | ✅ |
| اتصال به GA & GSC | ❌ | ✅ |
| Custom Extraction | ❌ | ✅ |
| Scheduling | ❌ | ✅ |
اگر سایتی متوسط یا بزرگ دارید و قصد مانیتورینگ منظم دارید، نسخه پولی ارزش خرید دارد.
نصب روی ویندوز، مک و لینوکس
ویندوز: فایل
.exeرا دانلود و نصب کنید → نصب شبیه سایر نرمافزارهاست (Next → Next → Finish).مک: فایل
.dmgرا دانلود و در Applications کپی کنید.لینوکس: نسخه
.debیا.rpmرا دانلود کرده و با دستورsudo dpkg -iیاsudo rpm -iنصب کنید.
نکته: Screaming Frog به Java نیاز دارد، اما نسخههای جدید بهصورت Bundled ارائه میشوند و نیازی نیست دستی جاوا نصب کنید.
برای تحلیل دقیقتر رفتار کاربران و بررسی ترافیک سایت، میتوانید به آموزش کامل گوگل آنالیتیکس GA4 مراجعه کنید.
۳. آشنایی با رابط کاربری Screaming Frog
بعد از نصب و اجرای Screaming Frog، اولین چیزی که میبینید داشبورد اصلی است. این محیط در نگاه اول شاید شلوغ به نظر برسد، اما اگر ساختارش را بشناسید، کار با آن بسیار ساده و لذتبخش میشود.
🖥️ معرفی داشبورد و تبهای اصلی
در بالای صفحه یک نوار ابزار دارید که شامل:
Search Bar → وارد کردن آدرس سایت یا URL برای شروع کراول
Start, Stop, Pause Buttons → کنترل فرآیند کراول
Mode Selection → سه حالت اصلی دارد:
Spider Mode → برای کراول کامل سایت
List Mode → برای بررسی لیست خاصی از URLها (مثلاً از یک فایل CSV)
SERP Mode → تحلیل نتایج جستجو از طریق آپلود فایل با فرمت مشخص
در پایین صفحه، تبهای اصلی نتایج قرار دارند:
Internal → تمام صفحات داخلی سایت
External → لینکهای خارجی
Protocol → HTTP و HTTPS صفحات
Response Codes → دستهبندی URLها بر اساس کد وضعیت (۲۰۰، ۳۰۰، ۴۰۴ و …)
Page Titles → بررسی عنوان صفحات (طول، تکراری بودن، خالی بودن)
Meta Description → بررسی متا دیسکریپشنها
H1 / H2 → بررسی هدینگها
Images → بررسی تصاویر، حجم، متن ALT
Canonical → بررسی تگ canonical
Directives → بررسی noindex، nofollow و تگهای ربات
این تبها در واقع همان گزارشهای تحلیلی هستند که بعد از کراول میتوانید روی هرکدام فیلتر بگذارید.
📊 توضیح ستونها و فیلدها
هر تب شامل جدولی با ستونهای مختلف است. ستونهای مهم:
| ستون | توضیح |
|---|---|
| Address | URL صفحه یا فایل |
| Content Type | نوع محتوا (HTML، CSS، Image، JS) |
| Status Code | کد وضعیت (200 OK، 301 Redirect، 404 Not Found) |
| Status | توضیح کوتاه وضعیت (Success, Redirect, Client Error) |
| Title 1 | عنوان صفحه (Title Tag) |
| Title Length | تعداد کاراکترهای عنوان |
| Meta Description 1 | توضیحات متا |
| Meta Description Length | طول متا دیسکریپشن |
| H1-1 / H2-1 | هدینگها |
| Canonical Link Element 1 | تگ Canonical صفحه |
هر ستون را میتوانید با کلیک راست فیلتر کنید یا به اکسل خروجی بگیرید.
💾 نحوه ذخیره و بارگذاری پروژهها
اگر پروژه بزرگی کراول میکنید، بهتر است دادهها را ذخیره کنید تا دوباره مجبور به کراول نباشید.
برای ذخیره:
از منوی بالا File → Save را انتخاب کنید.
فرمت ذخیره
.seospiderخواهد بود.
برای بارگذاری دوباره پروژه:
File → Open را بزنید و فایل پروژه قبلی را انتخاب کنید.
این قابلیت مخصوص نسخه پولی است. در نسخه رایگان امکان ذخیرهسازی محدود است.

۴. کراول اولیه سایت در Screaming Frog
حالا که با رابط کاربری آشنا شدی، وقتشه اولین کراول واقعی رو انجام بدی. این مرحله خیلی مهمه چون کیفیت دادههایی که میگیری، کاملاً وابسته به تنظیمات قبل از شروع کراوله.
🟢 نحوه شروع Crawl
۱. آدرس سایت رو وارد کن
در نوار بالای برنامه (Search Bar)، دامنه موردنظر رو وارد کن.
مثال:
https://example.com
۲. روی Start کلیک کن
دکمه سبز رنگ Start رو بزن تا کراول شروع بشه.
ابزار شروع میکنه همه لینکهای داخلی رو پیدا کنه و بررسی کنه.
۳. مشاهده وضعیت کراول
در نوار پایین سمت چپ، درصد پیشرفت کراول و تعداد URLهای بررسی شده رو میبینی.
میتونی هر لحظه کراول رو Pause یا Stop کنی.
🎯 Crawl محدود یا کامل سایت
گاهی لازم نیست کل سایت رو کراول کنی، مخصوصاً اگر سایت بزرگه.
Crawl کامل:
مناسب سایتهای کوچک و متوسط
بهت دید کامل از ساختار سایت، خطاها، ریدایرکتها و … میده
Crawl محدود:
مناسب تست سریع تغییرات
میتونی در منوی Configuration → Spider محدودیت بذاری:
حداکثر تعداد URL
عمق Crawl (Crawl Depth)
نوع فایلها (HTML فقط یا همراه JS و CSS)
مثال: فقط صفحات تا عمق ۲ از صفحه اصلی رو کراول کن تا سرعت بالا بره.
🌐 Crawl روی زیردامنهها و مسیرهای خاص
به صورت پیشفرض Screaming Frog فقط دامنه اصلی رو کراول میکنه.
اگر سایت چند زیردامنه داره (مثل blog.example.com یا shop.example.com):
به مسیر Configuration → Spider → Crawl برو
گزینه Crawl All Subdomains رو فعال کن تا زیردامنهها هم کراول بشن
یا آدرس زیردامنه رو جداگانه وارد کن و کراول بگیر
برای کراول کردن مسیر خاص:
از حالت List Mode استفاده کن
لیست URLهای اون مسیر رو از سایت مپ یا سرچ کنسول بگیر و در برنامه وارد کن
⚡ نکته حرفهای:
قبل از کراول، کش برنامه رو پاک کن تا نتایج قدیمی با نتایج جدید قاطی نشه:
File → Clear Cache
و اگر سایت روی staging یا لوکال هست، میتونی اطلاعات ورود رو در بخش Configuration → Authentication وارد کنی تا کراول کامل انجام بشه.
برای افزایش اعتبار دامنه و استراتژی لینکسازی، مقاله راهنمای جامع رپورتاژ آگهی را مطالعه کنید.
۵. بررسی وضعیت کدهای پاسخ (Status Codes) در Screaming Frog
بعد از کراول اولیه سایت، یکی از اولین کارهایی که باید انجام بدی بررسی کدهای پاسخ سرور (Status Codes) هست. این کار کمک میکنه خطاهای فنی سایت رو پیدا و رفع کنی، چون این خطاها هم روی تجربه کاربری و هم روی سئو تاثیر منفی دارن.
🟢 شناسایی خطاهای مهم (404، 500، 301، 302)
در تب Response Codes، تمام URLها بر اساس کد وضعیت HTTP دستهبندی شدن:
کد 200 (OK)
یعنی صفحه سالمه و مشکلی نداره.
اکثر URLها باید این وضعیت رو داشته باشن.
کدهای 3xx (ریدایرکتها)
301 (Permanent Redirect): ریدایرکت دائمی، برای تغییر آدرس صفحات استفاده میشه.
302 (Temporary Redirect): ریدایرکت موقت، معمولاً پیشنهاد میشه به 301 تبدیل بشه مگر دلیل خاصی وجود داشته باشه.
نکته مهم: ریدایرکتهای زنجیرهای (Chain Redirects) یا حلقهای (Redirect Loops) رو شناسایی کن چون سرعت سایت و سئو رو خراب میکنن.
کدهای 4xx (خطاهای کاربر)
404 (Not Found): صفحه پیدا نشد. این خطاها باید یا اصلاح بشن (با برگردوندن صفحه) یا با ریدایرکت به صفحه مرتبط رفع بشن.
410 (Gone): یعنی صفحه عمداً حذف شده. استفاده از این کد به گوگل میگه که صفحه رو ایندکس نکنه.
کدهای 5xx (خطاهای سرور)
500 (Internal Server Error): خطای سرور، باید فوراً بررسی بشه.
503 (Service Unavailable): معمولاً هنگام نگهداری سایت نمایش داده میشه، اما اگر زیاد دیده بشه برای سئو خطرناکه.
🎯 اهمیت ریدایرکتها در سئو
ریدایرکتها باید کوتاه و مستقیم باشن (ترجیحاً 301 بدون زنجیره اضافی)
ریدایرکتهای زیاد باعث افت سرعت و کاهش Link Equity میشن
استفاده نادرست از 302 به جای 301 ممکنه مانع انتقال اعتبار لینک بشه
📤 نحوه Export گزارش خطاها
Screaming Frog بهت اجازه میده خیلی سریع گزارش خطاها رو خروجی بگیری:
به تب Response Codes برو
فیلتر رو روی کد موردنظر بگذار (مثلاً Client Error 4xx)
از منوی بالا روی Export کلیک کن
فایل رو در فرمت CSV ذخیره کن و به تیم فنی بده تا رفع کنن
همچنین میتونی از منوی Bulk Export → Response Codes تمام URLهایی که خطا دارن رو یکجا خروجی بگیری.
💡 نکته حرفهای:
حتماً بعد از رفع خطاها دوباره کراول بگیر تا مطمئن بشی مشکل برطرف شده.
میتونی از بخش Configuration → Exclude URLهایی که قبلاً بررسی و اصلاح شدن رو حذف کنی تا کراول سریعتر بشه.

۶. بررسی Title و Meta Description در Screaming Frog
بهینهسازی Title و Meta Description یکی از مهمترین کارهای سئو آن-پیج هست. Screaming Frog دقیقاً همون جاییه که میتونی این عناصر رو بهصورت کامل بررسی کنی و خطاها رو پیدا کنی.
🔍 شناسایی Titleهای تکراری یا طولانی
۱. به تب Page Titles برو.
۲. در ستونها موارد زیر رو بررسی کن:
Missing: صفحات بدون Title رو شناسایی و تکمیل کن.
Duplicate: عنوانهای تکراری رو ویرایش کن تا هر صفحه عنوان منحصربهفرد داشته باشه.
Over 60 Characters: اگر عنوان طولانیه، کوتاهش کن تا در نتایج گوگل بریده نشه.
Below 30 Characters: اگر خیلی کوتاهه، کاملترش کن تا ارزش کلمات کلیدی رو بالا ببره.
💡 نکته:
عنوان باید شامل کلمه کلیدی هدف باشه، اما طبیعی به نظر بیاد و کاربر رو به کلیک ترغیب کنه.
📝 بررسی Meta Descriptionهای خالی یا Duplicate
۱. به تب Meta Description برو.
۲. ستونها رو چک کن:
Missing: صفحات بدون متا توضیحات رو تکمیل کن.
Duplicate: متا توضیحات تکراری رو تغییر بده تا خاص و جذاب باشه.
Over 155 Characters: اگر طولانیه، کوتاهش کن تا کامل نمایش داده بشه.
Below 70 Characters: اگر خیلی کوتاهه، کاملترش کن تا پیام صفحه رو بهتر برسونه.
💡 نکته:
متا دیسکریپشن بهطور مستقیم عامل رتبهبندی نیست، اما روی CTR (نرخ کلیک) تاثیر زیادی داره.
🎯 بهینهسازی برای CTR
استفاده از Call-to-Action: مثل «همین حالا بخوانید»، «راهنمای کامل»، «مرحله به مرحله».
افزودن USP (مزیت منحصربهفرد): مثل «آپدیت ۲۰۲۵»، «راهنمای رایگان».
استفاده از اعداد: مثل «۱۰ تکنیک برتر»، «۵ اشتباه رایج».
تمرکز روی نیاز کاربر: عنوان رو طوری بنویس که جواب سوال یا مشکل کاربر باشه.
📤 نحوه Export گزارشها
از تب Page Titles یا Meta Description → Export میتونی خروجی CSV بگیری و در اکسل یا Google Sheets بررسی و ویرایش کنی.
با گزینه Bulk Export → All Page Titles / All Meta Descriptions کل دیتا رو یکجا خروجی بگیر.
بهبود تجربه کاربری موبایل اهمیت زیادی دارد؛ در راهنمای کامل موبایل فرندلی و ریسپانسیو میتوانید نکات کاربردی را ببینید.
۷. تحلیل هدینگها (H1 – H6) در Screaming Frog
هدینگها (H1 تا H6) ساختار محتوای صفحه رو مشخص میکنن و برای سئو و تجربه کاربری خیلی مهمن. Screaming Frog یکی از بهترین ابزارها برای پیدا کردن مشکلات هدینگهاست.
🔍 شناسایی صفحات بدون H1
۱. به تب H1 برو.
۲. فیلتر رو روی Missing بذار تا تمام صفحاتی که H1 ندارن رو ببینی.
۳. این صفحات رو اولویتبندی کن و حتماً یک H1 مرتبط با کلمه کلیدی اضافه کن.
💡 نکته:
هر صفحه باید دقیقاً یک H1 داشته باشه که عنوان اصلی صفحه رو نمایش بده.
⚠️ شناسایی صفحات با چند H1
۱. دوباره در تب H1 فیلتر رو روی Multiple بذار.
۲. صفحاتی که چند H1 دارن رو بررسی کن.
۳. در صورت لزوم فقط یکی رو بهعنوان H1 نگهدار و بقیه رو به H2 یا H3 تبدیل کن.
💡 اشتباه رایج:
استفاده از لوگو یا منو بهعنوان H1 (به دلیل اشتباه قالب سایت). این مشکل باید در کدنویسی اصلاح بشه.
🏗️ بررسی ساختار هدینگها (H1 تا H6)
از تبهای H1 و H2 میتونی عناوین رو ببینی و بفهمی که ساختار صفحه منطقی هست یا نه.
بررسی کن که:
H1 در ابتدای محتوا قرار گرفته باشد.
H2ها بخشهای اصلی محتوا رو پوشش بدن.
H3ها زیرمجموعهی H2ها باشن و ترتیب منطقی رعایت شده باشه.
از منوی Bulk Export → All H1 / All H2 خروجی بگیر و در اکسل ساختار رو یکجا تحلیل کن.
🎯 نکات بهینهسازی هدینگها
H1 = عنوان اصلی صفحه → حتماً شامل کلمه کلیدی اصلی باشه.
H2 = تیترهای بخشها → برای دستهبندی محتوا و افزودن کلمات کلیدی مرتبط.
H3 – H6 = زیرمجموعهها → کمک به خوانایی و ساختار سلسلهمراتبی.
از تکرار بیمورد کلمه کلیدی در هدینگها پرهیز کن (Keyword Stuffing).
۸. تحلیل محتوای صفحات در Screaming Frog
تحلیل محتوای صفحات به شما کمک میکند کیفیت محتوای سایت را بسنجید، صفحات ضعیف را شناسایی کنید و ساختار داخلی لینکدهی را بهبود دهید. Screaming Frog ابزار قدرتمندی برای این کار دارد.
📝 بررسی طول محتوا (Word Count)
۱. پس از اتمام Crawl، به تب Content بروید.
2. ستون Word Count را فعال کنید (از منوی بالای نرمافزار: Config → Custom → Extraction در نسخه پولی میتوانید تنظیمات پیشرفته داشته باشید).
3. صفحات با محتوای خیلی کوتاه (کمتر از ۳۰۰ کلمه) را فیلتر کنید.
💡 نکته:
صفحات مهم (Landing Pages، مقالات) باید حداقل محتوای ارزشمند و قابلخواندن داشته باشند.
اگر صفحات محصول دارید، حداقل توضیحات اختصاصی و کامل اضافه کنید تا از Thin Content جلوگیری شود.
⚠️ شناسایی صفحات Thin Content
از ستون Word Count یا گزارش Content → Thin Content استفاده کنید.
صفحات با محتوای خیلی کوتاه، بیکیفیت یا تکراری را شناسایی کنید.
بررسی کنید آیا این صفحات ارزش ایندکس شدن دارند یا باید:
محتوا را تقویت کنید
یا صفحه را با صفحات مشابه ادغام کنید
یا آن را Noindex کنید
🔗 پیدا کردن صفحات یتیم (Orphan Pages)
صفحات یتیم صفحاتی هستند که لینک داخلی ندارند و کاربران و رباتها سختتر آنها را پیدا میکنند.
برای پیدا کردن آنها در Screaming Frog:
۱. از منوی Mode → List استفاده کنید و لیست کامل URLهای سایت را از سرچ کنسول یا نقشه سایت (XML Sitemap) وارد کنید.
۲. Crawl را اجرا کنید و ببینید کدام صفحات لینک داخلی ندارند.
۳. به کمک گزارش Crawl Analysis → Orphan Pages میتوانید آنها را شناسایی کنید (نسخه لایسنسدار).
💡 توصیه:
صفحات یتیم را در ساختار لینکدهی داخلی سایت قرار دهید تا اعتبار و ترافیک دریافت کنند.
🎯 نکات بهینهسازی محتوای صفحات
همیشه برای صفحات مهم محتوای کامل و یونیک تولید کنید.
لینکدهی داخلی را بهبود دهید تا صفحات یتیم حذف شوند.
از دادههای سرچ کنسول برای پیدا کردن صفحات کمکلیک استفاده کنید و آنها را تقویت کنید.
برای افزایش نرخ کلیک در نتایج گوگل، توصیه میکنیم مقاله راهنمای جامع متا دیسکریپشن را مطالعه کنید.
۹. بررسی تصاویر سایت در Screaming Frog
بهینهسازی تصاویر نهتنها سرعت سایت را افزایش میدهد، بلکه تجربه کاربری و سئو را هم بهبود میدهد. Screaming Frog ابزار دقیقی برای شناسایی مشکلات تصاویر فراهم کرده است.
🖼 شناسایی تصاویر بدون ALT
پس از اتمام Crawl، به تب Images بروید.
ستون Alt Text را بررسی کنید.
از فیلتر Missing Alt Text استفاده کنید تا تمام تصاویری که متن جایگزین ندارند نمایش داده شوند.
💡 نکته:
متن جایگزین (ALT) باید توصیفی و مرتبط با تصویر باشد، اما از پر کردن آن با کلمات کلیدی خودداری کنید.
تصاویر مهم (مثل بنرهای اصلی و اینفوگرافیکها) حتماً باید ALT مناسب داشته باشند تا در جستجوی تصاویر گوگل هم شانس دیده شدن داشته باشند.
⚡ پیدا کردن تصاویر سنگین
از ستون Size در تب Images استفاده کنید تا حجم فایلها را بررسی کنید.
فیلتر Over 100 KB یا Over 500 KB را فعال کنید تا تصاویر با حجم بالا شناسایی شوند.
تصاویر سنگین را بهینه کنید (کمپرس، فرمت WebP، lazy load).
🔧 توصیه:
حجم تصاویر را تا جای ممکن پایین بیاورید بدون افت کیفیت محسوس.
استفاده از ابزارهایی مثل TinyPNG یا Squoosh کمک زیادی میکند.
در سایتهای وردپرسی میتوانید از پلاگینهایی مثل Imagify یا ShortPixel استفاده کنید.
📊 گزارش کامل تصاویر
در تب Images روی Export کلیک کنید تا گزارش کامل تصاویر شامل URL، ALT Text، حجم، Status Code و نوع فرمت خروجی بگیرید.
این گزارش را با تیم محتوا یا طراحان سایت به اشتراک بگذارید تا تصاویر مشکلدار اصلاح شوند.
🎯 نکات مهم در بهینهسازی تصاویر
از نام فایل توصیفی استفاده کنید (مثال:
seo-tools-guide.jpgبه جایIMG_1234.jpg).فرمت مناسب انتخاب کنید (WebP برای سرعت بهتر، SVG برای آیکونها).
حتماً برای تصاویر مهم Caption یا توضیح اضافه کنید تا تجربه کاربری بهتر شود.

۱۰. بررسی لینکهای داخلی در Screaming Frog
لینکهای داخلی یکی از مهمترین بخشهای سئو داخلی هستند. Screaming Frog ابزار کامل و دقیقی برای تحلیل ساختار لینک داخلی ارائه میدهد.
🔗 تحلیل Internal Links
پس از Crawl سایت، به تب Internal بروید.
ستون Inlinks را بررسی کنید تا ببینید هر صفحه از چه صفحات داخلی لینک گرفته است.
ستون Outlinks نشان میدهد هر صفحه به چه صفحات داخلی یا خارجی لینک داده است.
💡 نکته:
صفحات مهم سایت باید تعداد لینکهای داخلی مناسبی داشته باشند تا Page Authority بهدرستی منتقل شود.
صفحات بدون لینک داخلی (Orphan Pages) شناسایی و اصلاح شوند.
⚠️ پیدا کردن صفحات با لینک کم
از ستون Inlinks مرتبسازی کنید تا صفحاتی که کمترین لینک داخلی را دارند بالا بیایند.
این صفحات معمولاً پتانسیل رتبهگیری خوبی دارند ولی به دلیل کمبود لینک داخلی هنوز دیده نمیشوند.
💡 راهکار عملی:
اضافه کردن لینک از صفحات پربازدید و مرتبط به صفحات کم لینک.
استفاده از Anchor Text مناسب و مرتبط با موضوع صفحه مقصد.
❌ شناسایی لینکهای شکسته
در تب Internal، ستون Status Code را بررسی کنید.
فیلتر Client Error (4xx) را فعال کنید تا لینکهای خراب مشخص شوند.
همچنین لینکهای خارجی شکسته در تب External و با فیلتر مشابه قابل شناسایی است.
🔧 راهکار اصلاح:
اصلاح URL لینکهای شکسته.
استفاده از ریدایرکت 301 برای صفحات حذف شده.
حذف لینکهای غیرضروری یا ناامن.
📊 گزارش کامل لینکها
با استفاده از Export گزارش لینکهای داخلی شامل URL مبدا، URL مقصد، نوع لینک (Follow/Nofollow) و Anchor Text دریافت کنید.
این گزارش برای تیم محتوا و توسعهدهنده قابل استفاده است تا لینکها بهینهسازی شوند.
یکی از فاکتورهای مهم تجربه کاربری و سئو، سرعت سایت است؛ نکات کامل آن را در آموزش جامع افزایش سرعت سایت بخوانید.
۱۱. بررسی لینکهای خارجی در Screaming Frog
لینکهای خارجی (External Links) برای سئو اهمیت دارند، مخصوصاً زمانی که به منابع معتبر لینک میدهید یا بخواهید از لینکهای خروجی کنترلشده استفاده کنید. Screaming Frog ابزار جامعی برای مدیریت این لینکها ارائه میدهد.
🔗 شناسایی External Links
پس از پایان Crawl، به تب External بروید.
ستونهای اصلی:
Address: URL مقصد لینک خارجی
Status Code: بررسی سلامت لینک (200، 301، 404 و …)
Follow / Nofollow: مشخص میکند لینک دنبال میشود یا خیر
Anchor Text: متن لینک
💡 نکته:
لینکهای به منابع معتبر (DA بالا) میتوانند اعتبار صفحه را افزایش دهند.
لینکهای به سایتهای اسپم یا نامعتبر میتوانند تاثیر منفی داشته باشند.
⚠️ بررسی وضعیت لینکهای خروجی
از ستون Status Code برای شناسایی لینکهای خراب (404، 500 و …) استفاده کنید.
لینکهای شکسته باید سریعاً اصلاح شوند تا تجربه کاربری و سئو آسیب نبیند.
لینکهای Nofollow معمولاً ارزش سئو منتقل نمیکنند، ولی برای منابع خارجی میتوانند مفید باشند تا از اسپم شدن جلوگیری شود.
🔧 راهکار بهینهسازی External Links
لینکدهی به منابع معتبر و مرتبط با محتوا
استفاده از Nofollow برای لینکهای تبلیغاتی یا غیرقابل اعتماد
بهینهسازی تعداد لینکهای خروجی در هر صفحه (نباید بیش از حد زیاد باشد)
مانیتورینگ دورهای لینکها برای اطمینان از سلامت آنها
📊 گزارش کامل External Links
با Export → External میتوانید تمام لینکهای خارجی را در فایل Excel یا CSV استخراج کنید.
ستونها شامل URL مبدا، URL مقصد، Anchor Text، Status Code و Follow/Nofollow است.
این گزارش برای تیم محتوا و توسعهدهنده کاربردی است تا لینکهای خروجی بهینهسازی شوند.
برای افزایش قدرت صفحات و رتبه بهتر کلمات کلیدی، مقاله آموزش لینکسازی داخلی پیشرفته با کمک دادههای سرچ کنسول مفید است.
۱۲. بررسی Canonical و Duplicate Content در Screaming Frog
محتوای تکراری و Canonical اشتباه میتوانند باعث کاهش رتبه سایت در گوگل شوند. Screaming Frog ابزار دقیقی برای شناسایی و اصلاح این موارد دارد.
🏷️ شناسایی صفحات بدون Canonical
پس از Crawl سایت، به تب Canonical بروید.
ستونهای اصلی:
Address: URL صفحه
Canonical Link Element: URL مشخصشده به عنوان Canonical
Self-Referencing: آیا صفحه به خودش Canonical داده یا نه
💡 نکته عملی:
هر صفحه باید یک Canonical معتبر داشته باشد.
صفحات بدون Canonical میتوانند باعث محتوای تکراری شوند و رتبه را کاهش دهند.
📄 بررسی محتوای تکراری
تب Duplicate در Screaming Frog محتواهای مشابه را نشان میدهد:
Duplicate Title
Duplicate Meta Description
Duplicate H1
مقایسه صفحات تکراری و تعیین صفحه اصلی (Canonical) برای جلوگیری از مشکلات سئو ضروری است.
🔧 راهکار رفع Duplicate Content
اضافه کردن تگ Canonical به صفحه اصلی (Self-Referencing)
ترکیب یا بازنویسی محتوای تکراری
استفاده از ریدایرکت 301 برای صفحات غیرضروری به صفحه اصلی
📊 گزارش کامل
با Export → Canonical میتوانید تمام اطلاعات Canonical صفحات سایت را دریافت کنید.
ستونها شامل URL صفحه، URL Canonical، Self-Referencing و وضعیت محتوا است.
گزارش برای توسعهدهنده و سئوکار کمک میکند صفحات بدون Canonical یا دارای Duplicate را اصلاح کنند.
۱۳. بررسی Sitemap و Robots.txt در Screaming Frog
فایلهای Sitemap و Robots.txt ابزارهای کلیدی برای هدایت خزندهها و بهینهسازی سئو هستند. Screaming Frog امکان تحلیل دقیق آنها را فراهم میکند.
🗂️ بررسی صحت فایل Sitemap
مسیر فایل Sitemap معمولاً:
example.com/sitemap.xmlدر Screaming Frog:
به منوی Sitemaps → XML Sitemap بروید
فایل Sitemap سایت را وارد کنید یا URL آن را Crawl کنید
بررسی کنید:
همه صفحات مهم در Sitemap حضور دارند
صفحات حذفشده یا با خطای ۴۰۴ در Sitemap نباشند
💡 نکته عملی:
Sitemap باید بهروز و شامل URLهای معتبر باشد
صفحات با محتوای تکراری یا بلااستفاده را حذف کنید
🤖 بررسی Robots.txt و محدودیتها
مسیر Robots.txt معمولاً:
example.com/robots.txtدر Screaming Frog:
به Configuration → Robots.txt بروید و فایل را بارگذاری کنید
موارد مهم:
دستور Disallow: کدام مسیرها توسط خزنده مسدود شدهاند
دستور Allow و Crawl-delay
بررسی دستور Sitemap در Robots.txt
💡 نکته عملی:
اطمینان حاصل کنید صفحات مهم توسط Robots.txt مسدود نشدهاند
مسیرهای غیرضروری یا پنل ادمین را میتوانید مسدود کنید تا Crawl Budget صرفهجویی شود
📊 گزارش کامل
Export → Sitemap URLs و Robots.txt برای دریافت لیست کامل URLها
ستونها شامل URL، Status Code، Inclusion در Sitemap و دستورات Robots.txt
کمک میکند مشکلات دسترسی خزندهها و شاخصگذاری صفحات شناسایی و رفع شود
برای بررسی عملکرد سایت و فرصتهای سئو، مقاله آموزش کامل گوگل سرچ کنسول را از دست ندهید.
۱۴. بررسی سرعت سایت با Screaming Frog
سرعت سایت یکی از مهمترین فاکتورهای تجربه کاربری و سئو است. Screaming Frog قابلیت بررسی Core Web Vitals و اتصال به PageSpeed Insights API را دارد.
⚡ استفاده از API PageSpeed Insights
راهاندازی API:
به Google PageSpeed Insights API مراجعه کنید
API Key دریافت کنید
در Screaming Frog: Configuration → API Access → PageSpeed Insights وارد کنید
انتخاب صفحات:
میتوانید کل سایت یا صفحات مشخص را Crawl کنید
Desktop و Mobile بهصورت جداگانه آنالیز میشوند
خواندن نتایج:
Performance Score (0-100)
LCP: Largest Contentful Paint
FID: First Input Delay
CLS: Cumulative Layout Shift
💡 نکته عملی:
تمرکز روی صفحات با LCP > 2.5 ثانیه یا CLS > 0.1
Screaming Frog امکان Export گزارشها برای تحلیل در اکسل یا Data Studio را دارد
📊 تحلیل Core Web Vitals
Screaming Frog دادهها را برای هر URL جمعآوری میکند
ستونها شامل:
LCP، FID، CLS
Status PageSpeed (Passed/Needs Improvement)
کمک میکند صفحاتی که نیاز به بهینهسازی سرعت دارند شناسایی شوند
💡 نکته عملی:
پس از شناسایی صفحات مشکلدار، اقدامات مانند Minify CSS/JS، Lazy Loading تصاویر، استفاده از CDN و بهینهسازی سرور را اعمال کنید
۱۵. کراول سایتهای جاوااسکریپتی (Crawl JavaScript Websites)
با رشد استفاده از SPA (Single Page Application) و فریمورکهای جاوااسکریپت مثل React، Angular و Vue، بسیاری از صفحات سایتها با رندر سمت کلاینت بارگذاری میشوند. Screaming Frog قابلیت JavaScript Rendering را دارد تا محتوای این صفحات نیز بررسی شود.
⚡ فعالسازی رندر جاوااسکریپت
مسیر: Configuration → Spider → Rendering
گزینه JavaScript را فعال کنید
تنظیم زمان صبر (Render Time) برای بارگذاری کامل صفحه
💡 نکته عملی:
SPAها نیاز به زمان بیشتری برای رندر دارند، معمولاً بین 3 تا 5 ثانیه کافی است
قبل از Crawl، مطمئن شوید منابع جاوااسکریپت قابل دسترس هستند (عدم بلاک توسط Robots.txt)
📊 بررسی مشکلات صفحات SPA و React
شناسایی URLهای بدون محتوای قابل ایندکس
بررسی Meta Tags و H1های رندر شده
شناسایی صفحات با خطاهای Client-side Rendering
Export گزارش برای تحلیل و بهینهسازی
💡 نکته عملی:
اگر محتوای کلیدی در JS بارگذاری میشود، مطمئن شوید Server-Side Rendering (SSR) یا Prerender برای ایندکس بهتر فعال باشد
صفحات بدون رندر کامل را با Google Search Console بررسی کنید
۱۶. بررسی Structured Data و Schema در Screaming Frog
Structured Data (دادههای ساختاریافته) کمک میکند موتورهای جستجو محتوای صفحات را بهتر درک کنند و امکان نمایش Rich Snippets در نتایج جستجو را فراهم میکند. Screaming Frog قابلیت شناسایی و تحلیل این دادهها را دارد.
⚡ فعالسازی بررسی Structured Data
مسیر: Configuration → Spider → Extraction → Structured Data
نوع دادهها را انتخاب کنید: JSON-LD, Microdata, RDFa
Crawl سایت با این تنظیمات
💡 نکته عملی:
Screaming Frog تمامی صفحات دارای Schema را شناسایی میکند و خطاهای آنها را لیست میکند
Export گزارش برای تحلیل دقیق و اصلاح اسکیما
📊 بررسی Rich Snippets و دادههای ساختاریافته
شناسایی صفحات بدون Schema یا با خطا
بررسی تطابق Schema با استاندارد گوگل
تحلیل انواع Rich Snippets مثل:
Product
FAQ
Article
Event
💡 نکته عملی:
خطاهای Schema را اصلاح کنید تا صفحات شانس نمایش Rich Snippets داشته باشند
استفاده از Google Rich Results Test بعد از اصلاح توصیه میشود
۱۷. اتصال Screaming Frog به Google Analytics و Search Console
یکی از امکانات پیشرفته Screaming Frog، ادغام دادههای کراول با اطلاعات واقعی کاربران و عملکرد صفحات است. این کار کمک میکند تحلیل سئو دقیقتر و عملیتری داشته باشید.
⚡ اتصال به Google Analytics (GA4 / Universal)
مسیر: Configuration → API Access → Google Analytics
وارد کردن حساب کاربری و اجازه دسترسی
انتخاب Property و View (در GA4: Data Stream)
انتخاب Metrics:
Sessions
Users
Bounce Rate
Avg. Session Duration
💡 کاربرد عملی:
شناسایی صفحاتی که کراول صحیح دارند اما ترافیک کمی میآورند
شناسایی صفحاتی با ترافیک بالا ولی مشکلات فنی
⚡ اتصال به Google Search Console
مسیر: Configuration → API Access → Google Search Console
اتصال به اکانت گوگل
انتخاب Property مورد نظر
وارد کردن Metrics:
Impressions
Clicks
CTR
Position
💡 کاربرد عملی:
تشخیص صفحاتی که CTR پایین دارند
اولویتبندی صفحات برای بهبود Title و Meta Description
تحلیل کلمات کلیدی مرتبط با صفحات
⚡ ترکیب دادهها
بعد از کراول، Screaming Frog دادههای GA و GSC را با دادههای خود ترکیب میکند
خروجی (Export) شامل ستونهای Status Code, Title, Meta Description, GA Sessions, GSC Impressions میشود
میتوان بر اساس مشکلات فنی و عملکرد واقعی صفحات اولویتبندی کرد
💡 نکته حرفهای:
این ترکیب به شما امکان میدهد صفحات با پتانسیل بالا برای بهبود سئو و CTR را شناسایی کنید
۱۸. استفاده از Custom Extraction در Screaming Frog
یکی از قابلیتهای حرفهای Screaming Frog، Custom Extraction است که به شما اجازه میدهد هر داده دلخواهی از صفحات سایت استخراج کنید. این ویژگی برای تحلیلهای پیشرفته، رصد محتوا و بررسی دادههای سئو حیاتی است.
⚡ معرفی Custom Extraction
مسیر: Configuration → Custom → Extraction
قابلیت استفاده از دو روش:
Regex (Regular Expression): برای استخراج دادههای متنی یا مشخص با الگوهای خاص
XPath: برای استخراج دادهها از HTML ساختاریافته، مثل تگهای متا یا المانهای مشخص
💡 مثال:
استخراج قیمت محصولات:
<span class="price">(\d+)</span>استخراج SKU محصول:
<div id="sku">([A-Z0-9]+)</div>
⚡ کاربردهای عملی
سئو محصولات و فروشگاهها:
بررسی وجود متاهای Open Graph یا Schema
استخراج قیمت، موجودی و SKU برای بررسی هماهنگی با سایت
مانیتورینگ محتوا:
استخراج نویسنده، تاریخ انتشار یا دستهبندی مقاله
بررسی consistency بین صفحات
آنالیز رقبا:
استخراج مشخصات محصولات یا ویژگیهای صفحات رقبا (در سایتهایی که مجاز به تحلیل هستند)
⚡ نکات حرفهای
قبل از اعمال Regex یا XPath، حتما در چند صفحه تست کنید تا خطا نداشته باشید
دادههای استخراج شده را میتوان به فایل CSV یا Excel خروجی گرفت و در Google Data Studio یا Excel تحلیل کرد
ترکیب با GA و GSC: دادههای استخراج شده را میتوان با دادههای واقعی ترافیک و CTR ترکیب کرد
💡 مزیت اصلی:
این ابزار به شما اجازه میدهد دادههای دقیق و سفارشی را بدون نیاز به اسکرپینگ پیچیده یا کدنویسی مستقیم استخراج کنید و تحلیلهای پیشرفتهتری داشته باشید.
۱۹. فیلترها و Segmentها در Screaming Frog
یکی از بخشهای کلیدی برای تحلیل حرفهای در Screaming Frog، فیلترها و Segmentها است که به شما کمک میکند دادهها را دقیقتر بررسی کنید و صفحات خاص را شناسایی کنید.
⚡ استفاده از فیلترها (Include / Exclude)
مسیر: Configuration → Include / Exclude
Include: صفحات یا URLهایی که میخواهید در کراول بررسی شوند
Exclude: صفحات یا URLهایی که نمیخواهید کراول شوند
کاربرد عملی:
کراول فقط صفحات محصول سایت
حذف صفحات آرشیو یا تگها برای کاهش حجم کراول
💡 مثال:
Include:
^https://example.com/product/.*→ فقط صفحات محصولExclude:
.*\/tag\/.*→ صفحات تگ نادیده گرفته شوند
⚡ ساخت Segmentهای پیشرفته
با Segment میتوانید دادههای خروجی را گروهبندی و تحلیل کنید
کاربردها:
بررسی صفحات با خطاهای ۴۰۴ و ۵۰۰
تحلیل صفحات با عنوان تکراری یا متا دیسکریپشن خالی
دستهبندی صفحات بر اساس طول محتوا یا تعداد لینکهای داخلی
💡 نکات حرفهای:
ترکیب فیلترها و Segmentها کمک میکند گزارشهای سفارشی و دقیق بسازید
دادهها را میتوان به CSV یا Excel خروجی گرفت و در ابزارهای دیگر (مثل Google Data Studio) تحلیل کرد
۲۰. تولید گزارش و خروجی در Screaming Frog
یکی از مزیتهای قدرتمند Screaming Frog، توانایی تولید گزارشهای جامع و قابل تحلیل است که میتوانند برای ارائه به تیمها یا تحلیلهای حرفهای استفاده شوند.
⚡ ساخت گزارشهای CSV و Excel
مسیر: File → Export یا با راستکلیک روی ستونهای مورد نظر
انواع گزارشها:
Internal HTML: لیست تمام صفحات داخلی
External Links: لینکهای خروجی و وضعیت آنها
Images: تصاویر بدون ALT یا با حجم بالا
Redirects & Status Codes: صفحات با ۴۰۴، ۵۰۰، ریدایرکت ۳۰۱/۳۰۲
مزایا:
امکان فیلتر کردن دادهها قبل از خروجی
آماده برای تحلیل در Excel یا Google Sheets
قابل اشتراکگذاری با تیم محتوا یا توسعه
💡 مثال عملی:
خروجی صفحات با Meta Description خالی → تیم محتوا میتواند برای هر صفحه متا مناسب بنویسد
⚡ اتوماسیون با API و Command Line
Screaming Frog امکان استفاده از Command Line برای اجرای پروژهها بدون باز کردن نرمافزار دارد
مزایا:
کراول خودکار سایتها در بازههای زمانی مشخص
تولید گزارشهای CSV به صورت منظم
ادغام با ابزارهای تحلیلی مثل Google Data Studio یا Python برای پردازش دادههای بزرگ
نکته:
برای سایتهای بزرگ، ترکیب Command Line با فیلترها و Segmentها باعث صرفهجویی در زمان میشود
⚡ نکات حرفهای برای گزارشگیری
همیشه نسخه پشتیبان پروژهها را ذخیره کنید
از فیلترها و Segmentها برای تولید گزارشهای دقیقتر استفاده کنید
گزارشها را با تیم توسعه، محتوا و سئو به اشتراک بگذارید تا اقدامات بهینهسازی سریعتر انجام شود
۲۱. بهترین شیوهها و نکات حرفهای در استفاده از Screaming Frog
برای استفاده حرفهای و بهینه از Screaming Frog، رعایت چند نکته کلیدی و بهترین شیوهها اهمیت دارد:
⚡ چکلیست بررسی دورهای سایت
بررسی صفحات با خطای ۴۰۴ و ریدایرکتها
بررسی Meta Title و Meta Descriptionهای خالی یا تکراری
شناسایی صفحات Thin Content یا صفحات یتیم (Orphan Pages)
بررسی ساختار هدینگها و Canonical Tags
بررسی لینکهای داخلی و خارجی شکسته یا nofollow
تحلیل سرعت صفحات و Core Web Vitals
💡 نکته عملی: ایجاد یک چکلیست ماهانه و اجرای کراول منظم کمک میکند تا مشکلات قبل از تأثیر منفی روی سئو رفع شوند
⚡ ترکیب Screaming Frog با Ahrefs و Google Search Console
Ahrefs: بررسی بکلینکها و اعتبار صفحات و مقایسه با لینکهای داخلی
Google Search Console (GSC): بررسی صفحات با Impression بالا ولی CTR پایین
مزایا:
شناسایی فرصتهای بهبود محتوا
بهینهسازی لینکدهی داخلی و خارجی
تحلیل دقیقتر عملکرد صفحات و کمپینهای سئو
💡 مثال عملی:
صفحات با Impression بالا در GSC و لینک کم داخلی → با Screaming Frog پیدا شده و لینکدهی داخلی انجام شود
⚡ اتوماسیون بررسیهای ماهانه
استفاده از Command Line و پروژههای ذخیرهشده برای کراول خودکار سایت
ترکیب با Google Sheets یا Data Studio برای گزارشدهی دورهای
امکان ارسال خودکار گزارشها به ایمیل تیم
💡 نکته حرفهای:
سایتهای بزرگ و پیچیده را با اتوماسیون بررسی کنید تا منابع انسانی صرفهجویی شود و خطاها سریعتر شناسایی شوند
۲۲. جمعبندی و توصیه نهایی
در این بخش، تمام نکات و مراحل استفاده از Screaming Frog مرور میشود و توصیههای عملی برای سئوکاران و مدیران سایت ارائه میگردد:
🔹 مرور تمام مراحل
نصب و راهاندازی: نسخه رایگان یا لایسنسدار، پروژهها و ذخیرهسازی
کراول سایت: صفحات داخلی، زیردامنهها و مسیرهای خاص
بررسی فنی صفحات:
Status Codes (۴۰۴، ۵۰۰، ریدایرکتها)
Meta Titles و Meta Description
H1-H6 و ساختار هدینگها
محتوای Thin و Orphan Pages
تصاویر و لینکها (داخلی و خارجی)
Canonical و Duplicate Content
Sitemap و Robots.txt
تحلیل پیشرفته:
Structured Data و Rich Snippets
Integration با GA4 و GSC
Custom Extraction با Regex/XPath
Funnels و Path Analysis
اتوماسیون و گزارشدهی:
تولید گزارش CSV/Excel
Command Line و Cron Job
اتوماسیون ماهانه برای سایتهای بزرگ
🔹 استراتژیهای بهینهسازی فنی بعد از Screaming Frog
رفع صفحات با خطاهای ۴۰۴ و ریدایرکت اشتباه
بهینهسازی Meta Title و Description برای CTR بهتر
اصلاح صفحات Thin Content و Orphan Pages
بهینهسازی لینکدهی داخلی و خارجی
بررسی و اصلاح Structured Data و Schema
نظارت مستمر بر سرعت صفحات و Core Web Vitals
💡 نکته کلیدی: استفاده منظم از Screaming Frog به همراه ترکیب دادههای GA4 و GSC، ابزار قدرتمندی برای حفظ سلامت فنی سایت و رشد رتبه در نتایج گوگل است.
