🕸️ Asynchronous Internal Link Graph Visualizer & Orphan Page Auditor for Technical SEO by AMEEEN SEO

A powerful, standalone Technical SEO CLI tool designed by [AMEEEN SEO] to map content-level internal link structures, audit link equity, detect orphan pages, and reverse-engineer competitor website architectures without relying on paid tools like Screaming Frog.

---

🇬🇧 English Overview & Guide

🚀 Why This Tool? (The SEO Problem It Solves)

Most SEO crawlers count site-wide navigational links (header, mega menus, sidebar widgets, and footer) as internal links. This creates a false sense of security where every page seems well-connected.

Link Graph Auditor performs Strict In-Content Link Extraction:

• Automatically purges all navigational noise (header, footer, nav, aside, ARIA navigation roles).
• Strips CMS boilerplate such as WordPress "Related Posts", "Recent Posts", and author boxes (yarpp, jp-relatedposts, wp-block-latest-posts).
• Parses standard sitemaps and nested <sitemapindex> files asynchronously.
• Renders an interactive, physics-stabilized HTML 3D-like graph (Vis.js/PyVis) and a CSV audit report.

🎯 Key SEO Use Cases

1. Zero-Cost Competitor Silo Analysis: Reverse-engineer competitor topical clusters and pillar-cluster strategies without needing Screaming Frog paid licenses.
2. True In-Content Orphan Page Discovery: Pinpoint pages indexed in sitemaps that receive zero contextual in-text links (in_degree == 0).
3. Internal PageRank & Hub Analysis: Visualize internal PageRank distribution based on node sizes (scaled by in-links).
4. Interactive Inspection: Switch between URL slugs and Persian/English Meta Titles, filter orphans, and view exact inbound/outbound links in the side drawer.

📦 Installation

git clone https://github.com/am333ni7y/internal-link-graph-auditor.git
cd internal-link-graph-auditor
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

⚡ Quick Start & Usage Examples

# Basic audit on any standard sitemap
python link_graph_auditor.py --sitemap https://example.com/post-sitemap.xml

# Bypassing WAFs / Anti-Bot protection using SEO user agents
python link_graph_auditor.py \
  --sitemap https://example.com/sitemap.xml \
  --ua-preset screaming-frog \
  --output-html site_graph.html \
  --output-csv site_orphans.csv

# Crawling with Googlebot-Mobile User-Agent and concurrency limit
python link_graph_auditor.py \
  --sitemap https://example.com/post-sitemap.xml \
  --ua-preset googlebot-mobile \
  --concurrency 5 \
  --timeout 20

🛠️ CLI Flags

Flag	Description	Default
--sitemap	Remote URL or local path to XML sitemap / sitemap index	Required
--ua-preset	User-Agent preset (chrome, screaming-frog, googlebot-mobile, googlebot-desktop)	chrome
--concurrency	Max asynchronous concurrent HTTP crawl workers	10
--timeout	HTTP request timeout in seconds	15
--delay, --rate-limit	Polite delay in seconds between requests per worker (with natural jitter)	0.0
--output-html	Destination path for interactive PyVis HTML report	link_graph.html
--output-csv	Destination path for detailed CSV audit file	orphan_report.csv

---

🇮🇷 راهنمای جامع فارسی (Persian Documentation)

🎯 کاربرد این ابزار برای متخصصین سئو چیست؟

بسیاری از خزنده‌ها لینک‌های موجود در هدر، فوتر و سایدبار را به عنوان لینک داخلی لحاظ می‌کنند که باعث ایجاد خطای دید در سلامت لینک‌سازی می‌شود. این ابزار به طور اختصاصی روی لینک‌های متنی و ارزشمند داخل بدنه مقاله (In-Content Links) تمرکز دارد.

🔥 قابلیت‌های کلیدی:

• مهندسی معکوس ساختار رقبا: استخراج سیلوهای محتوایی و کلاسترهای لینک رقبا بدون نیاز به نرم‌افزارهای پولی.
• شناسایی صفحات یتیم واقعی (True Orphans): شناسایی مقالاتی که در سایت‌مپ هستند اما هیچ پیوند درون‌متنی دریافت نکرده‌اند.
• پاکسازی نویزهای وردپرس: حذف خودکار بخش‌های «مطالب پیشنهادی»، «مطالب مرتبط»، باکس نویسنده و ابزارک‌ها جهت استخراج لینک‌های خالص متنی.
• رابط کاربری و گراف تعاملی مدرن:
  • سوییچ میان نمایش اسلاگ URL و متا تایتل فارسی (Meta Title) روی نودها.
  • کشوی اختصاصی (Inspector Drawer) برای مشاهده مشخصات، پیوندهای ورودی و خروجی با کلیک روی هر نود.
  • باز کردن لینک مقاله با دابل کلیک.
  • چیدمان درختی (Hierarchical) و چیدمان آزاد فیزیک با قابلیت فریز خودکار (عدم چرخش و لرزش).
  • فیلتر اختصاصی بر اساس صفحات متصل و یتیم همراه با سرچ‌باکس نودها.

💻 نحوه اجرا و مثال‌های کاربردی:

# فعال‌سازی محیط مجازی
source .venv/bin/activate

# اجرای کرال و تحلیل لینک‌ها با یوزر ایجنت اسکریمینگ فراگ
python link_graph_auditor.py \
  --sitemap https://example.com/post-sitemap.xml \
  --ua-preset screaming-frog \
  --output-html link_graph.html \
  --output-csv orphan_report.csv

---

👨‍💻 Creator & Credits

Developed and maintained by AMEEEN SEO

Empowering Technical SEO specialists with fast, lightweight, and visual data tools.