فایل llms چیست و چطور باید تنظیم کنیم

فایل llms.txt چیست؟

llms.txt یک فایل متنی با قالب Markdown است که در ریشه دامنه، یعنی در آدرسی مانند https://example.com/llms.txt قرار می‌گیرد. این فایل مثل یک «فهرست راهنما» برای مدل‌های زبانی بزرگ (LLM) و عامل‌های هوش مصنوعی (AI Agents) عمل می‌کند. داخل آن نام سایت، خلاصه‌ای کوتاه از فعالیت شما و فهرستی از لینک‌های مهم همراه با یک توضیح یک‌خطی برای هر لینک نوشته می‌شود.

ایده ساده است: به‌جای اینکه مدل مجبور باشد ده‌ها یا صدها صفحه را باز کند و خودش حدس بزند کدام‌ها اهمیت دارند، شما نقشه‌ای تمیز و خلاصه در اختیارش می‌گذارید. حرف «s» در نام فایل به جمع بودن «models» اشاره دارد و پسوند .txt نشان می‌دهد فایل به‌صورت متن ساده ارائه می‌شود.

دلیل انتخاب Markdown هم روشن است. این قالب برای انسان خوانا است، برای ماشین به‌راحتی تجزیه می‌شود و نسبت به HTML توکن بسیار کمتری مصرف می‌کند؛ موضوعی که برای مدل‌هایی با پنجره زمینه (Context Window) محدود اهمیت زیادی دارد.

پیشینه و منشأ این پیشنهاد

این ایده در سپتامبر ۲۰۲۴ توسط جرمی هاوارد (Jeremy Howard)، از هم‌بنیان‌گذاران Answer.AI، مطرح شد. او پیشنهاد کرد سایت‌ها فایلی در مسیر /llms.txt منتشر کنند تا مدل‌های زبانی در زمان استنتاج، یعنی همان لحظه‌ای که کاربر پرسشی می‌پرسد، سریع‌تر به اطلاعات درست برسند.

باید روشن باشد که llms.txt یک پیشنهاد جامعه‌محور است و مثل robots.txt استاندارد رسمی و فراگیر ندارد. هیچ الزامی برای رعایت آن وجود ندارد و هر سرویس هوش مصنوعی خودش تصمیم می‌گیرد آن را بخواند یا نه. با این حال، پلتفرم‌های مستندنویسی و شرکت‌های فناوری مانند Anthropic، Stripe و Cursor برای مستندات خود چنین فایلی منتشر کرده‌اند و ابزارهای برنامه‌نویسی هوشمند از آن استفاده می‌کنند.

چرا مدل‌های زبانی به چنین فایلی نیاز دارند؟

سه مشکل اصلی باعث شد این پیشنهاد جدی گرفته شود:

• محدودیت پنجره زمینه: یک مدل نمی‌تواند کل یک سایت را همزمان در حافظه کاری خود نگه دارد. باید فقط چند صفحه مرتبط را انتخاب و بخواند.
• شلوغی HTML: بیشتر حجم یک صفحه وب را منو، فوتر، تبلیغ، اسکریپت و ابزارک‌ها تشکیل می‌دهند، نه محتوای اصلی. استخراج متن مفید از این ساختار هم زمان می‌برد و هم خطا دارد.
• ناشناخته‌بودن اولویت‌ها: مدل نمی‌داند از نظر شما صفحه قوانین بازگشت کالا مهم‌تر است یا یک مقاله قدیمی وبلاگ. فقط خود صاحب سایت این اولویت‌ها را می‌داند.

عامل‌های هوش مصنوعی که کاری چندمرحله‌ای انجام می‌دهند، مثلاً مقایسه چند خدمت یا یافتن شرایط ارسال یک فروشگاه، از این مسیر میان‌بر بیشترین سود را می‌برند، چون به‌جای گشتن در کل سایت مستقیم سراغ صفحه درست می‌روند.

تفاوت llms.txt با robots.txt و sitemap.xml

بسیاری از مدیران سایت این سه فایل را با هم اشتباه می‌گیرند. هر سه در ریشه دامنه قرار می‌گیرند، اما کارکرد و مخاطبشان متفاوت است و در عمل مکمل یکدیگرند، نه جایگزین.

نکته مهم اینکه llms.txt هیچ دسترسی‌ای را مسدود نمی‌کند. اگر می‌خواهید ربات‌های هوش مصنوعی به بخشی از سایت نرسند، باید از robots.txt یا محدودیت‌های سطح سرور استفاده کنید. درباره این موضوع در بخش هماهنگی با robots.txt بیشتر می‌گوییم.

واقعیت اثر llms.txt بر سئو و هوش مصنوعی

در فضای بازاریابی درباره این فایل اغراق زیاد شده است. برای تصمیم درست، بهتر است چند واقعیت را کنار هم بگذارید.

موضع رسمی گوگل

گوگل در راهنمای رسمی خود برای بهینه‌سازی قابلیت‌های هوش مصنوعی جست‌وجو، که در مه ۲۰۲۶ منتشر و در ژوئن ۲۰۲۶ درباره همین موضوع شفاف‌تر شد، اعلام کرده برای حضور در جست‌وجوی گوگل، از جمله بخش‌های مبتنی بر هوش مصنوعی، نیازی به فایل‌های ماشین‌خوان ویژه یا فایل‌های متنی مخصوص هوش مصنوعی نیست، چون جست‌وجوی گوگل از آن‌ها استفاده نمی‌کند. همان راهنما می‌گوید نگه‌داشتن چنین فایلی برای سرویس‌های دیگر اشکالی ندارد و برای رتبه شما نه مفید است و نه مضر.

پس اگر کسی llms.txt را «میان‌بر رسیدن به صفحه اول گوگل» معرفی می‌کند، ادعایش با موضع رسمی گوگل نمی‌خواند.

وضعیت پذیرش و استفاده واقعی

آمارها بسته به نمونه‌گیری بسیار متفاوت‌اند. مطالعه‌ای روی ۳۰۰ هزار دامنه حدود ۱۰ درصد پذیرش را گزارش کرده و بررسی ۱۰ هزار دامنه پرتردد حدود ۷ درصد را نشان داده است. در سایت‌های فنی و مستندات، سهم بالاتر است. همچنین برخی تحلیل‌های لاگ سرور نشان می‌دهد ربات‌های جست‌وجوی هوش مصنوعی این فایل را به‌ندرت درخواست می‌کنند و مستقیم سراغ HTML می‌روند.

در مقابل، ابزارهای برنامه‌نویسی مبتنی بر هوش مصنوعی هنگام کار با مستندات یک کتابخانه معمولاً دنبال این فایل می‌گردند. همچنین Lighthouse در کروم، در دسته بررسی «Agentic Browsing»، حضور یک خلاصه ماشین‌خوان در ریشه دامنه را چک می‌کند؛ نشانه‌ای که نشان می‌دهد عامل‌های مرورگر ممکن است در آینده بیشتر به آن تکیه کنند.

نتیجه عملی

ساخت llms.txt کم‌هزینه و کم‌ریسک است و ممکن است برای عامل‌ها و ابزارهای هوش مصنوعی مفید باشد، اما نباید انتظار افزایش رتبه یا تضمین ارجاع در پاسخ‌های هوش مصنوعی داشته باشید. آن را بخشی از زیرساخت «آماده‌بودن برای عامل‌ها» بدانید، نه جایگزین سئوی فنی و محتوای باکیفیت.

کدام سایت‌ها باید llms.txt بسازند؟

جدول زیر یک راهنمای عملی برای اولویت‌بندی است. این اولویت‌ها برداشت ما از کاربرد فایل است، نه قانونی رسمی.

ساختار و قواعد نگارش فایل

پیشنهاد اولیه ساختاری ساده و مشخص دارد. اجزای فایل به این ترتیب‌اند:

1. عنوان سطح یک (H1): نام سایت یا پروژه. این تنها بخش الزامی است و با علامت # نوشته می‌شود.
2. خلاصه (Blockquote): یک یا دو جمله درباره اینکه سایت چیست و چه می‌کند، با علامت >.
3. توضیحات اختیاری: چند پاراگراف یا فهرست بدون عنوان، برای نکاتی که مدل باید بداند؛ مثلاً زبان محتوا یا محدوده جغرافیایی خدمات.
4. بخش‌های H2: هر بخش یک موضوع دارد و شامل فهرستی از لینک‌ها به شکل - [عنوان](آدرس): توضیح کوتاه است.
5. بخش Optional: بخشی با همین عنوان که منابع ثانویه را در آن می‌گذارید. مدل می‌تواند در صورت کمبود جا از آن صرف‌نظر کند.

قواعد کاربردی نگارش

• همیشه آدرس کامل و مطلق (با https و نام دامنه) بنویسید.
• هر توضیح را در یک جمله شفاف و اطلاعاتی بنویسید؛ از شعار تبلیغاتی و تکرار کلیدواژه پرهیز کنید.
• بخش‌ها را بر اساس نیت کاربر بچینید (خدمات، راهنماها، قوانین)، نه بر اساس ساختار فنی سایت.
• فقط آدرس‌های canonical، قابل ایندکس و با پاسخ 200 را بگذارید.
• تعداد لینک‌ها را محدود نگه دارید. چیزی حدود ده تا پنجاه لینک برای بیشتر سایت‌ها کافی است.

نمونه کامل فایل llms.txt

نمونه زیر برای یک آژانس دیجیتال مارکتینگ فرضی نوشته شده است. نام و آدرس‌ها را با اطلاعات سایت خودتان جایگزین کنید.

# نمونه رسانه
 
> نمونه رسانه یک آژانس دیجیتال مارکتینگ ایرانی است که خدمات سئو، طراحی سایت و تولید محتوا برای کسب‌وکارهای آنلاین ارائه می‌دهد.
 
محتوای سایت فارسی است و خدمات برای بازار ایران ارائه می‌شود.
 
## خدمات
- [سئو و بهینه‌سازی سایت](https://example.com/services/seo): مراحل، خروجی‌ها و روش گزارش‌دهی خدمات سئوی فنی و محتوایی
- [طراحی سایت فروشگاهی](https://example.com/services/ecommerce): طراحی و راه‌اندازی فروشگاه اینترنتی با درگاه پرداخت ایرانی
- [تولید محتوا](https://example.com/services/content): خدمات مقاله‌نویسی، صفحات فرود و محتوای محصول
 
## راهنماها
- [تفاوت SEO و AEO و GEO](https://example.com/blog/seo-aeo-geo): مقایسه سه رویکرد بهینه‌سازی برای موتورهای جست‌وجو و پاسخ‌گوهای هوشمند
- [راهنمای انتخاب درگاه پرداخت](https://example.com/blog/payment-gateway): معیارهای مقایسه درگاه‌های پرداخت اینترنتی
 
## اطلاعات شرکت
- [درباره ما](https://example.com/about): معرفی تیم، سابقه و حوزه فعالیت
- [تماس با ما](https://example.com/contact): تلفن، ایمیل و آدرس دفتر
- [تعرفه‌ها](https://example.com/pricing): بازه قیمت خدمات و شرایط قرارداد
 
## Optional
- [وبلاگ](https://example.com/blog): آرشیو کامل مقالات آموزشی
- [نمونه‌کارها](https://example.com/portfolio): پروژه‌های انجام‌شده

به شیوه توضیح‌دادن لینک‌ها دقت کنید: هر توضیح می‌گوید صفحه چه اطلاعاتی دارد، نه اینکه چقدر عالی است. مدل باید بتواند فقط با خواندن همان یک خط تصمیم بگیرد صفحه به پرسش کاربر مربوط است یا نه.

llms-full.txt و نسخه Markdown صفحات

در کنار فایل اصلی، دو الگوی مکمل هم رایج شده است. اولی llms-full.txt است؛ فایلی که به‌جای فهرست لینک، متن کامل محتوای مهم را در یک فایل جمع می‌کند. دومی ارائه نسخه Markdown برای صفحات مهم است؛ پیشنهاد اولیه می‌گوید هر صفحه‌ای که ارزش خواندن برای مدل دارد، یک نسخه تمیز از خودش را در همان آدرس با افزودن .md در انتها ارائه دهد.

برای بیشتر سایت‌های فروشگاهی و شرکتی، llms.txt به‌تنهایی کافی است. اگر مستندات یا آموزش‌های طولانی دارید، افزودن llms-full.txt را بعداً بررسی کنید.

آموزش گام‌به‌گام تنظیم و راه‌اندازی

ساخت فایل کار فنی سنگینی نیست. مراحل زیر برای بیشتر هاست‌ها و سایت‌های وردپرسی قابل اجرا است.

گام اول: تعیین هدف و مخاطب فایل

مشخص کنید می‌خواهید یک عامل هوش مصنوعی درباره سایت شما چه چیزهایی بداند: خدمات، قیمت‌ها، شرایط ارسال یا راهنمای فنی. این هدف تعیین می‌کند کدام صفحات وارد فایل شوند.

گام دوم: انتخاب صفحات مهم

فهرستی از ده تا چهل صفحه‌ای که بیشترین ارزش را دارند تهیه کنید: صفحات خدمات، دسته‌بندی‌های اصلی، قوانین، پرسش‌های متداول و مقالات ستونی. صفحات با ریدایرکت، noindex، صفحات فیلتر و صفحات نازک را کنار بگذارید.

گام سوم: نوشتن فایل

با ویرایشگر متنی مانند VS Code یا Notepad++ فایلی به نام llms.txt بسازید و ساختار معرفی‌شده در بخش‌های قبل را رعایت کنید. فایل را با کدگذاری UTF-8 و بدون BOM ذخیره کنید تا متن فارسی سالم بماند.

گام چهارم: آپلود در ریشه دامنه

فایل باید در ریشه باشد، نه در زیرپوشه. در هاست‌های cPanel آن را از طریق File Manager یا FTP در پوشه public_html قرار دهید تا با آدرس https://yourdomain.com/llms.txt در دسترس باشد. اگر سایت شما وردپرسی است، علاوه بر آپلود دستی، بررسی کنید افزونه سئوی شما قابلیت تولید این فایل را دارد یا نه. برخی افزونه‌ها آن را ارائه می‌دهند، اما خروجی را حتماً از نظر انتخاب صفحات بازبینی کنید، چون تولید خودکار همیشه دقیق نیست.

گام پنجم: تنظیم نوع محتوا و کدگذاری

سرور باید فایل را به‌صورت متن و با کدگذاری UTF-8 ارائه دهد. در Nginx می‌توانید از تنظیم زیر استفاده کنید:

location = /llms.txt {
    default_type text/plain;
    charset utf-8;
}

در Apache و از طریق فایل .htaccess هم می‌توانید این کار را انجام دهید:

<Files "llms.txt">
    ForceType text/plain
    AddDefaultCharset UTF-8
</Files>

اگر از CDN مثل کلودفلر استفاده می‌کنید، بعد از هر تغییر کش آن آدرس را پاک کنید.

گام ششم: آزمایش فایل

ابتدا آدرس را در مرورگر باز کنید و از خوانا بودن متن فارسی مطمئن شوید. سپس با دستور زیر وضعیت پاسخ و نوع محتوا را بررسی کنید:

curl -I https://yourdomain.com/llms.txt

باید کد وضعیت 200 و نوع محتوای متنی ببینید. همچنین چند لینک داخل فایل را باز کنید و مطمئن شوید همه سالم‌اند.

گام هفتم: ادغام در فرایند انتشار

هر بار صفحه مهم جدیدی منتشر یا صفحه‌ای حذف می‌کنید، فایل را هم به‌روز کنید. بهتر است این کار را به چک‌لیست انتشار محتوا اضافه کنید تا فایل قدیمی نشود.

هماهنگی با robots.txt و کنترل خزنده‌های هوش مصنوعی

چون llms.txt جلوی دسترسی را نمی‌گیرد، مدیریت خزنده‌ها همچنان با robots.txt انجام می‌شود. ربات‌های اصلی هوش مصنوعی هر کدام User-agent مشخصی دارند: GPTBot و OAI-SearchBot و ChatGPT-User برای OpenAI، ClaudeBot برای Anthropic، PerplexityBot برای Perplexity، Google-Extended برای کنترل استفاده از محتوا در مدل‌های گوگل و CCBot برای Common Crawl.

نمونه زیر برای سایتی است که نمی‌خواهد محتوایش برای آموزش مدل‌ها جمع‌آوری شود، اما می‌خواهد در پاسخ‌های جست‌وجوی هوش مصنوعی دیده شود:

User-agent: GPTBot
Disallow: /
 
User-agent: CCBot
Disallow: /
 
User-agent: Google-Extended
Disallow: /
 
User-agent: OAI-SearchBot
Allow: /
 
User-agent: PerplexityBot
Allow: /
 
Sitemap: https://yourdomain.com/sitemap.xml

این فقط یک نمونه است و تصمیم درباره مسدودکردن یا اجازه‌دادن، تصمیمی کسب‌وکاری است. نکته‌ای که زیاد نادیده گرفته می‌شود این است که مسدودکردن ربات مربوط به آموزش مدل، اگر با ربات جست‌وجو یا دستیار کاربر اشتباه گرفته شود، می‌تواند شانس ارجاع به سایت شما را کم کند. نام و رفتار ربات‌ها ممکن است تغییر کند؛ فهرست به‌روز را در مستندات رسمی هر شرکت بررسی کنید.

اشتباهات رایج

• برگرداندن صفحه خطای HTML با کد 200: بعضی سایت‌ها برای آدرس ناموجود، صفحه ۴۰۴ قالب را با وضعیت 200 نشان می‌دهند. در این حالت ربات تصور می‌کند فایل وجود دارد ولی محتوای بی‌فایده دریافت می‌کند. اگر فایل ندارید، وضعیت 404 واقعی برگردانید.
• قراردادن همه صفحات: فهرست کردن صدها آدرس کار sitemap.xml است. llms.txt باید گزیده باشد.
• لینک به آدرس‌های نامناسب: لینک‌های ریدایرکت‌شده، noindex یا غیرcanonical اعتبار فایل را پایین می‌آورند.
• توضیحات تبلیغاتی: جمله‌هایی مثل «بهترین و برترین خدمات» اطلاعاتی به مدل نمی‌دهد.
• مشکل کدگذاری: ذخیره با کدگذاری اشتباه یا BOM باعث خراب‌شدن حروف فارسی می‌شود.
• قراردادن فایل در مسیر اشتباه: فایل باید در ریشه دامنه باشد، نه در پوشه وردپرس یا زیرمسیر.
• فراموش‌کردن به‌روزرسانی: فایلی که به صفحات حذف‌شده لینک می‌دهد بدتر از نبودن فایل است.
• درج اطلاعات غیرعمومی: هر چیزی که در این فایل بنویسید عمومی است. اطلاعات داخلی یا محرمانه هرگز نباید وارد آن شود.
• انتظار نتیجه فوری در رتبه: همان‌طور که دیدیم، گوگل این فایل را در رتبه‌بندی استفاده نمی‌کند.

نگهداری و سنجش نتیجه

ابزارهای تحلیل رفتار مثل گوگل آنالیتیکس ورودی ربات‌ها را به‌طور معمول نشان نمی‌دهند، بنابراین برای سنجش باید سراغ لاگ سرور بروید. درخواست‌های مربوط به مسیر /llms.txt را فیلتر کنید و User-agent آن‌ها را بررسی کنید. ممکن است ببینید ابزارهای برنامه‌نویسی یا برخی ربات‌ها آن را می‌خوانند و ممکن است هم تعداد درخواست‌ها بسیار کم باشد. هر دو حالت طبیعی است و به‌معنای بی‌فایده‌بودن ساخت فایل نیست.

برای بررسی اثر غیرمستقیم، به‌صورت دوره‌ای چند پرسش مرتبط با حوزه کاری خود را از دستیارهای هوشمند بپرسید و ببینید نام یا صفحات سایت شما در پاسخ‌ها می‌آید یا نه. این آزمون دقیق نیست، اما روند را نشان می‌دهد. همچنین هر سه تا شش ماه یک‌بار لینک‌های فایل را از نظر سالم‌بودن و به‌روز بودن مرور کنید.

پرسش‌های متداول

فایل llms.txt چیست؟

یک فایل متنی با قالب Markdown است که در ریشه دامنه قرار می‌گیرد و فهرستی گزیده از مهم‌ترین صفحات سایت را همراه با توضیح کوتاه برای مدل‌های زبانی و عامل‌های هوش مصنوعی ارائه می‌دهد.

آیا فایل llms.txt روی رتبه گوگل اثر دارد؟

خیر. بر اساس راهنمای رسمی گوگل، جست‌وجوی گوگل از این فایل استفاده نمی‌کند و وجود یا نبود آن نه به رتبه کمک می‌کند و نه به آن آسیب می‌زند.

آیا llms.txt جایگزین robots.txt یا sitemap.xml است؟

خیر. robots.txt دسترسی خزنده‌ها را کنترل می‌کند، sitemap.xml همه آدرس‌های قابل ایندکس را معرفی می‌کند و llms.txt فقط یک راهنمای گزیده و توضیح‌دار برای مدل‌های زبانی است. هر سه مکمل یکدیگرند.

آیا سایت فروشگاهی یا شرکتی ایرانی به llms.txt نیاز دارد؟

نیاز اجباری نیست، اما ساخت آن کم‌هزینه و کم‌ریسک است و برای عامل‌های هوش مصنوعی که سایت را بررسی می‌کنند مسیر روشنی فراهم می‌کند. اگر منابع محدودی دارید، اول سایت‌مپ، سرعت، محتوای باکیفیت و داده ساختاریافته را درست کنید.

فایل llms.txt را فارسی بنویسیم یا انگلیسی؟

توضیحات را به زبان محتوای همان صفحات بنویسید. فقط مطمئن شوید فایل با کدگذاری UTF-8 و بدون BOM ذخیره شده و سرور آن را با charset مناسب ارائه می‌کند تا متن فارسی خراب نشود.

ساخت فایل llms.txt چقدر زمان می‌برد؟

برای یک سایت متوسط معمولاً بین سی دقیقه تا دو ساعت. بیشترین زمان صرف انتخاب صفحات مهم و نوشتن توضیح‌های کوتاه و دقیق می‌شود، نه کار فنی آپلود.

چطور بفهمیم فایل llms.txt درست کار می‌کند؟

آدرس فایل را در مرورگر باز کنید و با دستور curl وضعیت 200 و نوع محتوای متنی را بررسی کنید. مطمئن شوید سرور به‌جای فایل، صفحه خطای HTML با کد 200 برنمی‌گرداند و همه لینک‌های داخل آن سالم هستند.

جمع‌بندی

فایل llms.txt یک پیشنهاد ساده و کم‌هزینه برای معرفی مرتب سایت شما به مدل‌های زبانی و عامل‌های هوش مصنوعی است. این فایل استاندارد رسمی نیست، گوگل آن را در جست‌وجو استفاده نمی‌کند و شواهد از تأثیر مستقیم آن بر ارجاع‌های هوش مصنوعی هنوز محدود و ناهمگون است. در عین حال، ساختن آن معمولاً کمتر از یک روز کاری زمان می‌برد، به سایت آسیبی نمی‌زند و سایت را برای ابزارهایی که آن را می‌خوانند آماده می‌کند.

توصیه ما این است: اول پایه‌ها را محکم کنید، یعنی محتوای باکیفیت، سرعت، سایت‌مپ تمیز، داده ساختاریافته و robots.txt درست. سپس در یک نیم‌روز فایل llms.txt را بسازید، آزمایش کنید و در فرایند انتشار محتوا نگه دارید. اگر در طراحی سایت یا استراتژی سئو و هوش مصنوعی به کمک متخصص نیاز دارید، تیم ما آماده مشاوره است.