llms.txt یک فایل متنی ساده به فرمت مارک‌داون است که در ریشه دامنه سایت شما قرار می‌گیرد و به مدل‌های زبانی بزرگ کمک می‌کند بدون نیاز به کراول کردن کل ساختار HTML، مستقیم به جان محتوای اصلی سایت شما بروند؛ این پروتکل که توسط جرمی هاوارد فناور استرالیایی پیشنهاد شده، شبیه robots.txt و نقشه سایت XML عمل می‌کند اما به‌جای دستور دادن به خزنده‌ها، محتوای سایت را برای مصرف راحت‌تر توسط هوش مصنوعی ساده می‌کند.
اگر دنبال جواب سریع بودید، همین چند خط بالا خلاصه کل ماجراست. اما اگر مثل من دلتون می‌خواد بدونید این فایل دقیقاً چطور کار می‌کنه، چرا یک نسخه‌اش رو من تقریباً روی همه سایت‌های مشتری‌هام پیاده کردم و چه نقدهایی هم بهش وارده، بمونید و ادامه رو بخونید.
مطالب صفحه
llms.txt چیست و از کجا اومده؟
ماجرا از یه محدودیت خیلی واقعی شروع میشه. مدل‌های زبانی هر چقدر هم قوی باشن، پنجره کانتکست محدودی دارن و نمی‌تونن یه سایت کامل با تمام منوها، تبلیغات، اسکریپت‌های جاوااسکریپت و المان‌های تزئینی رو در خودشون جا بدن.
تبدیل کردن یه صفحه شلوغ HTML به متنی که برای مدل قابل فهم باشه هم کار ساده‌ای نیست و معمولاً دقت رو پایین میاره. جرمی هاوارد دقیقاً برای حل همین مسئله llms.txt رو پیشنهاد داد؛ ایده اصلیش اینه که یه فایل مارک‌داون بسازید که فقط محتوای خالص و ارزشمند سایت توش باشه، بدون هیچ زوائدی.
من از حدود چند ماه پیش دارم روی سایت‌های خودم این پروتکل رو تست می‌کنم و الان دیگه دارم روی سایت‌های مشتری‌ها هم پیاده‌سازیش می‌کنم، چون واقعاً هیچ ضرری نداره و پتانسیل کمک بهتون رو داره.
تفاوت llms.txt با robots.txt و نقشه سایت XML چیه؟
این جایی هست که خیلی‌ها اشتباه می‌کنن. robots.txt یک فایل دستوری‌ست؛ به خزنده‌ها میگه کجا اجازه ورود دارن و کجا ندارن، یعنی یه مکانیزم «بلاک کردن» یا «اجازه دادن».
llms.txt اما اصلاً این‌طوری کار نمی‌کنه. توی این فایل هیچ دستور Disallow یا Allow معنا نداره و اصلاً قرار نیست دستورات robots.txt توش تکرار بشه. llms.txt بیشتر شبیه یه «راهنمای انتخاب» عمل می‌کنه؛ یعنی به مدل میگه کدوم بخش از محتوا رو با چه اولویتی ببینه، نه اینکه کجا حق ورود نداره.
نقشه سایت XML هم که میدونید بیشتر برای کمک به کراول و ایندکس شدن صفحات توسط گوگل طراحی شده و لیستی از URLها با متادیتای فنیه، در حالی که llms.txt محتوای واقعی و خوانا رو در اختیار مدل قرار میده، نه فقط آدرس صفحات.
llms.txt دقیقاً چطور کار می‌کند؟
ساختار این فایل عمداً خیلی ساده نگه داشته شده تا هم برای انسان قابل خوندن باشه و هم برای پردازش ماشینی با روش‌های کلاسیک برنامه‌نویسی مثل پارسرها و regex قابل استفاده باشه.
شما اساساً چند مدل پیاده‌سازی دارید. می‌تونید فقط لینک بخش‌های مهم سایت رو با یه خلاصه کوتاه از هرکدوم بذارید، می‌تونید برای هر صفحه یه نسخه مارک‌داون جداگانه بسازید، یا اینکه مثل خیلی از سایت‌های بزرگ، کل محتوای سایت رو در یک فایل llms-full.txt به‌صورت متن خام و کامل flatten کنید.
من شخصاً روی یکی از سایت‌هام یه فایل llms.txt کامل دارم که حجمش نزدیک به هزار کیلوبایت و بیش از صد هزار کلمه‌ست، ولی این اصلاً به این معنی نیست که فایل شما هم باید این‌قدر بزرگ باشه؛ می‌تونید فایل کوچیک‌تری داشته باشید یا حتی اون رو بین چند دایرکتوری مختلف بر اساس معماری سایتتون تقسیم کنید.
تفاوت نسخه full با نسخه خلاصه llms.txt
اینجا یه نکته مهمه که خیلی وقتا نادیده گرفته میشه. نسخه ساده llms.txt معمولاً فقط شامل لینک صفحات مهم به همراه یه توضیح کوتاهه، در حالی که نسخه llms-full.txt کل متن سایت رو به شکل خام و پیوسته در اختیار مدل قرار میده.
من تجربه شخصیم اینه که نسخه full خیلی بیشتر از نسخه خلاصه به کارم اومده. راستش رو بخواید، نسخه خلاصه با لیست لینک‌ها برام تفاوت چندانی با یه نقشه سایت XML معمولی نداشت، ولی نسخه کامل بهم اجازه داد تحلیل‌های عمیق‌تری روی محتوای سایت‌ها انجام بدم که قبلاً بدون ابزارهای جداگانه امکان‌پذیر نبود.
برای مثال شرکت‌هایی مثل Anthropic و Zapier هر دو نسخه کامل رو منتشر کردن، و Perplexity هم همین مسیر رو رفته. اگه بخوایید یه نمونه دیگه هم ببینید، Hugging Face هم یه فایل llms.txt برای مستندات خودش داره که می‌تونید الگوبرداری کنید.
چطور llms.txt خودتون رو بسازید؟
خبر خوب اینه که برای شروع لازم نیست کد بلد باشید. چون فرمت فایل مارک‌داونه، حتی می‌تونید دستی هم اون رو بنویسید، به‌خصوص اگه سایت کوچیک یا متوسطی دارید.
اگه سایت شما وردپرسیه، ماجرا خیلی راحت‌تر میشه. یه پلاگین به اسم Website LLMs هست که کارش دقیقاً همینه؛ کافیه توی تنظیماتش بگید کراول روی نوشته‌ها انجام بشه، صفحات، یا هردو، و بعد فایل llms.txt به‌صورت خودکار براتون تولید و منتشر میشه. من خودم جزو ده نفر اول کسایی بودم که این پلاگین رو دانلود کردن و الان تعداد نصبش به بیش از سه هزار تا رسیده که نشون میده اقبال بهش زیاد شده.
برای سایت‌های بزرگ‌تر یا وقتی که می‌خواید کنترل بیشتری روی نحوه flatten شدن محتوا داشته باشید، بهتره سراغ ابزارهای اختصاصی‌تر برید یا حتی یه اسکریپر مخصوص خودتون بنویسید.
ابزارهای رایگان برای تولید llms.txt
چند تا از ابزارهایی که من امتحانشون کردم یا در جریان کارم باهاشون آشنا شدم رو معرفی می‌کنم، ولی قبلش یه نکته امنیتی مهم رو بگم؛ هیچ‌وقت بدون بررسی امنیتی یه ابزار رو مستقیم به سایتتون وصل نکنید و قبل از آپلود فایل نهایی، حتماً محتواش رو مرور کنید.
Markdowner یکی از ابزارهای متن‌بازه که محتوای سایت رو به فایل‌های مارک‌داون ساختاریافته تبدیل می‌کنه.
Appify ابزار دیگه‌ایه که برای تولید llms.txt طراحی شده.
FireCrawl هم یکی از اولین ابزارهایی بود که این قابلیت رو ارائه کرد و هنوز هم یکی از گزینه‌های شناخته‌شده‌ست.
و همون‌طور که گفتم، اگه سایتتون وردپرسیه، پلاگین Website LLMs احتمالاً ساده‌ترین مسیرتونه.
چرا llms.txt برای سئو و GEO اهمیت داره
خب حالا بریم سراغ بخشی که احتمالاً بیشتر از همه براتون مهمه؛ این فایل چه فایده‌ای برای کسب‌وکارتون داره.
اولین چیزی که به ذهنم میاد کنترل روی محتوای اختصاصی‌ست. با اینکه هیچ ضمانتی وجود نداره که همه مدل‌ها این فایل رو رعایت کنن، اما حداقل اونایی که دنبال رفتار مسئولانه هستن، از این فایل به‌عنوان یه سیگنال روشن استفاده می‌کنن.
نکته بعدی مدیریت اعتبار برند توی پاسخ‌های هوش مصنوعیه. وقتی مدل‌ها دارن مستقیم از روی محتوای خود شما جواب می‌سازن، احتمال اینکه اطلاعات نادرست یا قدیمی از منابع دیگه گرفته بشه کمتر میشه.
از طرف دیگه، داشتن یه نسخه کاملاً flatten شده از سایت، خودش یه ابزار تحلیلی فوق‌العاده‌ست. من باهاش می‌تونم بدون نیاز به ابزارهای جداگانه، فرکانس کلمات کلیدی، تحلیل taxonomy، تحلیل entity، بررسی لینک‌های داخلی و حتی تحلیل رقابتی رو انجام بدم؛ کاری که قبلاً معمولاً به چند ابزار مجزا نیاز داشت.
و در نهایت، هرچقدر مدل‌ها راحت‌تر بتونن به محتوای دقیق و مرتبط سایت شما دسترسی پیدا کنن، احتمال اینکه پاسخ‌های تولیدشده توسط چت‌بات‌ها یا موتورهای جست‌وجوی هوش‌مصنوعی‌محور دقیق‌تر و مرتبط‌تر باشن هم بالاتر میره؛ این دقیقاً همون چیزیه که توی دنیای GEO دنبالش هستیم.
چالش‌ها و نقدهایی که به llms.txt وارد است؟
حالا بریم سراغ طرف دیگه ماجرا، چون فکر می‌کنم امانت‌داری حکم می‌کنه این بخش رو هم باهاتون در میون بذارم.
بزرگ‌ترین مشکل اینه که هیچ تضمینی وجود نداره همه شرکت‌های هوش مصنوعی این استاندارد رو رعایت کنن. خیلی از خزنده‌ها ممکنه به‌سادگی فایل رو نادیده بگیرن و بازم کل محتوای سایت شما رو جمع‌آوری کنن.
از طرف دیگه، موفقیت این پروتکل به مشارکت گسترده وب‌سایت‌ها هم بستگی داره. اگه فقط تعداد محدودی سایت این فایل رو داشته باشن، عملاً تاثیرگذاری‌اش هم محدود می‌مونه.
یه نگرانی دیگه هم همپوشانی با robots.txt و نقشه سایت XMLه که می‌تونه باعث سردرگمی بشه، به‌خصوص برای کسایی که تازه دارن با این مفاهیم آشنا میشن.
نکته‌ای که خودم هم بهش فکر می‌کنم اینه که هیچ مانعی وجود نداره کسی llms.txt خودش رو پر از کلمات کلیدی، لینک و محتوای بی‌فایده کنه، دقیقاً همون کاری که سال‌ها پیش با keyword stuffing توی سئوی سنتی انجام می‌شد.
و یه چیز دیگه که کمتر بهش توجه میشه، اینه که این فایل عملاً محتوای سایت رو در دسترس‌تر از قبل برای رقبا هم می‌ذاره؛ درسته که کراول کردن سایت‌ها همیشه بخشی از صنعت سرچ بوده، ولی این فایل کار تحلیل رقابتی رو برای رقبا هم ساده‌تر می‌کنه.
در همین راستا، برت تابکی، مدیرعامل Pubcon و WebmasterWorld، دیدگاه نسبتاً بدبینانه‌ای نسبت به این پروتکل داره. برداشت من از صحبت‌هاش اینه که به نظرش دیگه مرز مشخصی بین موتور جست‌وجوی سنتی و مدل زبانی وجود نداره، چون گوگل و پرپلکسیتی و چت‌جی‌پی‌تی همه دارن به سمت یه چیز واحد حرکت می‌کنن، و به همین دلیل فکر می‌کنه robots.txt و نقشه سایت XML از قبل همین کار رو انجام میدن و نیازی به یه استاندارد جدید نیست.
مارکتر دیگه‌ای به اسم دیوید اُگلتری هم دیدگاه مشابهی داره و معتقده نباید بین یه مدل زبانی و گوگل فرقی قائل بشیم و باید هر دو رو یکسان در نظر بگیریم.
من خودم با بخشی از این نقدها موافقم، ولی همچنان فکر می‌کنم ارزش واقعی llms.txt بیشتر توی نسخه full اونه، جایی که یه فایل تحلیلی و آماده برای استفاده هم برای مدل‌ها و هم برای خود شما به‌عنوان صاحب سایت ایجاد میشه.
آینده llms.txt و حاکمیت محتوا در دنیای هوش مصنوعی
با رشد روزافزون استفاده از هوش مصنوعی، نیاز به یه چارچوب مشخص برای مدیریت محتوا هم بیشتر و بیشتر میشه. llms.txt یکی از اولین تلاش‌ها برای ایجاد شفافیت و کنترل روی نحوه استفاده از محتوا توسط هوش مصنوعیه.
اینکه این پروتکل تبدیل به یه استاندارد پذیرفته‌شده و فراگیر بشه یا نه، به چند عامل بستگی داره؛ حمایت صنعت، پذیرش از طرف صاحبان سایت‌ها، تحولات نظارتی، و البته میزان تمایل شرکت‌های هوش مصنوعی برای رعایتش.
نکته‌ای که برام جالبه اینه که در دنیای سئو و GEO، خیلی وقتا با مفاهیمی روبه‌رو میشیم که استاندارد علمی و قابل اثبات مشخصی ندارن و بیشتر شبیه هنر یا حدس و گمان عمل می‌کنن. اما وقتی گوگل رسماً میگه ما نقشه سایت XML رو بخشی از فرایند کراولمون در نظر می‌گیریم، این دیگه حدس نیست، یه واقعیت مستنده. llms.txt هم می‌تونه دقیقاً همین نقش رو برای دنیای هوش مصنوعی بازی کنه؛ یه سیگنال «رسمی‌تر» در میان انبوهی از تاکتیک‌های نامشخص GEO.
به همین دلیله که فکر می‌کنم اگه یه سایت با مخاطب گسترده دارید، بهتره از همین الان راه‌اندازی llms.txt رو شروع کنید. هیچ معلوم نیست کدوم مدل زبانی خاص یا تخصصی توی آینده تصمیم بگیره از محتوای شما برای یه هدف تازه استفاده کنه، و بهتره از همین حالا آماده باشید.
تجربه شخصی من با llms.txt روی سایت‌های خودم و مشتری‌ها
از وقتی که این پروتکل رو کشف کردم، اول روی سایت‌های خودم پیاده‌سازیش کردم و بعد قدم‌به‌قدم شروع کردم به اضافه کردنش روی سایت‌های مشتری‌ها. تجربه‌ام تا الان اینه که هیچ ضرری در این کار نیست؛ حداکثر اتفاقی که می‌افته اینه که یه مدل خاص فایل رو نادیده می‌گیره، ولی هیچ سناریوی منفی‌ای براش متصور نیستم.
بزرگ‌ترین فایده‌ای که خودم ازش گرفتم، فراتر از بحث GEO و دیده شدن توسط مدل‌ها بوده. داشتن یه نسخه کامل و flatten شده از هر سایت، تحلیل محتوا رو برام خیلی سریع‌تر و دقیق‌تر کرده. وقتی می‌خوام یه تحلیل عمیق روی محتوای رقبا یا حتی سایت خودم انجام بدم، به‌جای اینکه بخوام صفحه‌به‌صفحه بررسی کنم، یه فایل متنی یکپارچه دارم که همه‌چیز توش هست.
آیا همه مدل‌های زبانی الان دارن ازش استفاده می‌کنن؟ صادقانه بگم، هنوز به یه اقبال گسترده و همه‌گیر نرسیده، ولی علاقه به این پروتکل روز‌به‌روز بیشتر شده و اگه پروژه‌ای مثل llms.txt Hub رو ببینید، متوجه میشید که تعداد سایت‌هایی که این فایل رو دارن مستندسازی می‌کنن، مدام در حال افزایشه.
جمع‌بندی من اینه که چون هزینه پیاده‌سازیش تقریباً صفره و فایده‌های جانبی زیادی مثل تحلیل محتوا هم داره، جزو اون دسته کارهاییه که واقعاً منطقیه همین الان شروعش کنید، به‌جای اینکه منتظر بمونید تا استاندارد کاملاً جا بیفته.
