matsuu
.
@matsuu,
生成AI系クローラー/ボットからのアクセスをブロックしたい人のためのrobots.txtサンプル。UserAgent一覧にもなってるのでWebサーバー側でのブロック対象としても使える。
---
GitHub - ai-robots-txt/ai.robots.txt: A list of AI agents and robots to block.
https://github.com/ai-robots-txt/ai.robots.txt
#bookmarks