【ゆっくりIT】robots.txtとは？ 隠しWebページを見つける方法！ 検索エンジンのクローラーの仕組み ～ゆっくり解説制御ファイル～ No.083
検索エンジンのクローラ制御で使われるrobots.txtについて解説です。
robots.txtは、WebサイトのHTTPリクエストのオーバーロード制御を行うのが一番の目的ですが、
副次的な機能として、指定したWebページを検索エンジンに表示させないよう、
制御できるのがrobots.txtです。
robots.txtの仕様を知ると、隠しページを見つける事が出来るので、大変面白い知識です。
動画でも警告しておりますが、Webサイトのrobots.txtにアクセスするのは、
自己責任でお願いいたします。
アクセスするとログに記録されるので、悪意のある攻撃でもされているのかと、警戒される可能性があります。
例：openai.com/robots.txt
＜参考サイト（引用先）＞
https://seolaboratory.jp/41315/
https://gmotech.jp/semlabo/seo/blog/crawler_measures/
https://nishinatoshiharu.com/seo-crawler/
＜当チャンネルのSNSアカウント＞
不審なアカウントでなければ、基本的にフォローバック致します。
Twitter
https://twitter.com/yukuri_it
Instagram
https://www.instagram.com/yukuri_it_channel/
使用BGM
冒頭：You and Me フリーBGM DOVASYNDROME OFFICIAL YouTube CHANNEL
本編：Good Morning Sunshine フリーBGM DOVASYNDROME OFFICIAL YouTube CHANNEL
終盤：NEFFEX Believe Instrumental
動画制作の背景
■執筆中・・・
