【ゆっくりIT】robots.txtとは? 隠しWebページを見つける方法! 検索エンジンのクローラーの仕組み ~ゆっくり解説制御ファイル~ No.083

YouTube
この記事は約2分で読めます。

【ゆっくりIT】robots.txtとは? 隠しWebページを見つける方法! 検索エンジンのクローラーの仕組み ~ゆっくり解説制御ファイル~ No.083

検索エンジンのクローラ制御で使われるrobots.txtについて解説です。
robots.txtは、WebサイトのHTTPリクエストのオーバーロード制御を行うのが一番の目的ですが、
副次的な機能として、指定したWebページを検索エンジンに表示させないよう、
制御できるのがrobots.txtです。
robots.txtの仕様を知ると、隠しページを見つける事が出来るので、大変面白い知識です。

動画でも警告しておりますが、Webサイトのrobots.txtにアクセスするのは、
自己責任でお願いいたします。
アクセスするとログに記録されるので、悪意のある攻撃でもされているのかと、警戒される可能性があります。

例:openai.com/robots.txt

<参考サイト(引用先)>
https://seolaboratory.jp/41315/
https://gmotech.jp/semlabo/seo/blog/crawler_measures/
https://nishinatoshiharu.com/seo-crawler/

<当チャンネルのSNSアカウント>
不審なアカウントでなければ、基本的にフォローバック致します。

Twitter
https://twitter.com/yukuri_it
Instagram
https://www.instagram.com/yukuri_it_channel/

使用BGM
冒頭:You and Me フリーBGM DOVASYNDROME OFFICIAL YouTube CHANNEL
本編:Good Morning Sunshine フリーBGM DOVASYNDROME OFFICIAL YouTube CHANNEL
終盤:NEFFEX Believe Instrumental

動画制作の背景

■執筆中・・・

タイトルとURLをコピーしました