出典: robots.txt [読み] ロボッツ・ドット・テクスト 『通信用語の基礎知識』 更新年月日 2008/05/31,URL: https://www.wdic.org/ "A Standard for Robot Exclusion" に基づいて作られた、検索エンジン用ロボット(クローラー、スパイダーなど呼び方は様々)に対する設定ファイル。 [概要] Webサーバーのルートディレクトリに "robot.txt" または "robots.txt" という名のファイルを設置することにより、検索ロボットのアクセスを制御できる。 検索ロボットが自動巡回する時には、このrobot(s).txtが参照され、索引化が許可されているか否かを自動で判断する。 大手の検索エンジンサイトが使っているロボットは、この一般的な規則に従って作られたものだと考えられるが、中には、当然(?) "A Standard for Robot Exclusion" に基づいて作られていない、行儀の悪いロボットも存在する。スパム用にメールアドレスを収集してまわるようなタイプのロボットは、当然行儀など考えていないであろう。 [特徴] 例えば、一行めに "User-Agent: *"、二行めに "Disallow: /" と書いておけば、サイト内の全ての索引化を拒否することになる。 主な記述例は、次の通り。 ● サイト全ての索引化を拒否する場合 User-Agent: * Disallow: / ● 一部のディレクトリの索引化を拒否する場合 User-Agent: * Disallow: /cgi-bin/ Disallow: /image/ ● 特定の検索ロボットのみの索引化を許可する場合 User-Agent: * Disallow: / User-Agent: Lycos Allow: / |
出典: Robots Exclusion Standard 『フリー百科事典 ウィキペディア日本語版(Wikipedia)』 最終更新 2021年6月15日 (火) 14:51 UTC、URL: https://ja.wikipedia.org/ Robots Exclusion Standard(RES) または Robots Exclusion Protocol は、クローラやボットがウェブサイト全体またはその一部を走査することを防ぐ規約である。ロボット排除規約、robots.txt プロトコルとも呼ばれる。こういったボットは検索エンジンがウェブサイトの内容を分類しアーカイブするために主に使ったり、ウェブマスターがソースコードを校正するために使ったりする。直接の関係はないが、逆にボットを案内する目的のSitemapsと組み合わせて使うこともできる。 [概要] ウェブサイトの所有者がボットに対して指示したい場合、そのウェブサイトの階層のルートに robots.txt というテキストファイルを置く(例えば、www.example.com/robots.txt)。サイト側の指示に従う選択をしているボットは、まずこのファイルにアクセスし、その指示を読み込んで、それに従ってそのウェブサイトの他のファイルの読み込みを行う。このファイルがない場合、ボットはそのサイトの所有者が特に何も指示していないと判断する。 ・・・ |
|
同義語・類義語 | 関連語・その他 |
---|---|
robots.txt | Sitemap |
robots.txtファイル | サイトマップ |
ロボッツ テキスト ファイル | ・ |
ロボッツ・テキスト・ファイル | Exclusion |
ロボッツテキストファイル | iksklúːʒən |
ロボット ドット テキスト | エクスクルゥージュン |
ロボット・ドット・テキスト | イクスクルージョン |
ロボッツ ドット テクスト | [名詞] |
ロボッツ・ドット・テクスト | 除外 |
ロボットドットテキスト | 排除 |
ロボッツ・テキスト | |
・ | |
RES | |
Robots Exclusion Standard | |
róubɑ̀ts iksklúːʒən stǽndərd | |
ロウバゥッツ エクスクルゥージュン スタェンダゥードゥ | |
ロウバゥッツ・エクスクルゥージュン・スタェンダゥードゥ | |
ロボッツ イクスクルージョン スタンダード | |
ロボッツ・イクスクルージョン・スタンダード | |
・ | |
A Standard for Robot Exclusion | |
ə stǽndərd fɔ́r róubɑ̀t iksklúːʒən | |
アゥ スタェンダゥードゥ フォアゥ ロウバゥットゥ エクスクルゥージュン | |
アゥ・スタェンダゥードゥ・フォアゥ・ロウバゥットゥ・エクスクルゥージュン | |
ア スタンダード フォー ロボット イクスクルージョン | |
ア・スタンダード・フォー・ロボット・イクスクルージョン | |
・ | |
Robots Exclusion Protocol | |
róubɑ̀ts iksklúːʒən próutəkɔ̀l | |
ロウバゥッツ エクスクルゥージュン プロドゥコァールゥ | |
ロウバゥッツ・エクスクルゥージュン・プロドゥコァールゥ | |
ロボッツ イクスクルージョン プロトコル | |
ロボッツ・イクスクルージョン・プロトコル | |
robots.txt プロトコル | |
ロボット排除規約 | |
更新日:2022年 4月14日 |