| 出典: robots.txt [読み] ロボッツ・ドット・テクスト 『通信用語の基礎知識』 更新年月日 2008/05/31,URL: https://www.wdic.org/ "A Standard for Robot Exclusion" に基づいて作られた、検索エンジン用ロボット(クローラー、スパイダーなど呼び方は様々)に対する設定ファイル。 [概要] Webサーバーのルートディレクトリに "robot.txt" または "robots.txt" という名のファイルを設置することにより、検索ロボットのアクセスを制御できる。 検索ロボットが自動巡回する時には、このrobot(s).txtが参照され、索引化が許可されているか否かを自動で判断する。 大手の検索エンジンサイトが使っているロボットは、この一般的な規則に従って作られたものだと考えられるが、中には、当然(?) "A Standard for Robot Exclusion" に基づいて作られていない、行儀の悪いロボットも存在する。スパム用にメールアドレスを収集してまわるようなタイプのロボットは、当然行儀など考えていないであろう。 [特徴] 例えば、一行めに "User-Agent: *"、二行めに "Disallow: /" と書いておけば、サイト内の全ての索引化を拒否することになる。 主な記述例は、次の通り。 ● サイト全ての索引化を拒否する場合 User-Agent: * Disallow: / ● 一部のディレクトリの索引化を拒否する場合 User-Agent: * Disallow: /cgi-bin/ Disallow: /image/ ● 特定の検索ロボットのみの索引化を許可する場合 User-Agent: * Disallow: / User-Agent: Lycos Allow: / |
| 出典: Robots Exclusion Standard 『フリー百科事典 ウィキペディア日本語版(Wikipedia)』 最終更新 2021年6月15日 (火) 14:51 UTC、URL: https://ja.wikipedia.org/ Robots Exclusion Standard(RES) または Robots Exclusion Protocol は、クローラやボットがウェブサイト全体またはその一部を走査することを防ぐ規約である。ロボット排除規約、robots.txt プロトコルとも呼ばれる。こういったボットは検索エンジンがウェブサイトの内容を分類しアーカイブするために主に使ったり、ウェブマスターがソースコードを校正するために使ったりする。直接の関係はないが、逆にボットを案内する目的のSitemapsと組み合わせて使うこともできる。 [概要] ウェブサイトの所有者がボットに対して指示したい場合、そのウェブサイトの階層のルートに robots.txt というテキストファイルを置く（例えば、www.example.com/robots.txt）。サイト側の指示に従う選択をしているボットは、まずこのファイルにアクセスし、その指示を読み込んで、それに従ってそのウェブサイトの他のファイルの読み込みを行う。このファイルがない場合、ボットはそのサイトの所有者が特に何も指示していないと判断する。 ・・・ |
| 同義語・類義語 | 関連語・その他 |
|---|---|
| robots.txt | ロバォッツ・エクスクルゥージュン・プロドゥコァールゥ |
| róubɑ̀ts dɑ́t tékst | ロ́バォッ̀ツ・エクスクルゥ́ージュン・プロ́ドゥコァ̀ールゥ |
| ロバォッツ ドァットゥ テクストゥ | ロボッツ イクスクルージョン プロトコル |
| ロバォッツ・ドァットゥ・テクストゥ | ロボッツ・イクスクルージョン・プロトコル |
| ロ́バォッ̀ツ・ドァッ́トゥ・テ́クストゥ | ロ́ボッ̀ツ・イクスクル́ージョン・プロ́トコ̀ル |
| ロボッツ ドット テクスト | robots.txt プロトコル |
| ロボッツ・ドット・テキスト | ロボット排除規約 |
| ロ́ボッ̀ツ・ドッ́ト・テ́キスト | ロボット はいじょ きやく |
| ・ | ・ |
| robots.txt file | Sitemap |
| róubɑ̀ts dɑ́t tékst fáil | サイトマップ |
| ロバォッツ ドァットゥ テクストゥ ファイルゥ | ・ |
| ロバォッツ・ドァットゥ・テクストゥ・ファイルゥ | Exclusion |
| ロ́バォッ̀ツ・ドァッ́トゥ・テ́クストゥ・ファ́イルゥ | iksklúːʒən |
| ロボッツ ドット テクスト ファイル | エクスクルゥージュン |
| ロボッツ・ドット・テキスト・ファイル | エクスクルゥ́ージュン |
| ロ́ボッ̀ツ・ドッ́ト・テ́キスト・ファ́イル | イクスクルージョン |
| ・ | イクスクル́ージョン |
| RES | [名詞] |
| Robots Exclusion Standard | 除外 |
| róubɑ̀ts iksklúːʒən stǽndərd | じょがい |
| ロバォッツ エクスクルゥージュン スタェンダゥァードゥ | 排除 |
| ロバォッツ・エクスクルゥージュン・スタェンダゥァードゥ | はいじょ |
| ロ́バォッ̀ツ・エクスクルゥ́ージュン・スタェ́ンダゥァードゥ | 排他 |
| ロボッツ イクスクルージョン スタンダード | はいた |
| ロボッツ・イクスクルージョン・スタンダード | |
| ロ́ボッ̀ツ・イクスクル́ージョン・スタ́ンダード | |
| ・ | |
| A Standard for Robot Exclusion | |
| ə stǽndərd fər róubɑ̀t iksklúːʒən | |
| アゥ スタェンダゥァードゥ フォァ ロウバゥットゥ エクスクルゥージュン | |
| アゥ・スタェンダゥァードゥ・フォァ・ロウバゥットゥ・エクスクルゥージュン | |
| アゥ・スタェ́ンダゥァードゥ・フォァ・ロ́バォッ̀トゥ・エクスクルゥ́ージュン | |
| ア スタンダード フォー ロボット イクスクルージョン | |
| ア・スタンダード・フォー・ロボット・イクスクルージョン | |
| ア・スタ́ンダード・フォー・ロ́ボッ̀ト・イクスクル́ージョン | |
| ・ | |
| Robots Exclusion Protocol | |
| róubɑ̀ts iksklúːʒən próutəkɔ̀l | |
| ロバォッツ エクスクルゥージュン プロドゥコァールゥ | |
| 更新日:2024年 3月27日 |