本文へスキップ

 


 

ICT用語の意味と同義語

【 「robots.txt」又はそれに関連する用語の意味 】
出典: robots.txt [読み] ロボッツ・ドット・テクスト 『通信用語の基礎知識』 更新年月日 2008/05/31,URL: https://www.wdic.org/

 "A Standard for Robot Exclusion" に基づいて作られた、検索エンジン用ロボット(クローラー、スパイダーなど呼び方は様々)に対する設定ファイル。

[概要]
 Webサーバーのルートディレクトリに "robot.txt" または "robots.txt" という名のファイルを設置することにより、検索ロボットのアクセスを制御できる。
 検索ロボットが自動巡回する時には、このrobot(s).txtが参照され、索引化が許可されているか否かを自動で判断する。
 大手の検索エンジンサイトが使っているロボットは、この一般的な規則に従って作られたものだと考えられるが、中には、当然(?) "A Standard for Robot Exclusion" に基づいて作られていない、行儀の悪いロボットも存在する。スパム用にメールアドレスを収集してまわるようなタイプのロボットは、当然行儀など考えていないであろう。

[特徴]
 例えば、一行めに "User-Agent: *"、二行めに "Disallow: /" と書いておけば、サイト内の全ての索引化を拒否することになる。
 主な記述例は、次の通り。
 ● サイト全ての索引化を拒否する場合
   User-Agent: *
   Disallow: /
 ● 一部のディレクトリの索引化を拒否する場合
   User-Agent: *
   Disallow: /cgi-bin/
 Disallow: /image/
 ● 特定の検索ロボットのみの索引化を許可する場合
   User-Agent: *
   Disallow: /
   User-Agent: Lycos
   Allow: /
出典: Robots Exclusion Standard 『フリー百科事典 ウィキペディア日本語版(Wikipedia)』 最終更新 2021年6月15日 (火) 14:51 UTC、URL: https://ja.wikipedia.org/

 Robots Exclusion Standard(RES) または Robots Exclusion Protocol は、クローラやボットがウェブサイト全体またはその一部を走査することを防ぐ規約である。ロボット排除規約、robots.txt プロトコルとも呼ばれる。こういったボットは検索エンジンがウェブサイトの内容を分類しアーカイブするために主に使ったり、ウェブマスターがソースコードを校正するために使ったりする。直接の関係はないが、逆にボットを案内する目的のSitemapsと組み合わせて使うこともできる。

[概要]
 ウェブサイトの所有者がボットに対して指示したい場合、そのウェブサイトの階層のルートに robots.txt というテキストファイルを置く(例えば、www.example.com/robots.txt)。サイト側の指示に従う選択をしているボットは、まずこのファイルにアクセスし、その指示を読み込んで、それに従ってそのウェブサイトの他のファイルの読み込みを行う。このファイルがない場合、ボットはそのサイトの所有者が特に何も指示していないと判断する。 ・・・



【 他のICT用語辞典へ(外部リンク)】

robots.txt (通信用語の基礎知識)
Robots Exclusion Standard (Wikipedia)



【 robots.txt の同義語と関連語 】
< 1 >
同義語・類義語 関連語・その他
robots.txt ロバォッツ・エクスクルゥージュン・プロドゥコァールゥ
róubɑ̀ts dɑ́t tékst ロ́バォッ̀ツ・エクスクルゥ́ージュン・プロ́ドゥコァ̀ールゥ
ロバォッツ ドァットゥ テクストゥ ロボッツ イクスクルージョン プロトコル
ロバォッツ・ドァットゥ・テクストゥ ロボッツ・イクスクルージョン・プロトコル
ロ́バォッ̀ツ・ドァッ́トゥ・テ́クストゥ ロ́ボッ̀ツ・イクスクル́ージョン・プロ́トコ̀ル
ロボッツ ドット テクスト robots.txt プロトコル
ロボッツ・ドット・テキスト ロボット排除規約
ロ́ボッ̀ツ・ドッ́ト・テ́キスト ロボット はいじょ きやく
robots.txt file Sitemap
róubɑ̀ts dɑ́t tékst fáil サイトマップ
ロバォッツ ドァットゥ テクストゥ ファイルゥ
ロバォッツ・ドァットゥ・テクストゥ・ファイルゥ Exclusion
ロ́バォッ̀ツ・ドァッ́トゥ・テ́クストゥ・ファ́イルゥ iksklúːʒən
ロボッツ ドット テクスト ファイル エクスクルゥージュン
ロボッツ・ドット・テキスト・ファイル エクスクルゥ́ージュン
ロ́ボッ̀ツ・ドッ́ト・テ́キスト・ファ́イル イクスクルージョン
イクスクル́ージョン
RES [名詞]
Robots Exclusion Standard 除外
róubɑ̀ts iksklúːʒən stǽndərd じょがい
ロバォッツ エクスクルゥージュン スタェンダゥァードゥ 排除
ロバォッツ・エクスクルゥージュン・スタェンダゥァードゥ はいじょ
ロ́バォッ̀ツ・エクスクルゥ́ージュン・スタェ́ンダゥァードゥ 排他
ロボッツ イクスクルージョン スタンダード はいた
ロボッツ・イクスクルージョン・スタンダード
ロ́ボッ̀ツ・イクスクル́ージョン・スタ́ンダード

A Standard for Robot Exclusion
ə stǽndərd fər róubɑ̀t iksklúːʒən
アゥ スタェンダゥァードゥ フォァ ロウバゥットゥ エクスクルゥージュン
アゥ・スタェンダゥァードゥ・フォァ・ロウバゥットゥ・エクスクルゥージュン
アゥ・スタェ́ンダゥァードゥ・フォァ・ロ́バォッ̀トゥ・エクスクルゥ́ージュン
ア スタンダード フォー ロボット イクスクルージョン
ア・スタンダード・フォー・ロボット・イクスクルージョン
ア・スタ́ンダード・フォー・ロ́ボッ̀ト・イクスクル́ージョン

Robots Exclusion Protocol
róubɑ̀ts iksklúːʒən próutəkɔ̀l
ロバォッツ エクスクルゥージュン プロドゥコァールゥ

更新日:2024年 3月27日




ICT用語索引
記号 数字 A B C
D E F G H
I J K L M
N O P Q R
S T U V W
X Y Z

       
背景色薄緑は全用語編集完了
白は書きかけの用語を含んでいます
ICT用語辞典リンク集
ICT用語解説サイト120

バナースペース

     P A S T E M


トイザらス・ベビーザらス オンラインストア