pingサーバーまとめ

現在稼働しているpingサーバーは以下の通り

http://www.blogpeople.net/ping/
http://r.hatena.ne.jp/rpc
http://ping.fc2.com/
http://rpc.reader.livedoor.com/ping
http://ping.myblog.jp
http://ping.weblogalot.com/rpc.php
http://rpc.blogrolling.com/pinger/
http://www.blogpeople.net/servlet/weblogUpdates
http://ping.rss.drecom.jp/
http://blogsearch.google.co.jp/ping/RPC2
http://blog.goo.ne.jp/XMLRPC
http://rpc.reader.livedoor.com/ping
http://blogsearch.google.com/ping/RPC2
http://blog.goo.ne.jp/XMLRPC
http://ping.namaan.net/rpc/

モバイル版Yahoo!検索の検索エンジン(クローラー)のIPアドレス

以下、Yahoo!さんから引用

モバイル版Yahoo!検索のクローラーのユーザーエージェントおよびIPアドレスの帯域は、以下のとおりです。

【User Agent (ユーザーエージェント)】
    * Y!J-SRD/1.0
    * Y!J-MBS/1.0

【IPアドレス】
124.83.159.146 ? 124.83.159.185
124.83.159.224 ? 124.83.159.247

– IPアドレスは予告なく変更される可能性があります。
– IPアドレスは、パソコン版Yahoo!検索のクローラー、およびYahoo!ケータイ公式サイト向けのクローラーとは関係ありません。
Yahoo!ケータイ公式サイト向けのクローラーについては、ソフトバンクモバイル株式会社よりオフィシャルコンテンツプロバイダ用に配布されている資料をご確認ください。

試験的にWebサイトを構築。検索エンジンに引っかからないようにしたいときのメモ

robots.txtをさくせいする!

以下、Yahoo!さんから引用。

【HTMLのMETAタグで登録拒否をするには】
検索結果からサイトへのリンクや説明文などの、特定のページを検索結果から削除する場合は、下記のHTMLを記述します。

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

【robots.txtで登録拒否をするには】
robots.txtを置いて登録を拒否する方法は以下のとおりです。

・サイトで公開されているすべてのページをモバイル版Yahoo!検索の[サイト検索]の検索対象から除外する場合
下記のテキストを「robots.txt」という名前で保存し、サイトのあるウェブサーバーのトップレベルに置きます。

ファイルの中身(Y!J-SRD/1.0を拒否する場合の例)

    User-agent: Y!J-SRD/1.0
    Disallow: /

・モバイル版Yahoo!検索を含む、すべての検索エンジンから除外する場合
下記のテキストを「robots.txt」という名前で保存し、サイトのあるウェブサーバーのトップレベルに置きます。

ファイルの中身

    User-agent: *
    Disallow: /

        
    
    ヒント         ヒント
    
    
・「*」は、すべてのクローラーの訪問を拒否するという意味になります。
特定のディレクトリのみを拒否対象に指定したい場合は、「Disallow: /」に続いてディレクトリ名を入力します。

例: aaaというディレクトリのみを拒否対象にしたいとき

Disallow: /aaa/

・トップレベルとは、サイトのアドレスの、一番上の階層を指します。

例:
トップレベル        :http://○○○.co.jp/
トップから1つ下のレベル:http://○○○.co.jp/△△△/
サイトがこのような構造の場合、http://○○○.co.jp/robots.txtなどとなるように「robots.txt」を保存してください。
一般的に、独自のドメインを持っているサイトでは、トップレベルにindex.htmlというファイルが置かれています。
(例:http://○○○.co.jp/index.html などとなっていることが多い)

トップレベルに任意のファイルを置けない場合(Yahoo!ジオシティーズなど、独自ドメインでないサーバーを利用している場合)は、「robots.txt」による登録拒否はできません。METAタグによる登録拒否を行うか、ページそのものを削除してください。

たとえば、Yahoo!ジオシティーズのトップレベルは http://www.geocities.jp/ ですがお客様のホームページは、 http://www.geocities.jp/△△△/という1つ下のレベルからになるため、トップレベルにファイルを保存できません。