.htaccess

何か今日になってから急に中国から大量のアクセスが来てるので、緊急で中国IP規制しました。

中国のIPリストは今日取ってきたので、間違い無く最新版です。前に国外IP規制をすると言った
気がしますが、まだしていません。ちょっと考えてると言うか悩んでる部分があって、してません。
ただその代わり、.htaccessを作るCGIの方はちょっと改良を加えて、中身は凄い事になってる！
外部からIPリストを吸わせて整頓して.htaccessに反映させると言う機能を実は付けてみたのよ。
これが意外と役に立つ！特に今回みたいな緊急で規制する時など、即座に対応出来るからね！

でも急に中国から殺到してきてる理由はあれか？ちょい前に書いた百度のエントリーが原因か？
まぁそぉじゃなくても未だに中国からスパムが大量に来てるから、結局無価値な国なんだけどね。

ちょっと久しぶりに百度ネタですが。何か最近、また活発化してきたと同時に嫌な動きが出てる。

61.135.163.156 # Referer無し - Baiduspider+(+http://www.baidu.jp/spider/) - Language無し
119.63.193.224 # Referer無し - Baiduspider+(+http://www.baidu.jp/spider/) - Language無し
119.63.193.225 # Referer無し - Baiduspider+(+http://www.baidu.jp/spider/) - Language無し
119.63.193.226 # Referer無し - Baiduspider+(+http://www.baidu.jp/spider/) - Language無し
119.63.194.45 # Referer無し - Baiduspider+(+http://www.baidu.jp/spider/) - Language無し

これはちょっと前に来てたBaiduspider+だが、私がわざわざrobots.txtにトップで百度は来るな！
って書いてあげてるんだから、robots.txtだけ見て帰りゃいいものを、わざわざクローラーしてくる。
今でも.htaccessで119.63.192.0/21は規制したまんまだから、そこはまぁ百歩譲るとしてもだ？
問題は61.135.163.156だ！このIPは中国になっているが、おまえら日本からがダメだからって
中国から日本用のBaiduspider+を普通動かすか？どこまでクズなんだよ！もうクズもいいとこだ！
おまえら技術ねぇの少しは自覚しろよ？それでどれだけの人に迷惑かけてんのか、そのカラッポの
脳みそで少しは考えてみろよ？中国なんて結局技術なんて何1つ持ってないのを晒してるだけよ？

ブログがWordPressに変わった事により、これまでの.htaccessだと効果が弱くなってきたんで。

私の.htaccessはとにかく行数が多いので有名？(笑)なので、作り直すのも結構一苦労ですけど
それぐらい、Movable TypeからWordPressに変わるって事は大変化を伴ってしまう訳ですよ…
でもWordPressに変わってからスパムじゃんじゃんOKになったし、国外規制も外してしまったし
さらに.htaccessの新しい使い方・改善方法も勉強になったので、ここで一気に作り直そうと思う。

今度の.htaccessでは結構規制を外すつもりです。と言うのも、WordPressのシステムは多分
「見れるけど書けない」と言うBBQ規制の掛け方が分からないし、見てて出来ない気がするのよ。
だから基本「見れない書けない」のIP規制にせざるを得ない。だからこその作り直しでもある訳で
これが完成した時に私のブログが見れない人ってよっぽど嫌われてるんだなって思った方が良い。
しかも今回は新たにGoogleやYahoo!のボット騙しの組み込みも検討しています。国外規制を
外してしまった以上、このボット騙しはまず必須になると思います。これも今回の目玉機能かな。

そぉ言えば、サイトが重くなってる原因の1つであろぉ.htaccessの軽量化がそれなりに進んでる。

まぁ.htaccessの軽量化と言っても、今現在出来たのは少しだけ行数減らせたってだけなんだが。
少しって言ってもまぁたかだか200行減っただけです。200行が少しって(笑)じゃ私の.htaccessは
何行あるんでしょうか？今回行った200行削除ってのは、難しく言うと面倒くさいんで簡単に言うと
最初0のモノを+1して後で-1するから結局0になる。結局0なら、+1と-1の処理を削れば良いだけ
って事。こぉ言う処理をしてる部分が200行あった。これで大変なのは、本当に0に戻している箇所
を見つけるのが大変。だから今まで手を出し辛かったからやらなかったけど、今回処理しました！

それで.htaccess軽量化は実は第2弾があるんだけど、これで何行消えるかはちょっと不明ですが
もぉちょっとは軽く出来るかと思います。でもやっぱり.htaccessの軽量化が出来る様になったのは
新.htaccessの効果が大きいですね。これのおかげで軽量化に手が出せている様なもんだもん！

昨日、新.htaccessの設定がとりあえず終わったので、ついに投入して今1日が経過した訳だが。

いやぁ、新.htaccess凄いね！今まで知らなかったとこからもスパムが来ている事が分かったよ！
これでもぉスパムは残らず全て拾える様になりました。これからは日本から来るスパムだけ相手
してればいい訳だし！楽でいいわぁ～(笑)ちょっと設定が大変だった分、この効果はかなり凄い。

それで、新.htaccessを作る為に今まで規制してたとこを全て再設定してきた訳なんだけど、ちと
やってて気付いた事がある。これまでって何かあったらハイっ規制って感じでずっとやってたから
スパムの統計を取るみたいな事をまったくしてなかったが、今回の全再設定やって気付いたのは
愛知県を結構規制してるなぁ…って事に気付いた。つまり、日本では愛知県が危険って事だな。
そぉ言えば前にも名古屋大学からスパム来てる事もありましたからね。これからはその辺をちと
気を付けてやっていきます。新.htaccessはまだ完成してません。これからまだ調整が必要です。
で、やってて思ったのが、Yahoo!BBって凄く分かりやすいのよね。言い換えれば管理しやすい。
Yahoo!BBならこぉここだ！ってピンポイントで絞って、どの都道府県？とかのエリア絞込みさえも
今は出来るので、Yahoo!BBの規制をどんどん解除していく予定です。んで、さらに言っちゃうとね
ぷららも絞込みの方法分かりました！ぷららのHostの見方がやっと正確に分かった訳ですが…
数字が都道府県別に振ってあるみたですね。これで、ぷららの方は規制が進む事になると思う。

もぉ毎日、鬼の様にスパムが来てて、最近はちょっと量が異常なんだけど、やっぱ頭悪いわね。

スパムってさ、メールでもコメントでもトラックバックでも、見てもらってナンボ？って性質のハズ。
なのにさ、送れもしないとこにばっかに何で送り続けるかね？結局スパマーって機械オンチか？
まぁどぉせこんなのは自動で送りまくってるんだろぉけどさ、これじゃあまりにも効率が悪過ぎ！
だから、アホスパマーもちったぁ頭使えっつーの！送れないとこは何度送っても届かないんだよ。

このブログにもトラックバックスパムが毎日来てるけど、これもなぁ…頭悪いの露呈し過ぎてる！
トラックバックスパムって超当たり前だけど、トラックバックURLに送って初めて届く性質なのにさ
アホスパマー、トラックバックURLが分かってないんだよ(笑)私が分からない様に仕向けていると
言うのもあるけど、分からないからって予想で送るなよ(笑)普通に、ブログを見る為のアドレスが
トラックバックURLな訳ねぇだろ！この時点でトラックバックスパムがDDoS攻撃に代わってるぞ！

スパマーってページじゃなくてソースを見てるのは前にちょいと書いたけど、トラックバックURLを
判断してるのも多分見て判断してるんじゃなくて、プログラムで判断してるっぽい。私その傾向も
もぉ分かってる(笑)私のとこに来るトラックバックスパムがこんな感じで送り先変えてきてるから。
まず最初はcgiって文字が入ってるアドレス。次にphpって文字が入ってるアドレス。んで最後は
trackbackかtbって文字が入ってるアドレス。こんな感じでアドレスを探しては送ってきてますね。
でも結局プログラム任せで見つけたアドレスだから、ホントにトラックバックURLか分かってない。

だからさ、アホスパマーよ。スパム送ってくるんなら、トラックバックURLにちゃんと送って来いよ！
トラックバックURLも分からずにDDoS攻撃してたって意味無い事にいい加減気付いたらどぉだ？
この程度の下等生物じゃ、私のブログにスパムなんて永久に届きそうにも無いね…頭悪過ぎ…

それと先月から作ってる新.htaccessですが、今現在2/3ぐらい再設定終わりました。本当言うと
6月から使いたかったんだけど、こんなにたくさん設定してたとは、自分でも気付かなかったわ…
完成したら即投入しますが、ちょっと今度の.htaccessは…かなり期待出来る自信作になりそう。

最近あまり時間が無いのにスパムだけは大量に来るのでいい加減、相手するの飽きてきたわ。

これを作り始めた頃は、どのIPがどの国なのか全然分からなかったから、分かる国からどんどん
規制をし始めていったと言う経緯があるけど、最近じゃドイツとかからもスパムが来る様になって
さらにアジア以外の国のIPは現在調べる方法が無い。中国や韓国とかのIPリストはあるんだが
こんな国毎に規制を増やしてたら.htaccessがかなり大量な行数になってしまって、今現在でも
ちょっとこのブログが重くなってるのは、その.htaccessに書いてる規制量が増えすぎているから。

そこで!?ちょっと前から考えてたんだけど、国の数なんて有り過ぎて調べてもキリが無い訳だし
調べたからと言って分かる訳でもない。あまり調べたりしなくても良くて、もっと簡単に規制数を
減らす方法を考えてた。考えて辿り着いた方法が、これまでとはまったく逆の考えで規制する事。
つまり、日本国外のIPをどんどん規制していくんじゃなくて、日本のIPだけを許可するって方法！
上に書いた様に、アジアの国のIPは調べ出せる。だから当然、日本のIPリスト一覧も出てくる！
この日本のIPだけを許可するって設定にすれば、意外と簡単にまとめられる事に気が付いた…
これなら、新たに知らない国からスパムが来ても、何もせずに規制に引っかかってくれる訳だし。
それに、GoogleやYahoo!などの検索サイトのボットIPはすでに把握してしまってるから、これらも
許可しておけば問題無い訳だし。今こんな感じで新.htaccessを鋭意製作している真っ最中です。
ただ、何で簡単にすぐポンっと使えないのか？それは、今まで日本のIPで規制が掛かってるIPを
除外する作業があるからです。実は日本のIPでも結構規制かけてるから、量もかなりあるのよ…

日本のIPリストを見てると、何かこれまで規制してきた中国や韓国のIPリストなどを足したのと
ほぼ同じくらいの量あるんですけど….htaccessに書くIPの量は今までと変わらない気がする…
だが、その他のスパムと判断する基準とかの設定行はこれで減らせるから、多分軽くなるかと。
ちと何か、さぶりんが規制に引っかかってしまってるっぽいので、出来るだけ完成を急ぎます！

え～毎度バカバカしい話ではございますが、まぁた！まぁた！百度が迷惑をかけていますが？

百度のクローラーBaiduspider+が今までとは違うIPから来ているんですが、ちょっとここはねぇ…

119.63.193.37 # Baiduspider+(+http://www.baidu.com/search/spider_jp.html)
119.63.193.70 # Mozilla 4.3 - zh-cn,zh-tw
119.63.193.99 # Baiduspider+(+http://help.baidu.jp/system/05.html)
119.63.193.186 # BaiduImagespider+(+http://www.baidu.jp/search/s308.html)
119.63.193.190 # Baiduspider+(+http://www.baidu.com/search/spider_jp.html)
119.63.193.193 # Baiduspider+(+http://www.baidu.com/search/spider_jp.html)
119.63.194.40 # Baiduspider+(+http://www.baidu.com/search/spider_jp.html)

この部分は調べてみたら日本の百度で、119.63.192.0/21で一括りにして指定が可能ですが。
それで、実はやっかいと言うのはこの119.0.0.0/8のエリアから来ていると言う点なんですよね。
119のエリアと言うのは、国別に細かく分けられているエリアで、大部分が中国になってるけど
中国以外にも日本にも割り当てられてるエリアもあって、規制をするのが大変なエリアの1つ…
前のエントリーで中国のIPを完全に規制すると書きましたが、この119エリアはもぉ細か過ぎて
実は日本も含まれてるこの119エリア、全規制かけてました。それくらい大変なエリアなのよ…
全規制かけてたんだけど、今回の百度の出現により、ちゃんと細かく規制をかけ直ししました。
かけ直したけど、中国がらみで今規制強化している事もあって、残念ですが119エリアにある
中国以外の国も中国のIP規制に巻き込まれる形で規制しました。日本は何とか外したけどね。

それで、問題…いや、大問題か。大問題になるのは、119エリアから来ているって事じゃない！
何で私が119エリアからBaiduspider+が来ている事を知ったか？だよ！昔っから言ってますが
私のこのブログは、百度からのアクセスを完全に拒否しています。IPでも当然拒否しているのに
来たから、エラー情報収集CGIに記録されて、それで存在を知った訳です。でもね、それ以前に
何かとてつもなく重要な事忘れていませんか？私ちゃんと昔っからブログに書いてますよね？
robots.txtにBaiduspider+はどこも見るなと。robots.txtを守るってのはやっぱり大嘘だったか。

前からずっと言ってるけど、ルールさえ守れないクズが検索サイトなんて名乗るんじゃねぇよ！

ちょっと久しぶりですが、あの百度スパムが最近威力を増してきてるので追加報告を致します！

最近、前に書いたIP以外からのBaiduspider+が多数出現しています。一体どこまで外道なんだ？
まぁこれらが全て本物かどぉかは知りませんが、それでもこれまでのIPから来てるBaiduspider+も
相変わらずrobots.txtを無視してる訳なんだし、ホントに反省って言葉をまったく知らないんだね…

SetEnvIf Accept-Language zh language # 中国語
SetEnvIf User-Agent "Baidu" gedo # 中国検索エンジン Baidu (百度)

Deny from env=language
Deny from env=gedo
Deny from 60.0.0.0/11 # 60.0.0.0 ～ 60.31.255.255 [2097152 IPs] - CN
Deny from 66.90.73.113 # Baiduspider+(+http://www.baidu.com/search/spider_jp.html)
Deny from 66.90.109.56 # fast.scriptzbox.com - Baiduspider+(+http://www.baidu.com/search/spider_jp.html)
Deny from 72.232.218.82 # 82.218.232.72.static.reverse.layeredtech.com - Baiduspider+(+http://www.baidu.com/search/spider_jp.html)
Deny from 72.249.68.20 # reserve20.3inetwork.com - Baiduspider+(+http://www.baidu.com/search/spider_jp.html)
Deny from 122.152.128.0/23 # 122.152.128.0 ～ 122.152.129.255 [512 IPs] - JP
Deny from 122.152.140.0/23 # 122.152.140.0 - 122.152.141.255 [512 IPs]
Deny from 161.58.189.92 # Baiduspider+(+http://www.baidu.com/search/spider_jp.html)
Deny from 198.145.0.0/16 # 198.145.0.0 - 198.145.255.255 [65536 IPs]
Deny from 202.96.0.0/12 # 202.96.0.0 ～ 202.111.255.255 [1048576 IPs] - CN
Deny from 207.58.185.202 # Baiduspider+(+http://www.baidu.com/search/spider_jp.html)
Deny from 207.234.209.125 # Baiduspider+(+http://www.baidu.com/search/spider_jp.html)
Deny from 208.53.147.195 # Baiduspider+(+http://www.baidu.com/search/spider_jp.html)
Deny from 211.9.49.82 # 211-9-49-82.cust.bit-drive.ne.jp - Baiduspider+(+http://www.baidu.com/search/spider_jp.html)
Deny from 217.146.93.13 # Baiduspider+(+http://www.baidu.com/search/spider_jp.html)

…どぉするよ？こんなにも増えてるんだぞ？しかもさ、最近アクセスアナライザーとかを見てると
外国からも百度のIPとかで検索されて、このブログに来る人が残念ながら増えてきております。
もぉ百度は完全に世界の敵だね。まさに外道だね。こんな百度を世界中で「悪の枢軸」と言う！

それと私が発表したIPでCIDRになってる部分が他の関係無いIPも混ぜてしまってると言う発言
がありましたが私はそんなの気にしてません。私のIPリストは、中国のIPリストを混ぜて総合的
に考えています。それに最近大量のスパムが来まくってますが、その内半分は中国のIPです。
百度とスパム、両方とも絶対に来て欲しくないのでCIDRになってる部分は中国そのままのIPと
考えてもらった方が良いです。それと、最近やっと各国の最新IPリストを得る方法を知りました。
それを使って、IPリストの方も更新しなければいけないので、この先CIDRの範囲も変わってくる
可能性があります。それにも対応しなければいけません。それでIPリスト検索CGIを作りました。
IPリスト検索CGIが完成・公開出来る様になれば、私がこの様に書かなくてもみなさんで調べて
もらえば、その時点での最新の情報を見る事が出来る様になるし。自分だけで全IPのリストを
作っていくってかなり大変な作業ですよorzそれでもスパマーのおかげで結構出来ましたが(笑)

[関連リンク]
中国の検索大手「百度」、前ソニー会長の出井氏を社外取締役に:ニュース – CNET Japan

かなり久しぶりなので全然覚えて無いのですが、やっぱり作り始めてみると結構出来るもんだ！

今回、2つCGIを作りました。まず1つ目が.htaccessを出力するCGIです。このブログはちと前から
BBQを導入している訳ですが、BBQともう1個BBQ-Rがあるので.htaccessが2つ必要になります。
BBQとBBQ-Rの.htaccessは結構似てる部分が多いですが、やっぱりまったく違う部分もある為
2つを更新するのは結構大変だったりします。さらにBBQにはCGIリネームと言うやっかいな物まで
付いてるので、さらに輪をかけて大変なんです。で、前からBBQの内容を公開すると言ってるけど
今使ってる.htaccessだけでこんなに大変なので、そぉ簡単に公開なんて出来る物じゃなかった…
そしてCGIを作った後は？と言うと、超簡単です！今までの手間が何とたった1プッシュで終わり。
プログラムって素晴らしいヽ(´▽｀)ノこれでBBQ公開用のテキスト出力を付ければ、ついに公開！

そして2つ目は、私が持ってるIPリストを検索するCGIです。今、IPリストは1Mを超えてしまいそうな
くらいまでにデカくなってきました。さらにこちらも中国と韓国のIPリストを公開用に別に作らないと
いけないので、こちらも大変なんです。で、このIPリストを検索するCGIを作る事によって、これらの
中国、韓国のIPリストだけでなく、他にも入れてある台湾やらインドネシアやら全部出力出来ます。
ただ、このCGIは公開する事によってかなり多用されるのが容易に想像出来るので、前提条件で
使った人の情報は取ります。そして使い過ぎる人はそのままBBQの規制対象になってしまいます。
今はまだ、情報を取る機能を付けていないので公開しませんが、こちらも近日中には公開予定！

そしてもぉ1個、これは前から作ってあったのを改良したんですが、IPリストをソートするCGIがあり
私は毎日エラー情報を落として、結合して、UPして、ソートして、落として、それからIP整理します。
最近じゃエラー情報も半端な量じゃなく、全部整理するのに3時間くらい掛かるのが当たり前です。
なので、このソートするCGIに結合する機能を付けてみました。そしたら、これもかなり楽になった！
まずIPリストをUPして、CGIを動かして、落とすだけ。たったこれでもぉIP整理に移る事が出来ます。

こぉやって今3つのCGIを使ってる訳ですが!?これら3つのCGIを作らなければいけなくなった訳は？
と言うと、全てスパムのせいですね。私がこぉやってがんばらなければいけなくなったのも、全部
頭の悪過ぎるクソスパマーのせいだ！頭悪いなら悪いで無駄な事するな。だから下等生物って(ry