2016年09月13日

Google-ProxyのHTTPサーバ環境変数

●HTTPサーバ環境変数
 
*の箇所は伏字。#以降は注釈
 
"ENV" => {
  "SCRIPT_NAME" => "**********",
  "REQUEST_METHOD" => "POST",
  "HTTP_ACCEPT" => "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
  "SCRIPT_FILENAME" => "****************************************",
  "HTTP_ORIGIN" => "http://**********",
  "HTTP_FORWARDED" => "for=\"[****:****::****::****::****::****::****::****]\"", # クライアントのIPv6アドレス(のように見える)
  "SERVER_SOFTWARE" => "Apache/2.2.31",
  "QUERY_STRING" => "************",
  "REMOTE_PORT" => 49585,
  "HTTP_USER_AGENT" => "Mozilla/5.0 (Linux; Android 5.0.2; 404SH Build/S0012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.89 Mobile Safari/537.36",
  "SERVER_SIGNATURE" => "",
  "HTTP_CACHE_CONTROL" => "max-age=0",
  "HTTP_ACCEPT_LANGUAGE" => "ja-JP,ja;q=0.8,en-US;q=0.6,en;q=0.4",
  "HTTP_UPGRADE_INSECURE_REQUESTS" => 1,
  "CONTENT_TYPE" => "application/x-www-form-urlencoded",
  "PATH" => "/usr/local/bin:/usr/bin:/bin",
  "GATEWAY_INTERFACE" => "CGI/1.1",
  "DOCUMENT_ROOT" => "**********",
  "REMOTE_HOST" => "google-proxy-66-249-82-226.google.com", # Google-Proxyのホスト名
  "HTTP_VIA" => "1.1 Chrome-Compression-Proxy", # Proxyサーバの名称,バージョン番号
  "SERVER_NAME" => "********************",
  "HTTP_REFERER" => "http://******************************",
  "HTTP_ACCEPT_ENCODING" => "gzip, deflate",
  "SERVER_ADMIN" => "******************************",
  "HTTP_CONNECTION" => "Keep-alive",
  "CONTENT_LENGTH" => 415,
  "HTTP_DNT" => 1, #「追跡しないで」フラグ
  "HTTP_SCHEME" => "http",
  "SERVER_PORT" => 80,
  "HTTP_COOKIE" => "****************************************",
  "REMOTE_ADDR" => "66.249.82.226", # Google-Proxyのホストアドレス
  "SERVER_PROTOCOL" => "HTTP/1.1",
  "HTTP_X_FORWARDED_FOR" => "****:****:****:****:****:****:****:****", # クライアントのIPv6アドレス(のように見える)
  "REQUEST_URI" => "****************",
  "SERVER_ADDR" => "****************",
  "HTTP_SAVE_DATA" => "on", # データ容量削減願いフラグ(らしい)
  "HTTP_HOST" => "****************"
}
 
●google-proxyからのアクセスを遮断する際の.htaccess
 
RewriteCond %{REMOTE_HOST} ^google-proxy
RewriteRule ^.* - [F]
 
文頭からのマッチを表す^(キャレット)は省いても良いのかも。
 
posted by 管理人 at 10:22| Comment(0) | TrackBack(0) | 開発記録

2009年04月01日

さくらインターネットで和布蕪(MeCab)が動かなくなった人へ

この文章は、さくらインターネット・スタンダードプラン(FreeBSD)で過去にインストールしたMeCab(バージョン0.81)が、最近になって動かなくなってしまった人への処方箋です。

◆現象

2009/4/1 7:34頃からMeCabのPerlバインダがエラーを吐くようになりました。

◆原因

さくらインターネットのrootさんがMeCabの最新バージョンをインストールしたため、過去にユーザ領域にインストールしたMeCabと衝突していたことが原因でした。

◆対処方法

(1) ユーザ領域にインストールしていたMeCabを削除
(2) MeCab.pmを使っているPerlスクリプトを修正

◆問題点

i. 対処方法の(2)が、おそらくいちばん厄介な問題です。MeCab.pmはPerlからMeCabを使うためのバインダです。MeCab.pmの新バージョン(0.97)には、旧バージョン(0.81)との上位互換がありません。MeCabを使っているPerlスクリプトは、新バージョンに合わせて書き直さなければ動きません。

ii. MeCabの新旧では形態素解析の結果が微妙に違うのかもしれません(未調査)。その場合、形態素のデータベースを再構築しなければなりません。
posted by 管理人 at 22:56| Comment(0) | TrackBack(0) | 開発記録

2006年11月19日

[TDB] 検索プロバイダに対応

この文章ではスレッドデータバンクの「スレッドタイトル検索」を、WWWブラウザの検索ボックスから使う方法を説明します。

◆はじめに

2006年11月19日、スレッドデータバンクが検索プロバイダに対応しました。検索プロバイダをインストールすると、ブラウザ右上の検索ボックスからスレッド検索できるようになります。

検索プロバイダはIE7、Firefox2で使うことができます。

◆インストール


※検索プロバイダはIE7、Firefox2のみインストールすることができます。

◆関連リンク
· スレッドデータバンク
· OpenSearch description document
posted by 管理人 at 20:26| Comment(0) | TrackBack(0) | スレッドデータバンク

2006年09月01日

[TDB] スレッドタイトル検索

この文章ではスレッドデータバンクの「スレッドタイトル検索」の概要を説明します。

◆はじめに

2006年9月1日よりスレッドタイトルの検索機能に対応しました。

◆使用できる検索式の例

SONY OR ソニー
「SONY」または「ソニー」を含むスレッドを検索します。(OR検索)

シャープ テレビ
「シャープ」と「テレビ」の両方を含むスレッドを検索します。(AND検索)

win -winny
「win」を含むスレッドを検索しますが「winny」を含むスレッドは取り除きます。(NOT検索)

DoCoMo bbs:phs
携帯PHS板から「DoCoMo」を含むスレッドを検索します

DoCoMo bbs:phs;bizplus
携帯PHS板とビジネスニュース+板から「DoCoMo」を含むスレッドを検索します

DoCoMo -bbs:phs
「DoCoMo」を含むスレッドを検索しますが、携帯PHS板のスレッドは取り除きます。

bbs:bizplus
ビジネスニュース+板のすべてのスレッドを出力します。

◆上手に使う

· 検索結果が雑然としているときは「板」で並び替えると、見やすくなることがあります
· 検索対象はスレッドタイトルのみです。スレッドの本文からは検索できません。本文を検索したい方は「みみずん検索」や「2ちゃんねる検索(有料サービス)」をご利用ください

◆注意事項

· 「記号」は検索できません。このためAAはうまく検索できません。検索対象になる文字は漢字、仮名、カタカナ、アラビア数字、アルファベット、ギリシャ文字、キリル文字のみです
· 検索式が長すぎる場合、検索結果の精度が劣化することがあります

◆関連リンク

· スレッドデータバンク
posted by 管理人 at 00:00| Comment(0) | TrackBack(0) | スレッドデータバンク

2006年08月26日

[TDB] スレッド一覧のチェックボックス

「2006年8月27日午前2時版」から、スレッド一覧の左列にチェックボックスが現れます。チェックしたあとに表上部にある「実行」ボタンを押すと、チェックしたスレのタイトルとURLが出力されます。この機能はタイトルやURLをコピー・アンド・ペーストするために使います。

◆関連リンク

· スレッドデータバンク
posted by 管理人 at 23:23| Comment(0) | TrackBack(0) | スレッドデータバンク

2006年06月18日

[TDB] チャート表示

この文章ではスレッドデータバンクの「チャート表示機能」の概要を説明します。

◆チャート表示とは

スレッドの進む速さ、時間別の書き込み数を視覚的に把握するための機能です。

◆何に使うの?

· スレが平穏なのか荒れているのか確かめる
· スレの住人の性質を大雑把にでも把握する

◆使い方

「チャート」のリンクをクリックするだけです。チャートのリンクは、「スレッドデータバンク」のスレッド一覧の「機能列」にあります。

◆使い方のヒント

ID別の書き込み数の集計、標準統計量の算出など徹底的に分析したい人はCSV出力機能を使ってみてください。Excelの知識が必要になりますが、かなり詳しく分析できます。

◆注意事項

· 制限について。Cookie(クッキー)を無効にしているとチャート表示できません。ブラウザやインターネットセキュリティーソフトの設定で、Cookieを有効にしてからご利用ください。短時間に何度もチャート表示させると、サーバ負荷の都合で以後の接続が遮断されることがあります

◆関連リンク

· [TDB] CSV出力機能
· スレッドデータバンク
· さぶちゃんねる
posted by 管理人 at 00:00| Comment(0) | TrackBack(0) | スレッドデータバンク

2006年06月08日

[TDB] 類似スレッド検索

この文章ではスレッドデータバンクの「類似スレッド検索機能」の使い方を説明します。

◆類似スレッド検索とは

あるスレッドと似ているスレッドを検索する機能です。普段は見ない板からも、芋づる式にスレッドを発見することができます。

◆使い方

「類スレ」のリンクをクリックするだけです。類スレのリンクは、「スレッドデータバンク」のスレッド一覧の「機能列」にあります。

◆使い方のヒント

· なるべくタイトルの短いスレッドから検索するようにします
· 検索結果をネタに類スレ検索を繰り返してみてください。精度が良くなるはずです

◆ありそうな質問と回答

Q:あまり似ていないスレッドがヒットします
A:類似スレッド検索はスレッドのタイトルを要素に分解して、各々の要素が多く一致するスレッドをご案内します。「どれくらい似ているか」は機械的に計算したものですので、おかしなスレッドが入り込んでしまうこともあります。

Q:どう考えても似ていないスレッドもヒットします
A:類似するスレッドが本当に存在しないのかもしれません。該当数が少ない場合は、頭数を増やすためにほとんど関係のないスレッドも抽出してしまうことがあります。

Q:列を並び替えても有益な情報に並び替わりません
A:機能の性質上、列の並び替えとの相性が悪くなっています。並び替えて何かの参考になるのは、「得点」と「板」くらいです。スレの年齢や寿命で並び替えても、あまり有益な情報は得られません。

◆注意事項

· 制限について。Cookie(クッキー)を無効にしていると機能しません。ブラウザやインターネットセキュリティーソフトの設定で、Cookieを有効にしてからご利用ください。短時間に何度も機能させると、サーバ負荷の都合で以後の接続が遮断されることがあります

◆関連リンク

· スレッドデータバンク
· さぶちゃんねる
posted by 管理人 at 00:00| Comment(0) | TrackBack(0) | スレッドデータバンク

2006年05月31日

さくらインターネットで和布蕪(MeCab)をインストールする方法

この文章は、さくらインターネット・スタンダードプラン(FreeBSD)でMeCab、ipadic、MeCab Perlモジュールをインストールする際のメモです。ここでのMeCabのバージョンは0.81です。最新版のMeCabではないので気をつけてください。

説明の都合上、カレントディレクトリを「/home/username/」とします。

表示の関係で本来、一行に記述しなければならないのに改行して表示されている個所があります。注意してください。

◆準備

アーカイブファイルをダウンロードします。

http://chasen.naist.jp/stable/ipadic/ipadic-2.4.4.tar.gz
http://prdownloads.sourceforge.jp/mecab/14968/mecab-0.81.tar.gz
http://prdownloads.sourceforge.jp/mecab/15083/mecab-perl-0.81.tar.gz

◆MeCabのインストール

実行ファイルは「/home/username/local」に作ることにします。

%cd ~
%mkdir local
%tar xvzf mecab-0.81.tar.gz
%cd mecab-0.81
%cd dic
%tar xvzf ~/ipadic-2.4.4.tar.gz
%cd ..
%./configure --prefix=/home/username/local --exec-prefix=/home/username/local
%make
%make install

◆MeCab Perlモジュールのインストール

はじめにMakefile.PLを修正します。mecab-configの場所をフルパスで指定するようにします。修正なしで実行すると「WriteMakefile: Need even number of args at Makefile.PL」というエラーが発生するはずです。

use ExtUtils::MakeMaker;
WriteMakefile(
'NAME' => 'MeCab'、
'CC' => `/home/username/local/bin/mecab-config --cxx`、
'LD' => `/home/username/local/bin/mecab-config --cxx`、
'INC' => `/home/username/local/bin/mecab-config --cflags`、
'LIBS' => `/home/username/local/bin/mecab-config --libs`、
'VERSION' => `/home/username/local/bin/mecab-config --version`、
'OBJECT' => 'MeCab_wrap.o'
);

修正が済んだら以下のコマンドを実行します。

%perl Makefile.PL
%make

これで終わりです。公式のインストールガイドには、つぎにスーパーユーザになって「make install」しろと書かれていますが、さくらインターネットでは権限の都合でエラーになります。

つぎの二つのファイルができているはずなので、これらのファイルをPerlのモジュールを置く場所に移動しておきます。

blib/arch/auto/MeCab/MeCab.so
blib/lib/MeCab.pm

仮に「/home/username/lib」に置くことにします。Perlで使うときはスクリプトの冒頭で

use lib "/home/username/lib"
use MeCab;

と書けばモジュールが読み込まれます。

◆気になりそうなこと

Q:ライトプランでMeCabをインストールするには?
A:ライトプランではシェルが使えないので、普通の手順ではコンパイルできません。スタンダードプランでコンパイルしたファイルをそっくりコピーすれば動くと思います。でもOSの種類やバージョンが一致していないと、だめかもしれません。

Q:共有サーバでコンパイルしていいんですか?
A:問題ないと思います。でも計算機資源を消費するので、とくにWWWサーバとして忙しい時間帯(21時から午前1時あたり)に作業するのは避けた方がよいでしょう。

◆関連リンク

さくらインターネットにてMeCabとNamazuをインストールする方法
http://elementary.matrix.jp/htimanos.html
MeCab 0.81 のインストール方法
http://www.asahi-net.or.jp/~yw3t-trns/namazu/mecab/inst081.htm
MeCab: Yet Another Part-of-Speech and Morphological Analyzer
http://mecab.sourceforge.jp/
posted by 管理人 at 01:17| Comment(0) | TrackBack(3) | 開発記録

2006年04月28日

[TDB] CSV出力機能

この文章ではスレッドデータバンクの「CSV出力機能」の使い方を説明します。

◆CSV出力とは

MS-Excelのワークシートに2ちゃんねるの書き込みを取り込む機能です。

◆何に使うの?

· 時間別に書き込み数を集計する
· 特定のIDの書き込みを抽出する(削除依頼の作成)
· 書き込みのファイリングなど

作った人が言うのもなんですが、頻繁に使うような機能ではありません。またExcel熟練者を対象にした機能です。

◆使い方

◆CSVのダウンロード

スレッドデータバンクのスレッド一覧からCSV形式に変換したいスレッドを探します。

見つけたら「CSV」をクリックします。ダウンロードの確認ダイアログが表示されるはずですので直接開くか、ファイルに保存するかを選択してください。「開く」を選択したとき、お使いのコンピュータにMS-Excelがインストールされていれば自動的にExcelが起動します。

◆最初にすること

CSV形式はただ読み込むだけでは表示がおかしくなります。セルの装飾情報が欠けているためです。見やすくなるように調節してください。以下は一般的な手順です。

1. DATETIME(日付時刻)列の幅を広げます
2. BODY(本文)列の幅を広げます。つぎに行の高さを調節します
3. すべてのセルを選択して「セルの書式設定」→「文字の配置」→「縦位置」→「上詰め」を設定します

◆使い方のヒント

· 特定のIDの書き込みを抽出するときは、オートフィルタを使います
· セルC6で「ウィンドウ枠の固定(F)」をしておくと、いくらか作業しやすくなります
· ExcelのWebクエリ機能を使ってもCSV形式のデータを取り込むことができます

◆注意事項

· Excelの操作中にエラーが発生するとき。一度XLS形式(Excelブック形式)で保存しなおしてみてください。CSV形式のままではExcelの一部の機能が利用できません
· CSV形式について。スレッドデータバンクが出力するCSVはちょっと変わっています。MS-Excelでの読み込みを前提としているため、それ以外の環境で使うときは不都合があるかもしれません
· 制限について。Cookie(クッキー)を無効にしているとCSV出力できません。ブラウザやインターネットセキュリティーソフトの設定で、Cookieを有効にしてからご利用ください。短時間に何度もCSV出力させると、サーバ負荷の都合で以後の接続が遮断されることがあります

◆関連リンク

· スレッドデータバンク
· さぶちゃんねる
posted by 管理人 at 00:00| Comment(0) | TrackBack(0) | スレッドデータバンク