まさか、TwitterのHadoop解析をファイヤーホース無しで? (2)
とりあえず既存のTwitter画像収集ツールをコピーして、ブランチ切ってHBaseロジックを足したものを作成。
OSXにはHBaseはサクっとインストールできる。
hadoop - Mac OSXでHBaseを使う - Qiita
Firehoseって検索したけどやっぱ有料っぽい。
日本のグーグル先生に聞いてもNTTデータの記事しかひっかからないのがいやん
NTTデータが国内全ツイート情報を再販、TwitterとのFirehose契約で -INTERNET Watch
米Twitter社とツイートデータ提供に関するFirehose契約を締結 | NTTデータ
Firehose無しで現実的にTwitter解析分析ができるのか。
果たして僕達はNTTDATAに勝てるのか。
それを試してみたい。
OpenStack Swift 解析3
Conohaオブジェクトストレージ(OpenStack Swift)でファイルをWEB公開する 2
OpenStackで静的ページを公開するための情報収拾2
rubyでがちゃがちゃ書いててうまくいかないのでサーバーの実装とかを見てみる
OpenStackのswiftサーバーの静的ページ部分の実装コード
Swiftを'X-Web-Mode'で検索した結果
https://github.com/openstack/swift/search?utf8=%E2%9C%93&q=X-Web-Mode
HTTPヘッダーなので大文字小文字は区别しないようでコードでバラバラになってるw
どうやら 'X-Web-Mode'ヘッダー以外にも「'X-Container-Read': '.r:*',」というのがいるっぽい(こちらはaclミドルウェア)
もしくは「 'X-Container-Read': '.r:*,.rlistings'」
OpenStack で コンテナをの内容を静的ページとして公開する
用はAmazonS3のこういうことがOpenStackでもできるらしい
Amazon S3 での静的ウェブサイトのホスティング - Amazon Simple Storage Service
Openstackのマニュアルの以下の文書
Create static website - OpenStack Object Storage API v1 Reference - API v1
Create static website
To discover whether your Object Storage system supports this feature, see the section called “Discoverability”. Alternatively, check with your service provider.
You can use your Object Storage account to create a static website. This mode is normally only active for anonymous requests, which provide no authentication token. To use it with authenticated requests, set the header X-Web-Mode
to TRUE
on the request. To determine whether the static website feature is enabled, contact your service provider.
For example:
ゆとり世代的に翻訳すると
「HTTPヘッダーにX-Web-Mode
to TRUE
ってつけると静的WEBとして公開できるぜベイビー」・・・と書いてある。
すげーかんたんだわ・・・