2014-10-01から1ヶ月間の記事一覧
rubyでimgurに定期的に画像をアップロードするボットを作っていたが SSL3 うんたらかんたらと英語でエラーが表示されて投稿できなくなった。 ワケガワカラナイヨ状態だったが 「とりあえず bundle updateしときゃいいだろ」 とbundle updateしてhttpclientモ…
makiちゃんを使って実際にTwitter Streaming APIを利用してデータを取得してみる。 AKB428/maki AKB428/maki · GitHub とりあえずCSVにデータを保存するだけなので、sakuraサーバーのメモリ2GのVPSで動作させる。 フィルタへのキーワードは240程度（MAX４０…
とりあえず既存のTwitter画像収集ツールをコピーして、ブランチ切ってHBaseロジックを足したものを作成。 OSXにはHBaseはサクっとインストールできる。 hadoop - Mac OSXでHBaseを使う - Qiita hadoop - Mac OSXでHBaseを使う - Qiita AKB428/maki · GitHub …
やりたい。 設計としては TwitterからStreamingAPIでかたっぱしからデータを抜き出し - CSV - Fluend/Flume - HBase の３アプローチのいずれかでデータを保存。 CSV/Fluend/FulmeのデータはHDFS->Hiveに格納。 HiveのデータはHiveかImpalaで解析。 とりあえ…
