080912stanakaプレゼン

080912stanakaプレゼン

プレゼンテーション

前置き

インフラチームとは

はてなサービスが動作しているインフラの構築・改善・運用をしているチームです

メンバー紹介

stanaka

f:id:picora:20080801103221j:image

hideoki

f:id:jkontan:20080815182754j:image:h240

maoe

f:id:picora:20080801103223j:image

  • 期待の若手
  • Haskeller

marqs

f:id:jkontan:20080818152639j:image:h240

  • ハード大好き
    • PSPのケースの成形は今一ですよね

hxmasaki

f:id:picora:20080801103222j:image

  • ロボコン
  • 手製HDDマウンタ

rsakamot

f:id:jkontan:20080821144927j:image:h240

  • もくもくと
  • 購買職人

今回の話

インフラとは関係ありません

はてなダイアリー全文検索

screenshot

インデックス作成

  • DBからデータの吸い出し
  • Hadoop
  • 転置インデックスとか、Trieとか
  • 語彙空間
    • はてなキーワード
    • Wikipedia
    • わかち書きで全部
    • N-gramで全部
  • ランキング
    • 基本は日付順

インデックス利用

  • 検索結果をキャッシュに載せる

サービスとの結合

  • キャッシュを引いて、html整形

スケジュール

  • 来週
    • 一通り動かす
  • 再来週
    • 品質・精度向上

まとめ

  • 大規模サービス
  • 大規模データ
  • 大規模クラスタ
  • エンジニアリングの醍醐味