Технические аспекты знакоства с девушкой в Интернете

Технические аспекты знакомства с девушкой в

интернетеАлексей Найден, Алексей Носков

Evil Martians

воскресенье, 16 декабря 12 г.



Wannafun.ru• Онлайн speed dating

• Знакомство только с теми, кто в сети• Поток лиц aka «матрица»

• 3 минуты чата для принятия решения

• 48% / 52%


Проект в цифрах

• 500 000 пользователей

• 2000 онлайн

• 2-3 события в секунду на юзера

• Более 100 http-запросов в минуту на юзера

• Более 5 000 000 чатов

• Более 45 000 000 сообщений


На чем всё работает

ErlangEventMachine

PostgresRails

RedisResque



Онлайн-взаимодействия

• Знакомства: входящие/исходящие, сообщения• Контакт-лист: личные сообщения, онлайн/оффлайн

• Уведомления


Взаимодействие с браузеромPusher (http://pusher.com/)

Push-канал к клиенту

Нет серверной логики

Faye (http://faye.jcoglan.com/)

Pub/sub

Нет серверной логики

Socket.io (http://socket.io/)

Абстракция над WebSocket, Flash и Polling

Произвольная серверная логика


http://pusher.com/

http://pusher.com/

http://faye.jcoglan.com/

http://faye.jcoglan.com/

http://socket.io/

http://socket.io/

Серверная реализация socket.io• NodeJS

• На тестах падала VM — epic fail

• EventMachine

• Не было актуальной версии• Erlang

• Не было актуальной версии


Что хорошего в Erlang

• Нет коллбеков - простой последовательный код• Нет разделяемого состояния, структуры данных неизменяемы - concurrency проще

• Иерархия супервизоров - высокая устойчивость• Прозрачная распределенность• Бесшовный деплой


Архитектура чат-сервера

• Соединения обслуживаются Cowboy

• Каждая сессия - отдельный процесс• Вспомогательные процессы для работы с БД, Redis


Начало знакомства


Одновременный ответ


Синхронная реализация



Очереди задач• Resque

• Быстро работает, использует Redis

• Удобный Web UI

• Redis полезен и для других задач:

• Хранение счетчиков• Синхронизация состояния• Кэширование


Уникальные задачи

• Сохранение сообщений• Прогрев кэша• Расчет статистики

Можно использовать Redis для блокировки


Обычный код

Реализация: resque-lock (<= 1.0.0)

def perform return unless redis.setnx("lock", true)

# do task actionsensure redis.del "lock"end



Правильный код

Реализация: resque-lock (>= 1.1.0)

http://redis.io/commands/setnx

def perform now = Time.now.to_i timeout = now + 60

unless redis.setnx("lock", timeout) # Lock is active return if now <= redis.get("lock").to_i # Lock is not expired return if now <= redis.getset("lock", timeout).to_i end

# do task actions 11

redis.del "lock"end





Хорошие индексыХорошие = Ускоряющие необходимые запросы

create_table 'messages' do |t| t.references 'source' t.references 'destination' t.string 'body' t.timestamp 'created_at' t.timestamp 'read_at'end

# History of messages received from given userSELECT * FROM messages WHERE destination_id = ? AND source_id = ?ORDER BY created_at DESC LIMIT 10

# Unread messages of userSELECT * FROM messages WHERE destination_id = ? AND read_at IS NULLORDER BY created_at DESC LIMIT 10


Плохие индексы# History of messages received from given useradd_index 'messages', ['source_id', 'destination_id']

# Unread messages of useradd_index 'messages', ['destination_id']

Limit -> Sort Sort Key: created_at Sort Method: top-N heapsort Memory: 25kB -> Index Scan using messages_between_users on messages Index Cond: ((source_id = ?) AND (destination_id = ?))Total runtime: 6.451 ms

Limit -> Sort Sort Key: created_at Sort Method: quicksort Memory: 26kB -> Bitmap Heap Scan on messages Recheck Cond: (destination_id = ?) Filter: (read_at IS NULL) -> Bitmap Index Scan on messages_unread Index Cond: (destination_id = ?)Total runtime: 123.983 ms


Отличные индексы!# History of messages received from given useradd_index 'messages', ['source_id', 'destination_id', 'created_at'], :order => { 'created_at' => 'desc' }

# Unread messages of useradd_index 'messages', ['destination_id', 'created_at'], :order => { 'created_at' => 'desc' },:where => 'read_at IS NULL'

Limit -> Index Scan using messages_between_users on messages Index Cond: ((source_id = ?) AND (destination_id = ?))Total runtime: 0.209 ms

Limit -> Index Scan using messages_unread on messages Index Cond: (destination_id = ?)Total runtime: 0.183 ms


Массивы и hstore

• Как сериализация, только лучше• Могут индексироваться


Размер таблицcreate_table 'users_usual' do |t| t.boolean 'flag1' ... t.boolean 'flag20'end

create_table 'users_hstore' do |t| t.hstore 'flags' # gem 'activerecord-postgres-hstore'end

create_table 'users_array' do |t| t.integer_array 'flags' # gem 'activerecord-postgres-array'end

5 000 000 записей, флаги независимы, P[flag=yes] = 0.01Usual table size: 249 MBHstore table size: 219 MBArray table size: 257 MB


ИндексированиеПоля:

Seq Scan on users_usual Filter: (flag2 AND flag7 AND flag13)Total runtime: 799.959 ms

Hstore:Bitmap Heap Scan on users_hstore Recheck Cond: (flags @> '2=>y, 7=>y, 13=>y'::hstore) -> Bitmap Index Scan on users_hstore_flags Index Cond: (flags @> '2=>y, 7=>y, 13=>y'::hstore)Total runtime: 350.778 ms

Массив:Bitmap Heap Scan on users_array Recheck Cond: (flags @> '{2,7,13}'::integer[]) -> Bitmap Index Scan on users_array_flags Index Cond: (flags @> '{2,7,13}'::integer[])Total runtime: 48.118 ms


Кэширование последовательностей

• Выбираем последовательность на несколько шагов вперед

• Кэшируем идентификаторы в Redisid = redis.lpop(cache_key) # Get next value from cache

unless id # No cached value ids = connection.select_values some_heavy_scope.select('id').to_sql id = ids.shift

redis.multi do |r| ids.each{ |id| r.rpush cache_key, id } r.expire cache_key, 7200 # Expire cache after 2 hours endend



Кэширование матрицы• Проблема• Различные фильтры: мин/макс возраст

(от 16 до 70) + пол

• 3080 возможных фильтров

• (1 + 2 + … + 55) * 2 = 55 * 56

• Решение: аппроксимация фильтров


Кэширование матрицы• Проблема• Различные фильтры: мин/макс возраст

(от 16 до 70) + пол

• 3080 возможных фильтров

• (1 + 2 + … + 55) * 2 = 55 * 56

• Решение: аппроксимация фильтров


Кэширование с аппроксимацией• Возраст округляется до кратного X (= 4)

• Минимальный - вниз, максимальный - вверх• 210 фильтров

• (1 + 2 + … + 14) * 2 = 14 * 15

• Кэшируется порция заведомо большего размера• После извлечения из кэша выкидываются лишние записи


Обработка фотографий

• 200–300 регистраций в минуту, половина грузит JPG на 5 мегабайт

• Первым делом уменьшайте размер входящих изображений

• CarrierWave лучше отделён от модели, чем Paperclip, обратно совместим


Обработка фотографий

• RMagick MiniMagick не хранит в себе временного файла, использует память отдельного процесса, не поддерживает создание изображений

• GraphicsMagick — форк ImageMagick, ориентированный на стабильность и производительность

• Прирост в скорости до 2-3 раз, но это не серебрянная пуля: меньше фич, иногда производительность страдает


Отправка СМС

• SMPP – открытый протокол, поддерживаемый большинством SMS-шлюзов

• Бинарный, за счет чего выше скорость передачи и footprint воркеров

• github.com/raykrueger/ruby-smpp – реализация для EventMachine


https://github.com/raykrueger/ruby-smpp

https://github.com/raykrueger/ruby-smpp

Тестирование

• Модульное• Ruby — RSpec

• Erlang — EUnit

• Интеграционное?• Нагрузочное?


RSpec для Rails и Erlang• Запуск Erlang при создании сессии

• Отдельный поток с EM, обслуживающий все соединения

• Socket.io поверх em-websocket-client

• Очередь входящих сообщенийs = open_session_with_chat

# Delegates to ActionDispatch::Integration::Sessions.post "/users/sign_in", email: '[email protected]', pass: '12345'

# Wait for a message (with timeout)s.receive(:connect).should be

# Send messages.send_event :contact_message, contact_id, text: "Hi!"


Боты-тестеры

• Нагрузочное тестирование чата• Определение проблем с concurrency

• Помощь при ручном тестировании

• Настраиваемое поведение


Реализация ботов

• Акторы на основе EventMachine

• Socket.io поверх em-websocket-client

• Набор "шаблонов поведения"class Caller < Wannafun::Actor behave :get_matrix behave :accept_calls behave :call_to_users behave :talk_in_callsend

EventMachine.run do Wannafun::ActorSet.new(Caller, options).start!end


Как ловить JS ошибки на клиенте

• В сложных приложениях — сложные сценарии и граничные случаи

• Обратная связь пользователь - разработчик. Максимум информации собирается автоматически

• Echoes.js (github.com/kossnocorp/echoes). На клиенте собираем логи, фильтруем важные и прикладываем к запросу


https://github.com/kossnocorp/echoes

https://github.com/kossnocorp/echoes

Echoes.jsecho.log('Test', 'logging', namespace: 'app.lol_module.45')echo.log(['trololo'])

[ { "timestamp": 1341468018606, "body": ["Test", "logging"], "namespace": "app.lol_module.45" }, { "timestamp": 1341468018606, "body": [["trololo"]], "namespace": "" } ]

echo.logs.grep 'some'#=> [{ body: ['Something'] }, { body: ['I want some LSD.']}]


Мониторинг приложения

• Длины очередей в Resque

• Кол-во несохраненных сообщений• Кол-во знакомств в разных состояниях• Длина очереди модерации


Head-huntung

Wannafun: [email protected]

Evil Martians: [email protected]


mailto:[email protected]




Алексей Носков@alno

github.com/[email protected]

Алексей Найден@alexnayden

github.com/[email protected]

ВПРСВ НТ?

ЗБС!

Все изображения являются собственностью их автороввоскресенье, 16 декабря 12 г.





Technology

Технические аспекты знакоства с девушкой в Интернете