92 lines
2.3 KiB
Go
92 lines
2.3 KiB
Go
|
// consumer
|
||
|
|
package main
|
||
|
|
|
||
|
|
import (
|
||
|
|
"fmt"
|
||
|
|
"github.com/garyburd/redigo/redis"
|
||
|
|
"log"
|
||
|
|
"strconv"
|
||
|
|
"strings"
|
||
|
|
"time"
|
||
|
|
)
|
||
|
|
|
||
|
|
func consumer() {
|
||
|
|
var date int64
|
||
|
|
var lastval string
|
||
|
|
var conn = dbs.rdb.Get()
|
||
|
|
defer conn.Close()
|
||
|
|
|
||
|
|
for {
|
||
|
|
user := <-msgs
|
||
|
|
// Estrae l'ultimo login dell'utente 'user'
|
||
|
|
val, err := redis.String(conn.Do("LINDEX", user, "-1"))
|
||
|
|
if err != nil {
|
||
|
|
if opts.Debug {
|
||
|
|
log.Printf("LINDEX error: %+v - %s\n\r", err, val)
|
||
|
|
fmt.Printf("LINDEX error: %+v - %s\n\r", err, val)
|
||
|
|
}
|
||
|
|
// se ha trovato user e righe di login
|
||
|
|
if lastval != "" {
|
||
|
|
// reinserisce l'ultimo login e imposta il ttl su Redis
|
||
|
|
retval, _ := conn.Do("lpush", user, lastval)
|
||
|
|
ttl, _ := conn.Do("expire", user, opts.RedisTTL.Seconds())
|
||
|
|
if opts.Debug {
|
||
|
|
log.Println("LPUSH retval: ", retval, ttl, user, lastval, opts.RedisTTL.Seconds())
|
||
|
|
fmt.Println("LPUSH retval: ", retval, ttl, user, lastval, opts.RedisTTL.Seconds())
|
||
|
|
}
|
||
|
|
}
|
||
|
|
// break
|
||
|
|
continue
|
||
|
|
}
|
||
|
|
// se la riga di login e' vuota
|
||
|
|
if val == "" {
|
||
|
|
log.Println("Login empty: ", user)
|
||
|
|
retval, _ := conn.Do("lrem", user, "-1", val)
|
||
|
|
log.Println("LREM retval: ", user, val, retval)
|
||
|
|
continue
|
||
|
|
}
|
||
|
|
sval := strings.Split(val, ":")
|
||
|
|
// se il formato della riga di login non e' corretto
|
||
|
|
if sval[1] == "" {
|
||
|
|
log.Println("Login format error: ", val, user)
|
||
|
|
retval, _ := conn.Do("lrem", user, "-1", val)
|
||
|
|
log.Println("LREM retval: ", user, val, retval)
|
||
|
|
continue
|
||
|
|
}
|
||
|
|
// se il timestamp della riga di login non e' corretto
|
||
|
|
date, err = strconv.ParseInt(sval[1], 10, 64)
|
||
|
|
if err != nil {
|
||
|
|
log.Printf("Date Error: %+v - %s\n", err, user)
|
||
|
|
continue
|
||
|
|
}
|
||
|
|
ml := MongoLogin{
|
||
|
|
User: user,
|
||
|
|
Protocol: sval[0],
|
||
|
|
Ip: sval[2],
|
||
|
|
Date: time.Unix(date, 0),
|
||
|
|
}
|
||
|
|
ind := Index{
|
||
|
|
User: user,
|
||
|
|
Date: time.Unix(date, 0),
|
||
|
|
}
|
||
|
|
// inserisce il login su Mongodb
|
||
|
|
count++
|
||
|
|
_, err = dbs.ll.Upsert(ind, ml)
|
||
|
|
if err != nil {
|
||
|
|
log.Printf("Insert error: %+v\n", err)
|
||
|
|
// se l'errore non e' "duplicate key error" salta al prossimo senza cancellare niente
|
||
|
|
if !strings.Contains(err.Error(), "E11000") {
|
||
|
|
errCount += 1
|
||
|
|
continue
|
||
|
|
}
|
||
|
|
}
|
||
|
|
// cancella da Redis la riga di login inserita
|
||
|
|
retval, err := conn.Do("lrem", user, "-1", val)
|
||
|
|
if opts.Debug {
|
||
|
|
log.Println("LREM retval: ", retval, user, val)
|
||
|
|
fmt.Println("LREM retval: ", retval, user, val)
|
||
|
|
}
|
||
|
|
lastval = val
|
||
|
|
}
|
||
|
|
}
|