parametrizzato l'uri di mongodb e redis
aggiunto check di connessione redis aggiunti controlli errore
This commit is contained in:
parent
97eb604bdb
commit
5bdfe04d82
1 changed files with 86 additions and 50 deletions
136
llmongo.js
136
llmongo.js
|
@ -1,29 +1,59 @@
|
|||
#!/usr/bin/env node
|
||||
|
||||
var Redis = require('ioredis');
|
||||
var Redis = require('redis');
|
||||
|
||||
var MongoClient = require('mongodb').MongoClient
|
||||
|
||||
var redis, mongodb, lastlogin;
|
||||
var mongoReplicaSet = 'mongodb://mongo-1.mail.tiscali.sys:27018,mongo-3.mail.tiscali.sys:27018,mongo-5.mail.tiscali.sys:27018/dovecot';
|
||||
var redis, mongodb, lastlogin, mongoUri, redisUri;
|
||||
|
||||
var quit = function() {
|
||||
};
|
||||
var args = process.argv.slice(2);
|
||||
|
||||
redis = new Redis('redis://redis-ll.mail.tiscali.sys:6379/0');
|
||||
args.forEach(function(val, index, array){
|
||||
switch(val) {
|
||||
case '-mongo':
|
||||
if(args[index+1].search('mongodb://') >= 0) {
|
||||
mongoUri = args[index+1];
|
||||
} else {
|
||||
mongoUri = 'mongodb://'+args[index+1];
|
||||
}
|
||||
break;
|
||||
case '-redis':
|
||||
if(args[index+1].match(/\S+:\d+/)) {
|
||||
redisUri = args[index+1];
|
||||
} else {
|
||||
console.log("Wrong redis URI");
|
||||
process.exit(0);
|
||||
}
|
||||
break;
|
||||
}
|
||||
});
|
||||
|
||||
MongoClient.connect(mongoReplicaSet, function(err, db){
|
||||
mongoUri = mongoUri || 'mongodb://127.0.0.1:27018/dovecot';
|
||||
redisUri = redisUri || 'redis-ll.mail.tiscali.sys:6379';
|
||||
|
||||
console.log("Connecting redis: ", redisUri);
|
||||
|
||||
redis = Redis.createClient(redisUri.split(':')[1], redisUri.split(':')[0]) //new Redis(redisUri);
|
||||
|
||||
redis.on("error", function (err) {
|
||||
console.log("Error redis" + err);
|
||||
process.exit(-99);
|
||||
});
|
||||
|
||||
console.log("Connecting mongodb: ", mongoUri);
|
||||
|
||||
MongoClient.connect(mongoUri, function(err, db){
|
||||
if(err){
|
||||
console.log("err");
|
||||
console.log("Mongo connect error:", err);
|
||||
if (redis ) {
|
||||
redis.quit();
|
||||
redis.end();
|
||||
};
|
||||
process.exit(-1);
|
||||
process.exit(-99);
|
||||
}
|
||||
lastlogin = db.collection('lastlogin');
|
||||
|
||||
var quit = function(){
|
||||
redis.quit();
|
||||
redis.end();
|
||||
db.close();
|
||||
process.exit(0);
|
||||
}
|
||||
|
@ -34,55 +64,61 @@ MongoClient.connect(mongoReplicaSet, function(err, db){
|
|||
console.log("readUsers");
|
||||
redis.spop('llindex', function(err, user){
|
||||
if( err ) {
|
||||
console.log(err);
|
||||
console.log("Error redis spop llindex: ", err);
|
||||
quit();
|
||||
process.exit(-1);
|
||||
}
|
||||
if( user ) {
|
||||
console.log("readLogs");
|
||||
redis.llen(user, function(err, llen){
|
||||
if (err) {
|
||||
console.log("Error redis llen "+user+": ", err)
|
||||
quit();
|
||||
process.exit(-2);
|
||||
} else {
|
||||
console.log("logslen: ", llen);
|
||||
|
||||
console.log("logslen: ", llen);
|
||||
|
||||
// Legge una riga di log, la elimina da redis e la inserisce su mongo.
|
||||
// Viene eseguito n-1 volte, con n = numero di righe di log.
|
||||
var readLogs = function(lindex, user, len) {
|
||||
if (lindex == len ){
|
||||
// raggiunto il numero di righe da leggere, riparte con un altro user ( se esiste )
|
||||
console.log("Done: ", user, lindex);
|
||||
readUsers();
|
||||
} else {
|
||||
console.log("rpop log: ", user);
|
||||
redis.rpop(user, function(err, log){
|
||||
if ( err ) {
|
||||
console.log(err);
|
||||
quit();
|
||||
process.exit(-1);
|
||||
}
|
||||
|
||||
console.log("log: ", log);
|
||||
// imap:1432630259:10.39.75.60
|
||||
var slog = log.split(':');
|
||||
lastlogin.insert({
|
||||
user: user,
|
||||
protocol: slog[0],
|
||||
date: slog[1],
|
||||
ip: slog[2],
|
||||
}, function(err, r){
|
||||
if(err){
|
||||
console.log("insert error: ",err);
|
||||
redis.rpush(user, log, function(err, result){
|
||||
quit();
|
||||
});
|
||||
// Legge una riga di log, la elimina da redis e la inserisce su mongo.
|
||||
// Viene eseguito n-1 volte, con n = numero di righe di log.
|
||||
var readLogs = function(lindex, user, len) {
|
||||
if (lindex == len ){
|
||||
// raggiunto il numero di righe da leggere, riparte con un altro user ( se esiste )
|
||||
console.log("Done: ", user, lindex);
|
||||
readUsers();
|
||||
} else {
|
||||
console.log("rpop log: ", user);
|
||||
redis.rpop(user, function(err, log){
|
||||
if ( err ) {
|
||||
console.log("Error redis rpop "+user+": ",err);
|
||||
quit();
|
||||
process.exit(-3);
|
||||
} else {
|
||||
// Salvato il log su mongo, legge il successivo.
|
||||
console.log("Saved: ", log, lindex);
|
||||
readLogs(lindex+1, user, len);
|
||||
console.log("log: ", log);
|
||||
// imap:1432630259:10.39.75.60
|
||||
var slog = log.split(':');
|
||||
lastlogin.insert({
|
||||
user: user,
|
||||
protocol: slog[0],
|
||||
date: new Date(slog[1]+"000"),
|
||||
ip: slog[2],
|
||||
}, function(err, r){
|
||||
if(err){
|
||||
console.log("insert error: ",err);
|
||||
redis.rpush(user, log, function(err, result){
|
||||
quit();
|
||||
process.exit(-4);
|
||||
});
|
||||
} else {
|
||||
// Salvato il log su mongo, legge il successivo.
|
||||
console.log("Saved: ", log, lindex);
|
||||
readLogs(lindex+1, user, len);
|
||||
}
|
||||
});
|
||||
}
|
||||
});
|
||||
})
|
||||
})
|
||||
};
|
||||
};
|
||||
};
|
||||
}
|
||||
|
||||
// Legge il primo record per lo user "user" per llen-1 volte.
|
||||
readLogs(0, user, llen-1);
|
||||
|
|
Loading…
Add table
Reference in a new issue