A new system for class imbalance issue of intrusion detection inbig data context

Abstract Big data comes with new challenges for network intrusion detection as it provides large-scale data with a variety of sophisticated attacks (e.g., malware, advanced persistent threats APTs, zero-day attacks, etc.). For that, the demand for new tools and approaches specialized in big data analytics is increasing. In addition, The false alarm rate of anomaly-based intrusion detection systems (IDS) is a major concern. The majority of the existing methods for large-scale network intrusion detection reach a high false-positive rate (FPR) due to the class imbalance of large-scale intrusion datasets, which can affect the network. Subsequently, the critical challenge is to reduce FPR with the lowest decrease in true-positive rate (TPR) to retain detection quality at a feasible level. To face these challenges, we have proposed a new network intrusion detection system for big network intrusion based on the negative selection principle and big data frameworks. One of the promising negative selection methods of the artificial immune system (AIS) for network intrusion detection is the variable-sized detector algorithm. Unfortunately, this algorithm cannot analyze big datasets, because the generation of the radius of each detector is related to the self-space, and it will be more complex when the self-space is too big. Furthermore, the search for new detectors is done randomly, and the generated detectors do not have maximum coverage of the self and non-self space. To confront the shortcomings of this algorithm, we have proposed an extended V-detector algorithm that is built using clonal selection and fuzzy rules, and it is implemented on Apache Spark. The proposed algorithm is scalable and more efficient when applied to large-scale R´esum´e Le Big Data pr´esente de nouveaux d´efis de d´etection des intrusions sur les r´eseaux, car il fournit des donn´ees `a grande ´echelle avec une vari´et´e d’attaques sophistiqu´ees (par exemple, logiciels malveillants, menaces persistantes avanc´ees, APT, Zero Day attaques, etc). Pour cela, la demande de nouveaux outils et approches sp´ecialis´es dans l’analyse du Big Data est en augmentant. De plus, le taux de fausses alarmes des syst`emes de d´etection d’intrusion (IDS) bas´es sur les anomalies est une pr´eoccupation majeure. La majorit´e des m´ethodes existantes pour la d´etection des intrusions sur les r´eseaux `a grande ´echelle atteindre un taux de faux positifs (FPR) ´elev´e en raison du d´es´equilibre de classes des ensembles de donn´ees d’intrusion `a grande ´echelle, ce qui peut affecter le r´eseau. Par la suite, le d´efi crucial consiste `a r´eduire le FPR avec la diminution la plus faible du taux de vrais positifs (TPR) afin de conserver la qualit´e de d´etection `a un niveau r´ealisable. Pour faire face `a ces d´efis, nous avons propos´e un nouveau syst`eme de d´etection d’intrusion r´eseau pour les grands r´eseaux bas´ee sur le principe de s´election n´egative et les frameworks du big data. L’un des prometteurs m´ethodes de s´election n´egative du syst`eme immunitaire artificiel (AIS) pour la d´etection d’intrusion dans un r´eseau est l’algorithme du d´etecteur `a taille variable. Malheureusement, cet algorithme ne peut pas analyser de grands ensembles de donn´ees, car la g´en´eration du rayon de chaque d´etecteur est li´ee `a l’espace du soi, et ce sera plus complexe lorsque l’espace du soi est trop grand. De plus, la recherche de nouveaux d´etecteurs est effectu´ee de mani`ere al´eatoire, et les d´etecteurs g´en´er´es n’ont pas une couverture maximale du soi et du non-soi espace. Pour rem´edier aux lacunes de cet algorithme, nous avons propos´e un d´etecteur V-detecteur algorithme construit `a l’aide de la s´election clonale et de r`egles floues, et impl´ement´e sur Apache Spark. L’algorithme propos´e est ´evolutif et plus efficace lorsqu’il est appliqu´e `a des ensembles de donn´ees d´es´equilibr´es `a grande ´echelle. Le framework propos´e est impl´ement´e dans un cluster enti`erement distribu´e d’Apache Spark workers et ´evalu´es sur des ensembles de donn´ees de r´ef´erence, un vaste ensemble de donn´ees `a jour et des ensembles de donn´ees synth´etiques `a grande ´echelle. Les r´esultats r´ev`elent que l’algorithme propos´e surpasse les lignes de base de pointe et atteint une pr´ecision de d´etection ´elev´ee et des taux positifs tr`es faibles avec des taux de d´etection comparables. De plus, cela am´eliore l’´evolutivit´e et le temps d’ex´ecution, qui sont essentiels pour l’analyse de la d´etection des intrusions en temps r´eel.