using System;

using System.Collections.Generic;

using System.IO;

using System.Linq;

using System.Diagnostics;

using System.Threading.Tasks;

​

namespace del_dublicate_mails

{

    class Program

    {

        private static Random random = new Random();

        private static Stopwatch stopwatch = new Stopwatch();

        private static int generateNamesCount = 200000;

        private static int threads = 150;

​

        static void Main(string[] args)

        {

​

            generateNames();

            generateMails();

​

            filterMails();

            //filterMailsSync();

        }

​

​

        static async void filterMailsSync()

        {

            stopwatch.Start();

            var names = new List<string>(File.ReadAllLines("name1.txt"));

            var mails = new List<string>(File.ReadAllLines("mail1.txt"));

            var output = new List<string>();

​

            Console.WriteLine("Количество имён: " + names.Count);

            Console.WriteLine("Количество mail: " + mails.Count);

​

            names = names.Distinct().ToList();

            mails = mails.Distinct().ToList();

​

            Console.WriteLine("Количество имён после очистки: " + names.Count);

            Console.WriteLine("Количество mail после очистки: " + mails.Count);

​

            // Вводим дополнительный список строк без email

            var onlymail_names = new List<string>();

            for (int i = 0; i < mails.Count; i++)

            {

                int index = mails[i].LastIndexOf(' ');

                string s = mails[i].Substring(0, index);

                onlymail_names.Add(s);

            }

​

​

            // идём по списку имён

            for (int i = 0; i < names.Count; i++)

            {

                if (i % 10000 == 0)

                {

                    Console.WriteLine("Пройдено output: " + i);

                }

                for (int j = 0; j < mails.Count; j ++)

                {

                    if (onlymail_names[j] == names[i])

                    {

                        output.Add(mails[i]);

                    }

                }

            }

​

​

            output = output.Distinct().ToList();

            Console.WriteLine("Результат output: " + output.Count);

​

            File.Delete("output.txt");

            File.AppendAllLines("output.txt", output);

​

            stopwatch.Stop();

            Console.WriteLine("filterMails time: " + stopwatch.ElapsedMilliseconds);

​

        }

​

        static async void filterMails()

        {

            var names = new List<string>(File.ReadAllLines("name1.txt"));

            var mails = new List<string>(File.ReadAllLines("mail1.txt"));

            var output = new List<string>();

​

            Console.WriteLine("Количество имён: " + names.Count);

            Console.WriteLine("Количество mail: " + mails.Count);

​

            names = names.Distinct().ToList();

            mails = mails.Distinct().ToList();

​

            Console.WriteLine("Количество имён после очистки: " + names.Count);

            Console.WriteLine("Количество mail после очистки: " + mails.Count);

​

            // Вводим дополнительный список строк без email

            var onlymail_names = new List<string>();

            for (int i = 0; i < mails.Count; i++)

            {

                int index = mails[i].LastIndexOf(' ');

                string s = mails[i].Substring(0, index);

                onlymail_names.Add(s);

            }

​

            // Разбиваем список на несколько частей

            int unit = mails.Count / threads;

            List<Task> tasks = new List<Task>();

​

            stopwatch.Start();

            // идём по списку имён

            for (int i = 0; i < names.Count; i++)

            {

                if (i % 10000 == 0)

                {

                    Console.WriteLine("Пройдено names: " + i);

                    stopwatch.Stop();

                    Console.WriteLine("tasks Part time: " + stopwatch.ElapsedMilliseconds);

                    stopwatch.Start();

                }

                for (int j = 0; j < mails.Count; j += unit)

                {

                    int ii = i;

                    int jj = j;

​

                    // Пытаемся параллельно пройти наши разбитые части и сравнить Имя 

                    var task = Task.Run(() =>

                    {

                        for (int k = jj; k < jj + unit; k++)

                        {

                            if (k> mails.Count-1)

                            {

                                break;

                            }

                            //Console.WriteLine("Пройдено onlymail_names: " + k);

                            if (onlymail_names[k] == names[ii])

                            {

                                output.Add(mails[k]);

                            }

                        }

                    });

                    tasks.Add(task);

                }

​

                 Task.WaitAll(tasks.ToArray());

                tasks.Clear();

            }

​

​

            output = output.Distinct().ToList();

            Console.WriteLine("Результат output: " + output.Count);

​

            File.Delete("output.txt");

            File.AppendAllLines("output.txt", output);

​

            stopwatch.Stop();

            Console.WriteLine("filterMails time: " + stopwatch.ElapsedMilliseconds);

​

        }

​

​

        static void generateMails()

        {

            stopwatch.Start();

            List<string> list = new List<string>();

            StreamReader sr = new StreamReader("name1.txt");

            StreamWriter sw = new StreamWriter("mail1.txt");

​

            string line = "";

​

            while ((line = sr.ReadLine()) != null)

            {

                line += " " + RandomString(5) + "@mail.ru";

                sw.WriteLine(line);

            }

​

            sr.Close();

            sw.Close();

            stopwatch.Stop();

            Console.WriteLine("generateMails time: " + stopwatch.ElapsedMilliseconds);

        }

​

​

        static void generateNames()

        {

            stopwatch.Start();

            List<string> list = new List<string>();

            StreamWriter sw = new StreamWriter("name1.txt");

​

            int k = generateNamesCount;

​

            while (k > 0)

            {

                sw.WriteLine(RandomString(5));

                k--;

            }

​

            sw.Close();

            stopwatch.Stop();

            Console.WriteLine("generateNames time: " + stopwatch.ElapsedMilliseconds);

        }

​

​

        public static string RandomString(int length)

        {

            const string chars = "ABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789";

            return new string(Enumerable.Repeat(chars, length)

              .Select(s => s[random.Next(s.Length)]).ToArray());

        }

    }

}

​