using System;

using System.IO;

using System.Net;

using HtmlAgilityPack;

using System.Collections.Generic;

​

//Класс для хранения данных о ТС

public class TVehicle {

    public string Type { get; set; }                            //Тип ТС    

    public Dictionary<string, string> Mark { get; set; }        //Марка ТС      //Св-ва ТС, где             

    public Dictionary<string, string> Model { get; set; }       //Модель ТС     //'<string' - Марка, Модель, Кузов, 

    public Dictionary<string, string> CarBody { get; set; }     //Кузов ТС      //'string>' - Ссылка для перехода на след. web-страницу

    public static List<string> typesTV = new List<string>();                                            //Категории ТС

    public static List<TVehicle> passengerCars = new List<TVehicle>();                  //Легковые автомобили

    public static List<TVehicle> commercialVehiclesTrucksBuses = new List<TVehicle>();  //Коммерческий транспорт, грузовые автомобили и автобусы

    public static List<TVehicle> motoAtvScuters = new List<TVehicle>();                 //Мотоциклы, ATV и скутеры

    public TVehicle() {

        Type = "Default Type";

        Mark = new Dictionary<string, string>();

        Model = new Dictionary<string, string>();

        CarBody = new Dictionary<string, string>();

    }

}

​

//Класс для получения общего(Main) контента по url

public class MainContent {

    //Главная страница списка каталогов

    private static string mainPageURL = "http://www.elcats.ru/";

    //Теги для поиска в HTML структуре

    private static string[] selectedNodes = {"//ul[@class='models']", //Все марки

                                            "//strong",               //Наименование категории транспорта 

                                            "//a[@class='menu1']"};   //Тег для поиска по типам ТС

    //Получение общего контента по url

    private static string GetResponseFrom(string pageURL) {

        //Создание веб-клиента

        WebClient wbClient = new WebClient();  

        //Получение потока содержащего контент, возвращаемый сервером

        Stream mainResponse = wbClient.OpenRead(pageURL);  

        //Открытие потока, используя StreamReader для простого доступа

        StreamReader mainReader = new StreamReader(mainResponse);

        //Чтение контента

        string mainResponseFromServer = mainReader.ReadToEnd();

        //Закрытие потоков

        mainReader.Close();

        mainResponse.Close();

        mainResponse.Close();  

        return mainResponseFromServer;

    }

    //Получение полной ссылки для перехода на следующую страницу

    //Если '/audi/', то 'http://www.elcats.ru/' + 'audi/'

    //Иначе http://www.japancats.ru/Daihatsu/

    private static string GetFullLinkToNextPage(string pieceLink) {

        char ch = '/';

        string fullLink = "";

        if (pieceLink.IndexOf(ch) == 0) {

            fullLink = String.Concat(mainPageURL, pieceLink.Substring(1));

        } else {

            fullLink = pieceLink;

        }

        return fullLink;

    }

    //Поиск и запись текстовой структуры главной страницы каталога (Заголовки, Марки АМ, Ссылки)

    private static void GetHeadersAndMarkFrom(string response) { 

        //Создание переменной HTML документа

        var htmlDoc = new HtmlDocument();

        //Преобразование полученного в методе GetResponseFrom(string pageURL) контента в HTML документ

        htmlDoc.LoadHtml(response);

        //Для пропуска записи w**.***s*.*u

        int counter = 0;

        foreach (string selectNode in selectedNodes)

        {

            foreach (HtmlAgilityPack.HtmlNode node in htmlDoc.DocumentNode.SelectNodes(selectNode))

            {               

                TVehicle TVehicle = new TVehicle();

                if (selectNode == selectedNodes[2] && node.Attributes["href"].Value.Contains("/truck/")) {

                    TVehicle.Mark.Add(node.InnerText, GetFullLinkToNextPage(node.Attributes["href"].Value));

                    TVehicle.Type = TVehicle.typesTV[1];

                    TVehicle.commercialVehiclesTrucksBuses.Add(TVehicle);

                }

                else if (selectNode == selectedNodes[2] && node.Attributes["href"].Value.Contains("/moto/")) {

                    TVehicle.Mark.Add(node.InnerText, GetFullLinkToNextPage(node.Attributes["href"].Value));

                    TVehicle.Type = TVehicle.typesTV[2];

                    TVehicle.motoAtvScuters.Add(TVehicle);

                }

                else if (selectNode == selectedNodes[1]) {

                    TVehicle.typesTV.Add(node.InnerText);

                }

                else if (selectNode == selectedNodes[2]){

                    if (counter != 0) {

                        TVehicle.Mark.Add(node.InnerText, GetFullLinkToNextPage(node.Attributes["href"].Value));

                        TVehicle.Type = TVehicle.typesTV[0];

                        TVehicle.passengerCars.Add(TVehicle);

                    }

                    counter++;

                }

            }

        }

    }

    //Вывод инцормации с MainPage в консоль

    public static void OutputToConsoleDataFromMainPage() {

        if ((TVehicle.typesTV.Count != 0) && (TVehicle.motoAtvScuters.Count != 0) &&

                                 (TVehicle.commercialVehiclesTrucksBuses.Count != 0) && (TVehicle.passengerCars.Count != 0)) {

        Console.WriteLine("{0}:", TVehicle.typesTV[2]);

        foreach (TVehicle selectNode in TVehicle.motoAtvScuters)

        {

            foreach (KeyValuePair<string,string> inNode in selectNode.Mark) {

                Console.WriteLine(inNode.Key + ", Link: " + inNode.Value);

            }

        }

        Console.WriteLine("\n{0}:", TVehicle.typesTV[1]);

        foreach (TVehicle selectNode in TVehicle.commercialVehiclesTrucksBuses)

        {

            foreach (KeyValuePair<string,string> inNode in selectNode.Mark) {

                Console.WriteLine(inNode.Key + ", Link: " + inNode.Value);

            }

        }

        Console.WriteLine("\n{0}:", TVehicle.typesTV[0]);

        foreach (TVehicle selectNode in TVehicle.passengerCars)

        {

            foreach (KeyValuePair<string,string> inNode in selectNode.Mark) {

                Console.WriteLine(inNode.Key + ", Link: " + inNode.Value);

            }

        }

        } else {

            Console.WriteLine("Ошибка!\nВозможно используемые списки пусты.");

        }

    }

​

    //Результирующий метод по главной странице

    //Получение и запись наименований категорий и марок АМ

    public static void GetAndWriteDataFromMainPage() {

        string response = MainContent.GetResponseFrom(mainPageURL);

        MainContent.GetHeadersAndMarkFrom(response);

    }

    //Использование:

    //Чтение и запись необходимого контента с главной страницы

    //MainContent.GetAndWriteDataFromMainPage();

    //Вывод заголовков и марок ТС в консоль

    //MainContent.OutputToConsoleDataFromMainPage();

}

​

public class Program

{

    public static void Main()

    {

        MainContent.GetAndWriteDataFromMainPage();

        MainContent.OutputToConsoleDataFromMainPage();

        //var asdf1 = "http://www.google.com/";

        //var asdf2 = System.Web.HttpUtility.UrlEncode(asdf1); //http%3a%2f%2fwww.google.com%2f 

        //var asdf3 = System.Web.HttpUtility.UrlDecode(asdf2); //http://www.google.com/

    }

}