Python. Создание веб бота (WebScrapping) [1]
Предисловие.
Веб-бот — это программа, которая автоматизирует ваши действия в интернете.
В этой статье, я объясню общий принцип создания ботов на Python, применив полученные знания, вы сможете создать бота который:
Создаем первого бота на Selenium.
Selenium — это библиотека для автоматизации действий в браузере.
Данный способ подойдет для любого сайта, однако, за все нужно платить. Selenium запускает браузер, отъедая огромный запас оперативной памяти. Используйте его только тогда, когда нужно выполнить JS код на странице.
Первым делом нужно установить библиотеку, для этого введите в консоли:
Далее, установите веб-драйвер под браузер Firefox отсюда. Также, необходимо установить браузер Mozilla Firefox, если еще не установлен.
Теперь напишем простейшего бота. Для этого, напишите следующий python скрипт.
Код скрипта описан в комментариях.
Далее, переместите файл скрипта, в одну папку с веб-драйвером geckodriver.exe
И запустите python скрипт. У вас должен открыться браузер.
В адресной строке видна иконка робота, это значит, что браузером управляет программа.
Хорошо, бот создан, но он бесполезен. Единственное на что он способен, это заходить на сайт. Давайте добавим ему новых функций. Например, сделаем так, чтобы бот лайкал посты на сайте.
Бот лайкающий посты на сайте.
Последовательность действий у нас следующая.
Первый пункт мы уже сделали, перейдем ко второму.
Пройтись по каждому из постов.
На этом этапе, нужно понимать разметку HTML.
Зайдите на сайт, и нажмите кнопку F12.
У вас откроются инструменты разработчика. Изучив разметку, мы понимаем, что все посты находятся в теге article.
Сейчас нам нужно получить ссылку, на каждый пост. Для этого будем использовать этот css селектор.
Данный селектор указывает:
Теперь, дополним бота.
Разберем новую функцию.
Данная функция ищет элементы по css селектору. В результате своей работы, она возвращает массив элементов.
В-общем, мы из этого массива, достали первый элемент, и при помощи функции get_attribute(), получили значение атрибута href (ссылка на пост).
И вывели его на экран.
Запустите скрипт, в консоли должна появится ссылка на первый пост.
Если закинуть массив элементов в цикл, то получится извлечь ссылки на все посты.
Отлично, ссылки на все посты получены, осталось всем этим постам, поставить лайк.
Нажать кнопку лайк, если она не нажата
Сначала перекопируем наши ссылки в отдельный массив. Замените это:
Далее напишем код, отвечающий за нажатие кнопки лайк.
Разберем данные строки.
Данная строка ищет кнопку с помощью css_селектора, и получает строку с названиями классов нашей кнопки.
Далее, при помощи функции find (стандартная функция python), мы получаем индекс подстроки ‘wp_ulike_btn_is_active‘, если не удалось найти подстроку, функция find возвращает -1, этим мы и воспользовались в нашем условии. Т.е. если атрибут ‘class‘ не содержит подстроку ‘wp_ulike_btn_is_active‘, то.
Кликаем по кнопке лайк.
Осталось закрыть браузер, делается это с помощью функции quit().
Бот завершен, запустите скрипт, и наслаждайтесь автоматизацией.
Делаем браузер невидимым
Бот работает и все-бы ничего, но своим окном бразуера, он перекрывает все остальные окна. К счастью, у Firefox есть headless режим, позволяющий пользоваться функциями бразура, не открывая окно браузера.
Добавьте следующий код перед инициализацией браузера:
Здесь, мы переопредили настройки браузера, осталось передать их, нашему браузеру.
13 сервисов, которые помогут создать чат-ботов для сайтов, мессенджеров и соцсетей
Чат-боты автоматизируют процессы в маркетинге, продажах и поддержке клиентов. С их помощью можно привлекать и квалифицировать лиды, консультировать пользователей, продавать и принимать платежи без участия человека. Однако разработка индивидуального решения стоит немало. Небольшим бизнесам такое не по карману. Справиться с этой проблемой помогают конструкторы чат-ботов – онлайн-сервисы и десктопные программы, в которых можно собрать своего бота из частей, как из деталей Lego. И устроены они не сложнее, чем конструкторы сайтов.
В статье мы собрали лучшие по нашему мнению сервисы для создания чат-ботов. Изучайте и выбирайте тот, что подойдет под ваши задачи. В конце — сравнительная таблица с ключевыми параметрами.
Чат-бот сейчас – трендовый инструмент, который используется для решения все большего количества задач в самых разных нишах. Неудивительно, что конструкторов для создания этих встраиваемых приложений на рынке уже несколько десятков.
Отбирая инструменты для обзора, мы ориентировались на важные для использования конструктора критерии.
Визуализация процесса. Чтобы процесс создания бота не превратился в сложный квест, интерфейс конструктора и визуальный редактор должны быть интуитивно понятны.
Цена. У каждой компании свои возможности и понимание, какую сумму целесообразно платить за тот или иной инструмент. Поэтому для каждого конструктора мы прописали цену, за исключением тех, где она рассчитывается индивидуально.
CRM. Пользователей, с которыми взаимодействовал бот, важно собирать в базу, чтобы продвигать их дальше по воронке продаж. По каждому конструктору мы проверили возможность ведения базы клиентов, наличие встроенной CRM или интеграций со сторонними.
Каналы коммуникации. Удобно, когда собранного один раз бота можно использовать и на сайте, и в соцсетях и в мессенджерах. Поэтому в подборку попали конструкторы, которые работают с несколькими платформами.
Простота использования. Одно из основных преимуществ конструкторов заключается в том, что они позволяют создать и запустить бота быстро. Поэтому в нашей подборке нет сервисов, на освоение которых придется потратить несколько недель или привлекать программиста.
Aimylogic – конструктор чат-ботов на базе машинного обучения и искусственного интеллекта. Также в сервисе можно создавать сценарии для умных обзвонов, голосовых ботов и навыки для голосовых ассистентов.
Платформы: WhatsApp, Telegram, Viber, Facebook, ВКонтакте, Instagram, онлайн-чаты, голосовые помощники.
Цена: от 990 руб./мес.
BroBot позиционируется как инструмент автоматизации работы в соцсетях. Помимо чат-ботов здесь можно создавать задания для постинга, приглашений в друзья и сообщества, лайков, репостов и т. д. Браузерного приложения нет, чтобы воспользоваться функционалом, придется скачать программу на десктоп.
Платформы: ВКонтакте, Одноклассники, Instagram, Facebook, Mamba, LovePlanet.
Цена: от 479 руб./мес.
Flow XO – конструктор чат-ботов под разные бизнес-задачи: для приветствия посетителей сайта, сбора и квалификации лидов, ответов на частые вопросы и т. д. Работает в браузере и интегрируется с сотней других сервисов и приложений, включая Trello, Gmail, Zoho CRM, Basecamp 2, MailChimp и т. д.
Платформы: Facebook Messenger, Telegram, Twilio SMS, Clack, сайт.
Цена: от 19 долл./мес.
Чат-боты в BotKits создаются на основе дерева сценариев, которое включает основные запросы и варианты развития диалога. Работает в браузере. Позволяет отслеживать статистику взаимодействия с ботом. Также в сервисе можно создавать триггерные рассылки по базе пользователей, которые взаимодействовали с чат-ботом, и работать с этой базой во встроенной мини-CRM.
Платформы: ВКонтакте, Telegram, Facebook, Viber, Одноклассники, Яндекс.Алиса. Обещают добавить возможность подключить бота к сайту.
Цена: от 390 руб./мес.
Botmother – конструктор чат-ботов для соцсетей и мессенджеров. Можно перенести базу пользователей из других конструкторов, а также экспортировать ее из Botmother. Есть возможность отслеживать статистику и настраивать триггерные рассылки по базе пользователей, которые взаимодействовали с ботом.
Платформы: Telegram, Viber, WhatsApp, Facebook, ВКонтакте и Одноклассники. Через виджет «Сообщения сообщества» во ВКонтакте можно подключить бота к сайту.
Цена: от 1699 руб./мес.
Fasttrack позиционируется как комплексная платформа для решения корпоративных, маркетинговых и других бизнес-задач в мессенджерах. Работает в облаке по модели SaaS, также есть коробочное решение для установки на свой сервер.
Платформы: Telegram, Viber, Facebook Messenger, ВКонтакте, Одноклассники, WhatsApp, e-mail, сайт.
Цена: рассчитывается индивидуально, для этого нужно отправить запрос через сайт.
Botsify – платформа для создания чат-ботов на базе искусственного интеллекта. Можно отслеживать статистику использования бота, а также заказать разработку приложения, если ваши сценарии слишком сложны для реализации на конструкторе.
Платформы: сайт, WhatsApp, Facebook Messenger, SMS. Через Zapier возможна интеграция с другими платформами.
Цена: от 40 долл./мес.
Dexter позиционируется как максимально легкий способ запустить чат-бота. По словам разработчиков, сделать это также просто, как написать историю. Чтобы не перегружать пользователей, создатели сервиса отказались от блок-схем и drag-and-drop: весь процесс происходит в простом текстовом редакторе.
Платформы: Slack, Facebook Massenger, Twilio, Twitter, Alexa, Viber, сайт.
Цена: от 20 долл./мес.
Gerabot позиционируется как многофункциональная система создания чат-ботов и управления ими. Позволяет собрать несложного бота для решения рекламных и маркетинговых задач за 1 день. Если сценарии сложнее и их нельзя реализовать с помощью конструктора, здесь же можно заказать индивидуальную разработку или присмотреться к готовым решениям.
Платформы: Viber, Telegram, Facebook, сайт.
Цена: от 480 грн./мес.
Chatforma – платформа для создания чат-ботов, которые помогают автоматизировать процессы и увеличивать продажи. Помимо непосредственно конструктора здесь есть другие полезные инструменты: мини-лендинги, витрины в мессенджерах, рассылки и авторассылки. Кроме того, сервис поддерживает интеграции для обмена данными с 2000 сервисов: Google Таблицы, МойСклад, Gmail, Slack и т. д.
Платформы: Facebook, Telegram, Viber, ВКонтакте, сайт.
Цена: от 1000 руб./мес.
Chatbot позиционируется как универсальная платформа для создания и запуска диалоговых чат-ботов без программирования. По словам создателей, сервис подойдет как малому, так и крупному бизнесу. Он позволяет создавать ботов для взаимодействия с клиентами на всех этапах: привлечения, продаж, поддержки. Готового бота можно протестировать прямо в интерфейсе конструктора. Также в сервисе есть возможность создать несколько разных сценариев и провести А/Б-тестирование, чтобы определить, какой работает лучше.
Платформы: Facebook Messenger, Slack, LiveChat, сайт.
Цена: от 50 долл./мес.
Salebot – платформа, которая позволяет создавать чат-ботов разной сложности. Примечательна тем, что созданные боты можно подключить к большинству каналов продаж и к коммуникации с клиентами – от Facebook Messenger, с которым работают большинство сервисов, до Авито. Кроме того, в сервисе есть статистика по работе бота, автоматизированные рассылки, мини-лендинги. Собранную клиентскую базу можно импортировать и экспортировать.
Платформы: Telegram, ВКонтакте, Facebook Messenger, Talk-me, Viber, WhatsApp, Webim, LiveTex, Авито, Одноклассники, JivoSite, Юла, Instagram.
Цена: от 799 руб./мес.
Konverbot – конструктор чат-ботов под разные задачи: для консультации клиентов, поддержки, найма сотрудников и т. д. Есть встроенная CRM и интеграции с Битрикс24 и другими системами, а также функционал для тестирования бота в интерфейсе конструктора и анализа производительности после запуска.
Платформы: сайт, ВКонтакте, Telegram, Facebook Messenger, WhatsApp, Instagram, Jivosite, Livetex, Carrot Quest, Webim, Avito.
Цена: от 1000 руб./мес.
Чтобы вам было проще определиться с инструментом, который подойдет по бюджету и функционалу, мы собрали все конструкторы чат-ботов из этого обзора в таблицу и сравнили их по важным, на наш взгляд, критериям:
Делаем своего первого чат-бота
Суперпростой способ создать бота, не зная программирования.
Уровень: начинающий
Материал рассчитан на тех, кто в жизни не написал ни строчки кода. Если вы уже в курсе основ программирования, прочитайте лучше о чистых функциях.
Многие слышали про чат-ботов и роботов для общения: им пишешь, они отвечают, получается диалог с машиной. Чат-бот может рассказать анекдот, поискать за вас в интернете, забронировать столик в ресторане и что угодно ещё, чему его обучат создатели.
Иногда такое общение выглядит как общение с человеком. Может даже показаться, что там работает искусственный интеллект — и иногда так действительно бывает. Но часто всё проще: это алгоритм, который умеет распознавать некоторые ваши слова и давать ответы по заранее заготовленным шаблонам. Чем алгоритм более разветвлённый, тем естественнее и полезнее бот.
Давайте сделаем собственного чат-бота с очень простым алгоритмом. Позже вы сможете усложнить его, как захотите. Но сначала — самая база для тех, кто никогда не писал код.
Обычно, чтобы создать какую-то программу, нужно выполнить несколько действий: например, скачать программу-обработчик языка, завести проект, написать задуманную программу, скомпилировать. И только потом ей можно пользоваться. Но мы пойдём по более простому пути: напишем программу, работающую прямо в браузере, через который вы читаете эту статью. Сделать это можно лишь на компьютере, на телефоне придётся пользоваться ботом.
Мы будем решать задачу на языке JavaScript — это язык программирования, который встроен в ваш браузер и на котором написать код можно прямо сейчас, ничего не устанавливая.
Чтобы сделать что-то на JavaScript, нужно открыть консоль. Почти во всех современных браузерах это делается сочетанием клавиш Shift + Ctrl + J или Cmd + Alt + J. Справа или снизу появится дополнительное окно, в котором уже будет что-то происходить:
Если у вас не открылась консоль, зайдите в верхнее меню и поищите слово «Консоль». Обычно этот пункт прячется в разделе «Инструменты разработчика».
Когда вы открываете консоль, она сразу готова выполнять ваши команды. Если в неё вставить программу, написанную на JavaScript, и нажать Enter, ваш браузер её реализует. Если в коде есть ошибки, консоль сама подсветит их. Можно отправлять в неё программу кусками или даже построчно: браузер будет помнить всё, что происходило в вашей программе, пока вы не перезагрузите страницу.
Первая строка
В консоли можно не только писать код, но и выводить туда результаты. Давайте для начала сделаем самую простую программу, которая отобразит в консоли слово «Привет!». Для этого используем команду console.log(‘Привет!’);
Вставим её в консоль и нажмём Enter:
Поздравляем, вы только что написали свою первую программу для компьютера! Она очень простая: компьютер всего лишь говорит «Привет!». Но оцените момент: это вы его научили так говорить. Попробуйте научить его и другим словам.
Если написать несколько команд, получим сообщение из нескольких строк:
Вот мы и начали создавать своего чат-бота, который нас уже поприветствовал в консоли. Теперь сделаем так, чтобы мы тоже могли ему что-нибудь ответить. Для этого нам понадобятся переменные.
Переменные
Чтобы дать понять компьютеру, что у нас сейчас будет переменная, нужно сказать ему слово var, после которого вписать название переменной — так нам проще к ней обращаться. Например, следующая строка создаст переменную name и положит в неё слово «Код»:
Название тут может быть практически любым, главное, чтобы оно начиналось с буквы. По-русски переменные называть нельзя, только буквами латинского алфавита. Можно было бы использовать вариант imya или zovut, но программисты считают, что чем проще название переменной, тем лучше.
Теперь посмотрим содержимое элемента. Следующая команда выведет то, что сейчас записано в переменной name:
Можно посмотреть, какое сегодня число. Это внутренняя системная переменная. Строго говоря, это не совсем переменная, но для начала давайте считать так:
Но это мы всё смотрим во внутренности компьютера. А нам нужно спросить что-то у пользователя. Чтобы мы могли ввести новые данные в нашу программу, используем команду prompt()
Вставьте в консоль команду var name = prompt(‘Как вас зовут?’); и посмотрите, что произойдёт. Компьютер выведет окно и будет ждать, пока вы внесёте туда своё имя. Интерфейс выглядит красиво: давайте в диалоге общаться с компьютером не через консоль, а через такие появляющиеся окошки. Для этого напишем новые команды:
Пусть компьютер проявит вежливость и скажет, что ему приятно с нами познакомиться. Чтобы он смог обратиться к нам по имени, используем переменную name — в ней как раз хранится то, что мы ответили компьютеру:
Расчёт дня рождения
Давайте соединим все наши команды в одну программу и допишем несколько новых фраз:
Обратите внимание: у нас появился новый вопрос и новая переменная hobby, в которой хранится информация об увлечении. А ещё — комментарии, которых можно добавлять сколько угодно. JavaScript не обращает внимания на то, что написано после двух косых черт:
Теперь у вас есть всё, что нужно, чтобы написать свою версию чат-бота для общения. Если продолжите решать наши задачки, то сможете научить компьютер по-разному реагировать на ваши ответы и даже вести осмысленный диалог.
Что ещё посмотреть
Вот кое-что, что может вам пригодиться при создании первого чат-бота.
performance.now() — эта команда возвращает время в миллисекундах с момента открытия текущей страницы. Можно поделить на 1 000, и вы узнаете, сколько секунд вы сидите на какой-то странице. Если поделить на 60 000 — сколько минут.
setTimeout() — позволяет выполнить любой код через определённое время. Например, вы можете задать вопрос и предоставить ровно минуту на размышление, после чего появится окно для ответа.
setInterval() — то же самое, что и предыдущее, но выполнение кода повторяется с равномерным интервалом, например раз в 5 минут. Если вы хотите научить чат-бота, чтобы он раз в час напоминал попить воды, эта команда — то, что нужно.
Как пользоваться этими штуками, мы расскажем в одной из будущих статей, но вы всегда можете самостоятельно поискать в интернете, как они работают. Пользуясь этими тремя возможностями JavaScript, получится создать неплохого бота, который будет следить за вашей продуктивностью и интервалами работы. Подписывайтесь на «Код», чтобы не пропустить новые разборы.
Чат-бот — как написать удобного и полезного?
Чат-боты — один из самых противоречивых трендов. Самых простых ботов можно написать и «пришить» к сайту за несколько часов, но насколько полезен этот сделанный на скорую руку продукт? Действительно ли он откроет новые возможности для аудитории и решит те проблемы, с которыми хуже справляются другие средства? Или приведет к очередному эпик фейлу? Я с некоторого времени интересуюсь этой темой и хочу поделиться своими наблюдениями о своих «хороших практиках» разработки чат-ботов. Надеюсь, эти наблюдения будут полезны как разработчикам, так и заказчикам чат-ботов.
При оценке ботов я использую две группы факторов:
Юзабилити
С первой группой факторов помогает разобраться статья Кевина Скотта о применении эвристик юзабилити к интерфейсу ботов. Но с оговорками. Давайте немного покритикуем один из примеров авторов, который они считают образцовым. Например, старый-добрый Пончо:
Я вижу следующие улучшения:
Нажатие на вес золота
В этом правиле нет ничего нового для специалистов по удобству использования. Операция должна занимать минимальное количество нажатий / вводов информации. Чем дольше вы выполняете операцию, тем больше времени теряют пользователи и тем больше любви теряет ваш чат-бот. Взаимодействие с пользователем — это главное при очень ограниченном интерфейсе. Используйте весь имеющийся инструментарий для помощи пользователю: распознавание аудио, контекстные элементы управления, пользовательские меню и другие элементы.
Чем меньше сообщений — тем лучше
Это правило пересекается с предыдущим, но его часто игнорируют, в том числе и наш Пончо. Вместо того, чтобы пользователь скроллил вверх и вниз при совершении операции (а что же я ввел на пред-предыдущем шаге?), удобнее было бы одну операцию совершать в одном сообщении, меняя его текст и элементы управления. При этом, конечно, нужно держать в сообщении весь необходимый пользователю контекст, чтобы он уверенно принимал решения.
Предлагай решения
В идеальных условиях бот должен понимать пользователя без слов: анализировать операции пользователя, наблюдать за пользователем и помогать пользователю как раз тогда, когда это необходимо. Например, вместо уже известного сценария про покупку кроссовок, бот выскочит из ниоткуда в самый нужный момент и скажет: дружище, ну хватит уже искать кроссы, я все нашел за тебя: и по рейтингу, и по цене, и по удобству доставки, и комментарии все прочитал; вот тебе на выбор зеленые и синие (хотя я-то знаю, какие ты выберешь). Пока что мы далеки от идеала, но и в условиях реальной жизни бот все равно должен быть активен:
Создание ценности для пользователя
Techcrunch говорит, что цель чат-ботов — соединять бизнес и клиентов. Но так ли это сейчас? Если мы посмотрим в каталог Telegram ботов, то будем слегка удивлены, потому что на топовых позициях там:
Моя гипотеза в том, что не у всякого бизнеса есть та ценность, которая была бы интересна пользователям. Но, на мой взгляд, никогда не поздно обрести эту ценность, если следовать таким вот нехитрым советам.
Используйте многошаговые сценарии
Не копируйте функционал мобильного приложения и сайта. Обычно веб-сайт или приложение оптимизируется под основные функции, которые выполняет пользователь. Если у вас есть мобильное приложение, на котором уже все хорошо с основными функциями, зачем копировать его функционал в чат-бота? Это скорее всего будет:
Экономьте время пользователя
Недавно я из нескольких разных мест услышал об идее заменить IVR-меню (интерактивный автоответчик) на номерах 8800 чат-ботом. И действительно, IVR-меню построено так, что пользователь должен выслушать массу ненужной ему информации, чтобы, наконец, выбрать пункт. Если он не услышал нужный пункт или ошибся, то ему опять предстоит прослушать детали по каждому пункту. Вместо этого чат-бот предложит пользователю ту же информацию, но уже в текстовом виде, и поможет при необходимости. Результат: экономия времени и более высокое качество обслуживания. Прикиньте для своего бота, экономит ли он время пользователей по сравнению с альтернативами.
Присмотритесь к групповым возможностям
Пожалуй, самый непонятный совет, но тем не менее. Одной из главных вещей, которая отличает чат-ботов от мобильных приложений — это простота многопользовательского взаимодействия. Не ограничивайте опыт пользователя шаблоном пользователь-помощник, возможно, у вас есть сценарии, в которые вы можете вовлекать сразу нескольких пользователей. Один из таких примеров — чат-бот для фильтрации информации в группах: он вам и теги покажет, и контент по ним, а, может, и еще что-нибудь полезное придумает.
Если у ваш бот следует всем-всем этим советам, у него есть все шансы стать полезным и удобным. Если нет, не подходите к советам слишком строго, это мой личный взгляд на вектор развития чат-ботов. Удачи в бото-писании!