5
ответов
Где в файловой системе Linux я могу увидеть файлы Hadoop HDFS?
Я - просто аналитик данных, родом из не-CS (не хардкорный системный программист), работающий на ОС Linux. При использовании анализа с использованием hadoop мне приходило в голову, что ... / это ...
вопрос задан: 15.04.2020
5
ответов
Как установить Hadoop?
Я пытаюсь установить Hadoop в версии Ubuntu 12.04. Следуя инструкциям http://michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/, я установил java-6 -...
вопрос задан: 10.03.2020
3
ответа
Не удалось найти hadoop-env.sh в папке hadoop
Я пытаюсь установить hadoop на Ubuntu 12.04. Я следовал за следующей статьей. http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/ Я установил hadoop как ...
вопрос задан: 01.04.2020
3
ответа
Не могу SSH локальный хост
Я не могу SSH localhost. Я также установил сервер OpenSSH на свой Ubuntu 12.04 LTS (32 бит). подключен к сети (ip: 192.168.1.2), установлен Hadoop, работает Hadoop для локальной машины. Вот что я ...
вопрос задан: 27.02.2018
3
ответа
Hbase не распознает мою версию Java
Я пытаюсь установить Hbase с этим руководством, и я натолкнулся на что-то любопытное: hbase не распознает мою версию Java, тогда как Ubuntu 16.04 делает. Майк @ Майк-думает: ~ / hbase-1.2.6 $ ./bin/start -...
вопрос задан: 06.12.2017
3
ответа
Ошибка при форматировании файловой системы Hadoop
Я использую следующие сайты для установки и настройки Hadoop в Ubuntu 10.10 http://arifn.web.id/blog/2010/07/29/running-hadoop-single-cluster.html Однако, когда я пытаюсь отформатировать Файл Hadoop -...
вопрос задан: 28.08.2017
3
ответа
проблема с разрешением при установке hadoop?
после извлечения hadoop я открываю свой файл .bashrc и редактирую этот экспорт HADOOP_HOME = "/ media / hadoop / linux / soft / hadoop-1.2.1" PATH = $ PATH: $ HADOOP_HOME / bin экспортирует PATH, затем сохраняет и открывает новый терминал и. ..
вопрос задан: 14.04.2017
3
ответа
Команда hadoop fs не работает в моей системе
Я установил один кластерный узел на свой персональный ноутбук. Он успешно установлен, и jps отображает все 5 демонов, но когда я пытаюсь войти поверх hdfs, используя команду hadoop fs it ...
вопрос задан: 08.03.2016
3
ответа
Формат Namenode и запуск namenode в hadoop 2.2.0
Я пытаюсь установить конфигурацию с одним узлом, мне удалось в определенный момент, например загрузить и распаковать архив и отредактировать все файлы конфигурации, но возникли проблемы при форматировании ...
вопрос задан: 14.07.2014
2
ответа
Как загрузить и скачать файл в hadoop?
Я хочу загрузить и загрузить файл в hadoop. и хотите сохранить файл на сервере или в многоузловом кластере.
вопрос задан: 14.05.2020
2
ответа
не может создать кластер Hadoop
Я установил hadoop в каталоге / usr / local / hadoop / bin и при попытке выполнить скрипт bash start-all.sh; система выдает ошибку ниже; start-all.sh: команда не найдена Также я не вижу ...
вопрос задан: 08.05.2020
2
ответа
Я не могу подключиться к порту Hadoop 9000
Итак, telnet на самом деле работает, я имею в виду, что telnet localhost 25 подключается; но telnet localhost или telnet localhost 9000 получили такой результат: Попытка 127.0.0.1 ... telnet: Невозможно подключиться к удаленному хосту: ...
вопрос задан: 03.05.2020
2
ответа
localhost не может подключиться к 127.0.0.1
У меня есть несколько систем Java, которые я хочу использовать с ним hadoop, но всякий раз, когда я подключаюсь к localhost с помощью этой команды hadoop fs -ls /, он всегда запрашивает java.net.UnknownHostException: local ....
вопрос задан: 02.05.2020
2
ответа
Hadoop на Ubuntu Desktop 13.04
Как установить Hadoop в Ubuntu Desktop 13.04 (64-разрядная версия), работающей в проигрывателе VMWare в Windows 8
вопрос задан: 13.04.2020
2
ответа
hadoop: datanode не работает?
В этом руководстве я настроил и развернул hadoop для настройки одного узла. Все развернуто нормально, но когда я делаю jps для просмотра активных процессов, datanode не отображается. Я пробовал вручную ...
вопрос задан: 06.04.2020
2
ответа
Как отменить ssh-copy-id?
У меня есть 2 узла Hadoop кластера. Я выполнил эту команду на главном сервере: $ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@192.168.1.1 Как мне отменить это? Я бы на самом деле хотел переназначить ключ. ...
вопрос задан: 27.03.2020
2
ответа
как разрешить виртуальным машинам и хосту пинговать друг друга?
Я пытаюсь настроить несколько виртуальных машин Ubuntu на моем компьютере с Windows 7. Мне нужно, чтобы машины могли пинговать друг друга, и я хотел бы назначить им полное доменное имя. Целью этого проекта является создание ...
вопрос задан: 23.03.2020
2
ответа
& ldquo; Отказано в доступе & ldquo; ошибки при запуске одного узла кластера в Hadoop
Я работаю в Ubuntu 10.10 и пытаюсь запустить кластер с одним узлом в Hadoop. hadoop @ abraham-Dimension-3000: / usr / local / hadoop $ bin / start-all.sh mkdir: невозможно создать каталог `/ usr / local / hadoop / ...
вопрос задан: 09.03.2020
2
ответа
Как исправить & ldquo; Задаче попытки_201104251139_0295_r_000006_0 не удалось сообщить о состоянии в течение 600 секунд. & Rdquo;
Я написал задание mapreduce для извлечения некоторой информации из набора данных. Набор данных - это рейтинг пользователей о фильмах. Количество пользователей составляет около 250 тыс., А количество фильмов около 300 тыс. Результатом карты является & ...
вопрос задан: 21.01.2020
2
ответа
Ошибки разрешения установки одного узла кластера
команда bin / start-all.sh hadoop @ user-HP-dx2480-MT-NA125PA: / usr / local / hadoop / hadoop $ bin / start-all.sh ошибка mv: невозможно переместить `/ usr / local / hadoop / Hadoop / бен /../ журналы / Hadoop-Hadoop-NameNode-пользователь -...
вопрос задан: 16.11.2019
2
ответа
В чем разница между Hadoop fs и обычными командами Unix?
Я новичок в Hadoop и HDFS, я пытаюсь понять, почему нужны команды Hadoop fs, а не просто использование эквивалентов команд Unix. Кажется, они оба работают, моей первой мыслью была команда Hadoop ...
вопрос задан: 17.04.2019
2
ответа
java.io.IOException: нет файловой системы для схемы: maprfs. Добавление jar maprfs в bash_profile не работает
Я получаю следующую ошибку при запуске следующей команды через spark-shell. Я также добавил банку maprfs в свой bash_profile, как показано ниже. Я попробовал большинство решений из аналогичных постов, ...
вопрос задан: 19.03.2019
2
ответа
Создание кластера EMR с использованием запуска Airflow dag. После выполнения задачи EMR будет прервана.
У меня есть задания Airflow, которые нормально работают на кластере EMR. что мне нужно, скажем, если у меня есть 4 задания потока воздуха, для которых требуется кластер EMR, скажем, 20 минут для выполнения задачи. почему не мы ...
вопрос задан: 19.03.2019
2
ответа
Spark S3A пишет пропускает загрузку части без сбоев
Я использую Spark 2.4.0 с Hadoop 2.7, hadoop-aws 2.7.5 для записи наборов данных в файлы паркета на S3A. Иногда часть файла будет отсутствовать; то есть часть 00003 здесь: > aws s3 ls my-bucket / folder / ...
вопрос задан: 01.03.2019
2
ответа
Улей - это хорошо подходит для создания хранилища данных?
Так что, как и большинство корпоративных компаний, мы создали хранилище данных в Hadoop, в котором пользовательские запросы поддерживаются в Hive, и теперь, спустя несколько месяцев и приемочного тестирования, все немного удивляются ...
вопрос задан: 18.01.2019
2
ответа
Найти трассировку стека для задания рабочего процесса, запущенного из координатора Oozie
У меня есть простой координатор Oozie с этой спецификацией: < имя-координатора-приложения = "my-координата" частота = "$ {ordin: days (1)}" start = "$ {startDate}" end = "$ { endDate} "timezone =" UTC "...
вопрос задан: 17.01.2019
2
ответа
В Hadoop 2.9.0 отсутствует mapred-site.xml.template
Я совершенно новый пользователь этого форума, Ubuntu и Hadoop. Я использую Ubuntu на VirtualBox и следую инструкциям по установке и настройке Ubuntu и Hadoop 2.7.3 (хотя я пытаюсь ...
вопрос задан: 22.01.2018
2
ответа
Как увеличить лимиты открытых файлов (nofile и epoll) в 10.04?
Я сталкиваюсь с довольно распространенной проблемой при настройке кластера hadoop (на самом деле он использует псевдораспределенный кластер Cloudera на одной машине), где число файлов, которые имеютoop, равно ...
вопрос задан: 23.05.2017
2
ответа
Невозможно выполнить команду start-all.sh в Hadoop
ПАРНИ Я использую этот учебник Как установить Hadoop? Я имею в виду тот, который был сделан Луисом Альварадо в одном из комментариев .. Так что я на Ubuntu 13.10, 64-битная версия Hadoop - 2.2.0. На самом деле, я абсолютный новичок ...
вопрос задан: 13.04.2017
2
ответа
Недопустимый JAR при запуске примера HADOOP
Я установил hadoop-2.4.0 в 14.04 LTS, перешел по этой ссылке, успешно выполнил запуск и остановку служб, но когда я попытался выполнить пример, $ / bin / hadoop jar hadoop * ...
вопрос задан: 31.07.2016