Опасен ли дурман на дачном участке?

Пару лет назад, отдыхая в Геленджике, сорвала шишку с семенами дурмана. Мне очень этот куст понравился — большие зеленые листья, огромные белые цветы и куча бабочек вокруг этого растения.
Семена по весне посадила, они прекрасно взошли (все!!!). А рассаду частично раздала знакомым, пару растений посадили у себя на даче.
Дурман прижился без проблем, цвел. Но я заметила, что цветам рядом с этим кустом не очень комфортно (с одной стороны росла эшольция, с другой — небольшие вьюнки). А потом и знакомые рассказали приблизительно о такой же проблеме.
Почитав про дурман (я название узнала только, когда интересоваться им стала), пришла в легкую панику: сорняк, ядовит и т.д. Решила, что больше не хочу его на своем участке. Хотя внешне он мне нравится.
Но прошлой весной он взял да и вырос на прежнем месте. Полагаю, он сам размножился семенами. В принципе, дурман мне не мешал. Рос себе, красовался. Никаких проблем от него не было. Запах не чувствуется, хотя я несколько раз хорошенечко принюхивалась — никаких последствий.
Но все же как-то страшновато выращивать такое растение, уж больно плоха репутация.
Посоветуйте: этой весной его зарубить на корню или все же пусть растет? Не будет ли вреда другим цветочкам?