Los modelos de lenguaje de gran tamaño (LLM) de código abierto son modelos de IA que utilizan texto de lenguaje natural disponible públicamente y datos de código de programa de software para aprender, comprender y replicar el lenguaje humano.
Los LLM de código abierto, una forma de IA de código abierto, se pueden modificar y compartir libremente, lo que permite la colaboración y la personalización sin cargos de licencia. Esta apertura promueve la transparencia, la seguridad, la competencia y diversas aplicaciones en todos los sectores. Estos LLM, una forma de IA de código abierto, se pueden modificar y compartir libremente, lo que permite la colaboración y la personalización para cualquier propósito sin permiso ni cargos de licencia. Esto promueve la transparencia y la seguridad, la competencia y la cultura, y diversas aplicaciones.
Los modelos de lenguaje grande son la base de las interfaces de usuario modernas impulsadas por inteligencia artificial. Estos modelos, entrenados con conjuntos de datos masivos y arquitecturas de red neuronal avanzadas, hacen posible que los seres humanos interactúen con aplicaciones a nivel natural. El valor de los LLM radica en su capacidad para realizar tareas de lenguaje matizadas, como resumir grandes pasajes de texto o, por el contrario, generar grandes cuerpos de texto en respuesta a las instrucciones de su usuario humano. En campos tan diversos como el servicio al cliente, la investigación, la creación de contenido y la educación, los LLM permiten a los usuarios hacer consultas e instrucciones complejas, y posibilitan que la IA responda de una manera que incluso los usuarios inexpertos pueden comprender con equivalencia de superusuario en algunos casos.
Sin embargo, si bien estos modelos pueden permitir interacciones fáciles de usar, son extremadamente complejos, a menudo basados en datos patentados que reducen la visibilidad de su estructura y competencias internas. Si bien los LLM de código abierto en términos generales ofrecen una alternativa más accesible, los grados de apertura varían. Mientras que algunos modelos de lenguaje grande revelan su código y datos de entrenamiento subyacentes, lo que permite que cualquier persona los use, modifique o distribuya, otros pueden solo liberar el modelo y artefactos de apoyo limitados, lo que hace casi imposible auditar la cadena de suministro del modelo. Al democratizar el acceso a potentes herramientas de IA, los LLM de código abierto brindan a una gama más amplia de desarrolladores el poder de innovar y personalizar las soluciones de IA según sus necesidades específicas.
Cualquier debate sobre los LLM de código abierto plantea la siguiente pregunta: ¿en qué se diferencian los LLM de código abierto de los LLM patentados? Los LLM de código abierto y los LLM patentados difieren significativamente en cuanto a transparencia, accesibilidad, adaptabilidad y participación de la comunidad.
Los LLM de código abierto están disponibles libremente para ser utilizados y modificados como cualquier usuario lo considere conveniente y pueden ser compartidos (modificaciones y todo) con otros. Esto fomenta un enfoque colaborativo para la innovación descendente, lo que permite a los desarrolladores personalizar estos modelos para satisfacer necesidades específicas y, al mismo tiempo, contribuir a un ecosistema dinámico en el que las mejoras y las nuevas aplicaciones están surgiendo en forma continua. Esencialmente, cada desarrollador que mejora el modelo base y los códigos abiertos de su modelo ajustado se convierte en miembro del ecosistema de IA para esa comunidad.
Para que esto sea posible, los LLM de código abierto dependen en gran medida de la transparencia en la arquitectura, la formación y el uso previsto del modelo para el que se diseñó. Para maximizar la adopción comunitaria y comercial, los datos utilizados para la formación previa y la evaluación, los recursos involucrados y el código subyacente en sí deben ser totalmente accesibles para su revisión. Este es un factor diferenciador importante en los LLM de código abierto, ya que los LLM patentados suelen carecer de visibilidad de su funcionamiento interno.
Los LLM de código abierto ofrecen una mayor libertad en forma de flexibilidad; las organizaciones pueden adaptar el LLM a sus especificaciones únicas. Por otro lado, los cambios introducidos en el LLM derivado podrían debilitar la seguridad, por lo que es importante seleccionar LLM de código abierto que tengan prácticas sólidas de gobernanza de datos y modelos, para garantizar que los nuevos modelos cumplan con las expectativas de seguridad y rendimiento de los usuarios intermedios. Trabajar con una solución de código abierto puede implicar costos significativos, como experiencia en contratación y formación, honorarios legales iniciales, actualizaciones de características, cumplimiento de seguridad, soporte, retención de talentos y gestión continua del ciclo de vida del software.
Los LLM patentados son controlados por entidades individuales y son propiedad de estas, con acceso generalmente restringido a través de licencias y tarifas. Las empresas como OpenAI y Google ofrecen potentes LLM, pero su uso a menudo se limita a interfaces de programación de aplicaciones (API) predefinidas o aplicaciones específicas establecidas por los proveedores. Este enfoque cerrado puede limitar la personalización y la adaptación, lo que potencialmente aumenta los costos y limita el acceso a la infraestructura informática en la nube de inferencia que puede no estar en la misma región que el usuario final. Además, los LLM patentados pueden basarse en versiones ajustadas de modelos de código abierto, y las empresas agregan mejoras únicas o “ingredientes secretos”, como un mejor rendimiento o funcionalidades especializadas, que hacen que estas versiones sean patentadas. Un ejemplo de este enfoque incluye ofertas como Now LLM, en las que las mejoras personalizadas las diferencian de las alternativas de código abierto.
Dicho esto, trabajar con soluciones de LLM patentadas tiene algunas ventajas. En concreto, las LLM propias y con licencia tienden a ofrecer una seguridad más sólida y son más fáciles de usar, ya que el soporte respaldado por la empresa proporciona asistencia cuando es necesario.
Now Platform™ permite el desarrollo con muy poco o ningún código, para que los analistas de operaciones empresariales puedan diseñar o crear prototipos de sus propias aplicaciones sin necesidad de escribir una línea de código.
El software de código abierto no es nada nuevo; de hecho, algunos de los primeros programas se compartían libremente entre quienes trabajaban en computadoras. Pero con la llegada relativamente reciente de la inteligencia artificial, los conceptos detrás del código abierto están empezando a arraigarse en la IA. Sin embargo, aunque comparten filosofías básicas de transparencia, colaboración y accesibilidad, también hay algunas diferencias significativas:
El software de código abierto se refiere a programas o sistemas cuyo código fuente está disponible libremente para que cualquier persona lo use, modifique y comparta. El software de código abierto se rige por licencias como la Licencia Pública General de GNU (GPL) o la Licencia Apache, las cuales describen los términos de uso y redistribución. Entre los ejemplos populares se incluyen Linux, servidor HTTP Apache y Mozilla Firefox, que continúan creciendo a través de contribuciones de comunidades de desarrolladores globales.
Con el auge de la inteligencia artificial, los principios detrás del software de código abierto se han adaptado a la IA. El resultado es la IA de código abierto. La Iniciativa para el Código Abierto define la IA de código abierto como: “Un sistema de inteligencia artificial puesto a disposición bajo términos y condiciones que otorgan las libertades de hacer lo siguiente:
Estas libertades se aplican tanto a un sistema plenamente funcional como a elementos discretos de un sistema. Una condición previa para el ejercicio de estas libertades es tener acceso a la forma preferida para hacer modificaciones al sistema”.
- Utilizar el sistema para cualquier propósito y sin tener que pedir permiso.
- Estudiar cómo funciona el sistema e inspeccionar sus componentes.
- Modificar el sistema para cualquier propósito, incluso para cambiar sus resultados.
- Compartir el sistema para que otros lo utilicen con o sin modificaciones, para cualquier propósito.
Estas libertades se aplican tanto a un sistema plenamente funcional como a elementos discretos de un sistema. Una condición previa para el ejercicio de estas libertades es tener acceso a la forma preferida para hacer modificaciones al sistema”.
Al igual que el software de código abierto, la IA de código abierto promueve la transparencia y la colaboración al permitir a los desarrolladores el acceso directo al código de la IA. Las licencias de código abierto desempeñan un rol central en este ecosistema. Las licencias (como la Licencia de modelo Blue Oak) describen los términos y condiciones asociados con el uso de la IA. Estos marcos legales de trabajo ayudan a mantener el acceso la IA de código abierto, al mismo tiempo que protegen a los contribuyentes contra la responsabilidad.
Los LLM de código abierto emplean IA de código abierto respaldada por licencias para brindar a los desarrolladores la libertad de personalizar y adaptar modelos de lenguaje de gran tamaño a sus necesidades específicas sin las restricciones de los sistemas patentados.
Hay muchas opciones para las organizaciones que están interesadas en trabajar con LLM de código abierto. Los siguientes son algunos de los modelos de lenguaje de código abierto desarrollados de manera más transparente disponibles actualmente:
StarCoder, desarrollado por la colaboración científica abierta del proyecto BigCode liderada por Hugging Face y ServiceNow, es un LLM de código abierto diseñado para la generación de código. Formado en más de 80 lenguajes de programación, se destaca en la generación de código, la generación de flujos de trabajo e incluso en las tareas de resumen de texto. StarCoder tiene una gran ventana de contexto y características únicas como competencias de relleno, lo que lo convierte en una opción sólida de modelo básico. Se otorga bajo licencia de OpenRAIL-M, lo que permite el uso comercial gratuito con restricciones éticas y responsables de casos de uso de IA.
Creado por la startup alemana de IA Aleph Alpha, Luminous se centra en ofrecer comprensión avanzada del lenguaje natural y competencias de generación. Está diseñado para competir con LLM avanzados (como las versiones recientes de ChatGPT), a la vez que ofrece transparencia y desarrollo de IA ética. Luminous consta de 13 000 millones de parámetros y está disponible para tareas que varían entre aplicaciones de lenguaje a pequeña y gran escala.
Los modelos Granite de IBM son LLM de código fuente abierto diseñados para aplicaciones de nivel empresarial. Los modelos de Granite están formados en 116 lenguajes de programación y se pueden utilizar para la generación de código y la corrección de bugs, junto con un resumen y una explicación más tradicionales. Se lanzan bajo la licencia Apache 2.0, lo que los hace adecuados tanto para la investigación como para el uso comercial.
Phi-2, desarrollado por Microsoft Research, es un modelo ligero de 2700 millones de parámetros que, no obstante, es capaz de competir con muchos modelos más grandes en términos de rendimiento. Phi-2 puede realizar tareas complejas, como el razonamiento de sentido común, la codificación, las matemáticas y la comprensión del lenguaje. Su tamaño compacto lo hace ideal para una experimentación eficiente, y está disponible en Azure AI Studio.
Basándose en el éxito del marco de trabajo de Stable Diffusion, Stable Video Diffusion es un modelo de código abierto centrado en la generación y edición de videos. Aprovecha la IA para crear contenido visual dinámico y ofrece herramientas potentes para sectores como el entretenimiento y la publicidad.
Llama 3 de Meta (3.1 es el lanzamiento más reciente) es el último modelo de la familia Llama. Disponible en tamaños de modelos que van desde 8000 millones hasta 405 000 millones de versiones de parámetros, Llama 3 se basa en la arquitectura de sus predecesores. Llama 3 funciona bien en las tareas de razonamiento, codificación y multilingües, y ha ampliado las herramientas de seguridad o la detección de código inseguro.
Desarrollado por Google, BERT (Representaciones de codificadores bidireccionales a partir de transformadores) es un modelo de transformador solo de codificación diseñado para comprender y generar lenguaje humano. Desde su lanzamiento en 2018, el BERT ha sido ampliamente adoptado para varias tareas de procesamiento del lenguaje natural (PNL), como la clasificación de textos, la respuesta a preguntas y el análisis de opinión. A pesar de su edad relativa, su influencia sigue dando forma al PNL moderno.
Versátiles y accesibles, los LLM de código abierto tienen una amplia gama de aplicaciones en una gran variedad de sectores. Estas son algunas formas destacadas en las que se pueden aplicar:
Los LLM de código abierto se pueden utilizar para transformar sin esfuerzo los PDF en audio atractivo estilo podcast. Mediante la implementación de un flujo de trabajo de LLM compuesto, puedes convertir texto de PDF en un script conversacional y luego narrarlo con tecnología avanzada de texto a voz. Esto es ideal para crear contenido accesible, materiales educativos o simplemente dar vida a tus documentos en un nuevo formato.
Puede ser difícil evaluar la emoción detrás de los comentarios de los clientes. Los LLM de código abierto se pueden formar para analizar el texto y determinar la opinión general que se expresa: positiva, negativa o neutral. Esto permite a las empresas comprender mejor las respuestas de los clientes para mejorar sus productos y servicios. El análisis de opinión es una herramienta importante para monitorear las redes sociales para obtener conocimientos sobre los clientes.
Muchos modelos de LLM de código abierto pueden ayudar a los desarrolladores al proporcionar sugerencias de código, escribir algoritmos complejos, corregir bugs en el código e incluso documentar el código. Pueden generar fragmentos de código a partir de descripciones en lenguaje natural, lo que permite a los usuarios decirle al código lo que quieren que haga en lenguaje sencillo.
Los LLM se utilizan ampliamente para generar texto coherente y contextualmente relevante. Esto incluye la creación de artículos, historias y diálogos para asistentes virtuales. Esta es una parte importante de la IA generativa (GenAI) y tiene aplicaciones en prácticamente todos los ámbitos.
Los LLM de código abierto pueden automatizar la creación de contenido y generar resúmenes de documentos extensos, lo que ayuda a los usuarios a comprender rápidamente los puntos principales de textos extensos. Esto es particularmente valioso para los profesionales que necesitan procesar grandes volúmenes de información de manera eficiente.
Los LLM están ayudando a eliminar las barreras lingüísticas. Con sus competencias multilingües, muchos LLM de código abierto pueden traducir texto entre varios idiomas, lo que hace posible una comunicación clara con una audiencia global. Estos modelos están formados en diversos conjuntos de datos lingüísticos, lo que garantiza traducciones precisas y conscientes del contexto que van mucho más allá de las traducciones simples palabra por palabra.
Los LLM de código abierto impulsan los bots de chat de IA y los asistentes virtuales actuales, lo que mejora el soporte de atención al cliente al proporcionar respuestas rápidas y precisas a las consultas. Cuando se diseñan para tareas conversacionales, los LLM pueden manejar las interacciones con los clientes de manera eficaz y natural para el usuario. Y si hay algo que LLM no esté preparado para abordar, se puede automatizar para escalar el problema a un agente humano.
Los LLM se pueden integrar en plataformas educativas para proporcionar experiencias de aprendizaje personalizadas. Pueden adaptar el contenido a estilos de aprendizaje individuales, ofrecer explicaciones y generar problemas de práctica específicamente adaptados a las necesidades y competencias de los usuarios individuales.
Las aplicaciones descritas anteriormente ilustran qué tan adaptables son los modelos de lenguaje de gran tamaño. Muchas empresas están adoptando la versión de código abierto de esta tecnología, descubriendo constantemente nuevas formas de aprovechar las soluciones de LLM para satisfacer mejor las necesidades de sus clientes y cumplir con sus metas. Las siguientes son formas en las que las industrias clave ya están aplicando LLM de código abierto:
- Servicios de salud
Las soluciones de telemedicina de IA impulsadas por LLM proporcionan cuidadores virtuales siempre disponibles capaces de diagnosticar, proporcionar información y organizar la información del paciente. Al igual que los bots de chat de IA y los agentes virtuales, estos programas están diseñados para evaluar los problemas de los pacientes en función de los conocimientos de amplios conjuntos de datos, de modo que sepan cuándo brindar asistencia por su cuenta y cuándo alertar a los equipos médicos humanos.
- Finanzas
En el sector financiero, los LLM de código abierto mejoran la detección de fraude, automatizan el soporte de atención al cliente y realizan análisis de opinión para identificar tendencias emergentes. Estos modelos analizan documentos financieros y otros datos para proporcionar conocimientos del mercado en tiempo real.
- Periodismo y noticias
Los periodistas y las organizaciones de noticias utilizan LLM de código abierto para el resumen y la traducción. Los LLM se pueden utilizar internamente para analizar información sin compartir datos de propiedad exclusiva fuera de la sala de prensa. Además, cuando las circunstancias exigen un cambio inmediato, las agencias de noticias pueden dirigir a los LLM de código abierto para generar contenido relevante e informativo que hable con su audiencia prevista.
- Sectores basados en la ciencia
Los LLM respaldan la investigación científica al automatizar las revisiones bibliográficas, el análisis de datos y la generación de hipótesis, pero también pueden hacer mucho más. La extrema flexibilidad de estos modelos significa que los científicos pueden adaptarlos a cualquier tipo de investigación, desde luchar contra el cambio climático hasta analizar secuencias de ADN y modelar fenómenos astrofísicos.
Sistemas autónomos personalizables que pueden seguir las instrucciones del lenguaje humano y responder del mismo modo; no es difícil imaginar qué tipo de ventajas pueden significar estos modelos para las empresas. Las empresas que aprovechan los LLM de código abierto pueden esperar ver lo siguiente:
Si bien los LLM de código abierto ofrecen muchos beneficios, también pueden presentar ciertos riesgos. Comprender los siguientes desafíos y cómo contrarrestarlos es una parte importante de garantizar un uso responsable y eficaz:
Los LLM de código abierto, debido a su acceso sin restricciones, pueden ser utilizados para fines perjudiciales con la misma facilidad que para fines beneficiosos. Difundir información errónea, violar la privacidad y acceder a información restringida o patentada son todas formas en las que se puede explotar una IA. Garantizar un uso ético requiere una gobernanza comunitaria proactiva y pautas claras para equilibrar la innovación con la seguridad y la responsabilidad.
Las contribuciones de la comunidad a los LLM de código abierto pueden variar en calidad, lo que lleva a resultados incoherentes. Sin una supervisión estandarizada, estos modelos podrían generar resultados poco confiables, especialmente en aplicaciones en las que la precisión es fundamental. Mantener estándares altos significa vigilar de cerca todas las contribuciones de código y ajustarlas cuando sea necesario. Desafortunadamente, este puede ser un desafío importante cuando se trabaja con códigos de código abierto.
La eficiencia de cualquier IA depende de la información en la que se basa, y cuando esa información incluye opiniones prejuiciosas o suposiciones parciales, la IA puede aprender a perpetuarlas. Los LLM pueden verse influenciados por los sesgos presentes en sus datos de formación, lo que da lugar a resultados sesgados e injustos. La supervisión cuidadosa y la gestión de datos diversos son cruciales para minimizar el sesgo y garantizar la imparcialidad y la inclusión en el contenido y las decisiones generadas por la IA.
Al seleccionar un modelo de lenguaje de gran tamaño (LLM) de código abierto, las organizaciones deben considerar varios factores para asegurarse de que eligen el que mejor se adapte a sus necesidades. Estas son las consideraciones más importantes:
- Objetivos
Identifican el propósito principal del LLM. ¿Qué logrará esto para la empresa? ¿Cuál será su enfoque? Algunos modelos están diseñados para la investigación, mientras que otros son adecuados para uso comercial. Asegúrate de que el LLM se alinee con objetivos específicos.
- Precisión
Evalúa la precisión del modelo para las tareas que enfrentará. Incluso con el acceso para personalizar el código, algunos LLM son más adecuados para diferentes usos.
- Costo
Si bien los LLM de código abierto son gratuitos, considera los costos de alojamiento, formación y mantenimiento del modelo. Los modelos más grandes requieren más recursos, lo que puede aumentar los gastos operativos y de infraestructura.
- Rendimiento
Evalúa la fluidez del lenguaje, la coherencia y la comprensión del contexto del LLM. El alto rendimiento en estas áreas mejora la experiencia de usuario y la eficacia de las tareas.
- Seguridad de los datos
Asegúrate de que el LLM pueda manejar los datos confidenciales de forma segura, especialmente cuando se trata de información personal o de uso exclusivo.
- Calidad de los datos de formación
Comprueba la calidad de los datos de formación originales utilizados por el LLM. Los datos de alta calidad conducen a mejores resultados. Si es necesario, utiliza datos personalizados para ajustar el modelo para obtener mejores resultados.
- Conjuntos de competencias disponibles
Las complejos LLM requieren habilidades avanzadas en ciencia de datos, operaciones de aprendizaje automático (MLOps) y PNL. Asegúrate de que el equipo que trabajará más estrechamente con el LLM tenga la experiencia necesaria. Si no lo hacen, haz planes para formar o contratar para cerrar esa brecha de habilidades.
ServiceNow ofrece paquetes de productos competitivos que escalan contigo a medida que tu empresa crece y tus necesidades cambian.
ServiceNow ofrece modelos de lenguaje patentado de primer nivel a través del servicio Now LLM, lo que permite características avanzadas impulsadas por IA, como resumen de chat, resumen de registros de agentes, búsqueda mejorada con IA, traducción dinámica y flujos conversacionales fluidos. Estas competencias se basan en la innovación de código abierto; ServiceNow forma abiertamente modelos básicos, como StarCoder, como parte de sus iniciativas. Luego, estos modelos se perfeccionan en LLM patentados de Now, específicamente diseñados para optimizar la productividad en toda la empresa y ofrecer experiencias de IA generativa excepcionales.
Esta base de código abierto, mejorada a través de la colaboración con socios como Hugging Face y NVIDIA, permite a ServiceNow avanzar en la IA de manera responsable, al mismo tiempo que comparte innovaciones valiosas con la comunidad. A través de este enfoque, las organizaciones se benefician de habilidades de IA potentes y especializadas, desde recomendaciones de flujos de trabajo automatizados hasta generación precisa de texto a código. Además, como los Now LLM son parte de Now Platform® totalmente integrada, mejoran de manera fluida los flujos de trabajo y las aplicaciones existentes para impulsar la eficiencia en todos los departamentos.
Consulta ServiceNow en acción y descubre cómo la IA y los LLM pueden mejorar tus operaciones; ¡programa tu demostración hoy mismo!
Acelera la productividad con Now Assist: la IA generativa integrada en Now Platform.